深度学习基础知识整理

深度学习基础知识整理Withoutdeviationfromthenorm，progressisnotpossible（不偏离常规，就无法取得进步-FrankZappa）第一课：数学分析与概率论Taylor展式及其应用、凸函数、jensen不等式、常见分布与共轭分布第二课：数理统计与参数估计Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计第三课:矩阵和线性代数从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程第四课:凸优化凸函数、共轭函数、凸优化、Lagrange对偶函数第五课：回归高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系应用方向：线性回归、Logistic回归实现和分析第六课：梯度下降与拟牛顿法梯度下降算法、自适应学习率、拟牛顿、LBFGS应用方向：自适应学习率代码实现和参数调试分析第七课：最大熵模型熵、相对熵、信息增益、最大熵模型、Softmax回归应用方向：独立成分分析ICA求解盲源分离BBS问题第八课：决策树和随机森林（蒙特卡罗）ID3、C4.5、CART、Bagging研究方向:使用随机森林进行数据分类（蒙特卡洛）第九课：SVM线性可分支持向量机、软间隔、核函数、SMO研究方向：使用SVM进行数据分类第十课：聚类K-means/K-Medoids、密度聚类、谱聚类、应用方向：K-means、谱聚类代码实现和参数调试分析第十一课：推荐系统相似度量方案、协同过滤（User-based/ltem-based）、PCA/SVD、随机游走应用方向：协同过滤用于商品推荐、SVD隐变量的推荐第十二课：提升梯度提升决策树GBDT、Adaboost、前向分步算法应用方向：Adaboost与随机森林（蒙特卡洛）结合、用于数据分类第十三课：EM算法和GMMEMM算法、GMM、主题模型pLSA应用方向：分解部分观测数据的男女身高、图像分解第十四课：普斯贝叶斯和贝叶斯网络初步有向分离、（隐）马尔科夫模型HMM第十五课：主题模型用EM算法计算pLSA、Dirichiet分布、LDA、Gibbs采样应用方向：使用Gibbs采样计算给语料的主题第十六课：采样MCMC（MarkovchainMonteCarlo）、Metropolis-Hastings算法、Gibbs采样第十七课：变分KL(pllq)与KL（qllp）分析、平均场理论第十八课：隐马尔科夫模型HMM概率计算问题、HMM参数学习问题、状态预测问题应用方向：使用HMM进行中文分词第十九课：条件随机场CRF无向图模型、MRF、前向-后向算法第二十课：深度学习全连接网络、链式法则与BP算法、卷积网络、残差网络、应用方向：使用BP网络对样本分类第十三课：深度学习总体介绍1.神经网络；传统到现代2.深度学习应用特定3.深度学习发展方向4.深度学习框架比较：用Tensorflow进行课程学习第十四课：传统神经网络1.线性回归2.非线性激励函数3.loss函数，常见问题：过拟合，正则化，dropout实例：传统神经网络络实现第十五课反向反馈：深度学习模型优化基础1.SGD梯度下降介绍2.神经网络的梯度优化3.神经网络训练实例：反向梯度优化对比第十六课卷积神经网络1.卷积核以及卷积层2.AlexNet最早的现代神经网络3.VGG，GoogleNet,，ResNet.近期的高级网络LeNet实例：利用已有模型进行物体分类／特征提取第十七课迁移学习1.理论分析2.迁移模型&原始训练模型3.如何设计新的的网络实例：表情识别／人脸识别／动物识别第十八课与时域信息相关的深度学习1.RNN2.LSTM3.图片标题生成4.视频处理实例：LSTM用于图片标题生成第十九课自然语言处理1.处理之前：speechtotext2.词语表达，word2vect3.语句生成LSTM实例：根据上下文回答问题第二十课给予深度学习的目标检测1.传统的目标检测方法2.初代算法：RegionCNN3.升级：SPPNet，FastRCNN，FasterRCNN4.深度学习另辟蹊径：YoLo和SSD实例：自动驾驶的核心：实时目标检测第二十一课深度卷积神经偶的重要应用1.图片问答2.图像模式转换3.图像高清化4.围棋程序，Alphago5.自动游戏机器人，DeepMindAtari实例：图片艺术风格转化第二十二课无监督学习：对抗网络GAN1.传统无监督学习Autoencode，KMeans，SparseCoding2.RBM限制博斯曼机，深度学习的另一支3.生成对抗网络GAN实例：机器生成图片，以假乱真第二十三课：迁移学习第二十四课：增强学习记忆模型，远超过RNN的GTMM第二十五课：二值神经网络普通二值神经网络，YodaNN，XLA如何让机器学习在TensorFlow上提升速度第二十六课：对偶学习纳米神经网络NanoNetAsolutiontothesingle-questioncrowdwisdomproblem（选自自然杂志意味流行算法解决群体智慧中缺陷）语义理解（目前自然语言界最大难关）使用LSTM+Attion解决像素卷积神经网络（PixelCNN++）可将图像生成速度提高183倍WaveNetRLSSscheduletobepostedsoon（深度学习与强化学习暑期学校）机器与大脑学习项目课程计划CNNsRNNsGenerativeModels2ComputationalNeuroscience1LearningtolearnCoffeBreakNeuralNetworksStructuredModels/AdvancedVisionProbabillsticNumericsNaturalLanguageUnderstandingComputational常见问题：Q：会有实际上机演示和动手操作吗？A：有，几乎每节课，老师均会准备上机演示部分，学员可以学习老师的实践经验。Q：参加本门课程有什么要求？A：有一定Python编程能力，有几本大学数学基础。Q：本课程怎么答疑？A：会有专门的QQ班级群，同学们可以针对课上知识的问题，或者自己学习与动手实践中的问题，向老师提问，老师会进行相应解答。也推荐大家到小象问答社区提问，方便知识的沉淀，老师会集中回答，不会因为QQ群信息刷屏而被老师错过。Q：本课程需要什么环境？A：开发环境主要以Ubuntu为主，深度学习训练需要有可以支持的显卡，基本要求GTX960，有条件的尽量GTX1080，GTXTitanX更好（显卡的内核数以及显存数尽量多一点）。