CNN-典型网络结构与常用框架

CNN与常用框架七月算法寒老师2016年5月22日主要内容神经网络与卷积神经网络1.层级结构2.数据处理3.训练算法4.优缺点实际搭建与训练CNN1.典型CNN2.训练与fine-tuning常用框架与应用1.常用框架2.广泛应用5月深度学习班julyedu.com2神经网络之是什么5月深度学习班julyedu.com神经网络长什么样？什么鬼…3神经网络之是什么从逻辑回归到神经元『感知器』5月深度学习班julyedu.com4神经网络之是什么添加少量隐层=浅层神经网络5月深度学习班julyedu.com5神经网络之是什么增多中间层=深度神经网络(DNN)5月深度学习班julyedu.com6神经网络之为什么神经网络应用在分类问题中效果好LR或者linearSVM，线性分割5月深度学习班julyedu.com7神经网络之为什么LR和SVM对于非线性可分，怎么处理的？为什么不用它们？5月深度学习班julyedu.com8神经网络之为什么非线性可分，怎么办？5月深度学习班julyedu.com9神经网络之为什么5月深度学习班julyedu.com神经元完成『逻辑与』10神经网络之为什么5月深度学习班julyedu.com11神经网络之为什么神经元完成『逻辑或』5月深度学习班julyedu.com12神经网络之为什么对线性分类器的『与』和『或』的组合完美对平面样本点分布进行分类5月深度学习班julyedu.com13神经网络到卷积神经网络我们知道神经网络结构如下那卷积神经网络和它是什么关系呢？5月深度学习班julyedu.com14卷积神经网络依旧是层级网络但层的功能和形式做了变化卷积神经网络之层级结构5月深度学习班julyedu.com15卷积神经网络之层级结构数据输入层/Inputlayer卷积计算层/CONVlayerReLU激励层/ReLUlayer池化层/Poolinglayer全连接层/FClayer5月深度学习班julyedu.com16卷积神经网络之层级结构数据输入层/Inputlayer有3种常见的图像数据处理方式去均值把输入数据各个维度都中心化到0归一化幅度归一化到同样的范围PCA/白化用PCA降维白化是对数据每个特征轴上的幅度归一化5月深度学习班julyedu.com17卷积神经网络之层级结构去均值与归一化5月深度学习班julyedu.com18卷积神经网络之层级结构去相关与白化5月深度学习班julyedu.com19卷积神经网络依旧是层级网络但层的功能和形式做了变化卷积神经网络之层级结构5月深度学习班julyedu.com20卷积神经网络之层级结构我们知道神经网络结构如下5月深度学习班julyedu.com21卷积神经网络之层级结构卷积计算层/CONVlayer局部关联。每个神经元看做一个filter。窗口(receptivefield)滑动，filter对局部数据计算5月深度学习班julyedu.com22卷积神经网络之层级结构卷积计算层/CONVlayer深度/depth步长/stridedemo填充值/zero-padding5月深度学习班julyedu.com23卷积神经网络之层级结构5月深度学习班julyedu.com24卷积神经网络之层级结构5月深度学习班julyedu.com25卷积神经网络之层级结构5月深度学习班julyedu.com26卷积神经网络之层级结构5月深度学习班julyedu.com27卷积神经网络之层级结构5月深度学习班julyedu.com28卷积神经网络之层级结构卷积计算层/CONVlayer参数共享机制假设每个神经元连接数据窗的权重是固定的5月深度学习班julyedu.com29卷积神经网络之层级结构卷积层固定每个神经元连接权重，可以看做模板每个神经元只关注一个特性需要估算的权重个数减少:AlexNet1亿=3.5w一组固定的权重和不同窗口内数据做内积:卷积5月深度学习班julyedu.com30卷积神经网络之层级结构5月深度学习班julyedu.com31卷积神经网络依旧是层级网络但层的功能和形式做了变化卷积神经网络之层级结构5月深度学习班julyedu.com32卷积神经网络之层级结构激励层(ReLU)把卷积层输出结果做非线性映射5月深度学习班julyedu.com33卷积神经网络之层级结构激励层(ReLU)把卷积层输出结果做非线性映射SigmoidTanh(双曲正切)ReLULeakyReLUELUMaxout5月深度学习班julyedu.com34卷积神经网络之层级结构激励层(ReLU)Sigmoid5月深度学习班julyedu.com35卷积神经网络之层级结构激励层(ReLU)Tanh5月深度学习班julyedu.com36卷积神经网络之层级结构激励层(ReLU)ReLU(TheRectifiedLinearUnit/修正线性单元)收敛快，求梯度简单，较脆弱5月深度学习班julyedu.com37卷积神经网络之层级结构激励层(ReLU)ReLU(TheRectifiedLinearUnit/修正线性单元)5月深度学习班julyedu.com38卷积神经网络之层级结构激励层(LeakyReLU)LeakyReLU不会“饱和”/挂掉，计算也很快5月深度学习班julyedu.com39卷积神经网络之层级结构激励层(LeakyReLU)LeakyReLU不会“饱和”/挂掉，计算也很快5月深度学习班julyedu.com40卷积神经网络之层级结构激励层(指数线性单元ELU)所有ReLU有的优点都有，不会挂，输出均值趋于0因为指数存在，计算量略大5月深度学习班julyedu.com41卷积神经网络之层级结构激励层(Maxout)计算是线性的，不会饱和不会挂多了好些参数两条直线拼接5月深度学习班julyedu.com42卷积神经网络之层级结构激励层(实际经验）①不要用sigmoid！不要用sigmoid！不要用sigmoid！②首先试RELU，因为快，但要小心点③如果2失效，请用LeakyReLU或者Maxout④某些情况下tanh倒是有不错的结果，但是很少5月深度学习班julyedu.com43卷积神经网络依旧是层级网络但层的功能和形式做了变化卷积神经网络之层级结构5月深度学习班julyedu.com44卷积神经网络之层级结构池化层/Poolinglayer夹在连续的卷积层中间压缩数据和参数的量，减小过拟合5月深度学习班julyedu.com45卷积神经网络之层级结构池化层/PoolinglayerMaxpooling和averagepooling5月深度学习班julyedu.com46卷积神经网络依旧是层级网络但层的功能和形式做了变化卷积神经网络之层级结构5月深度学习班julyedu.com47卷积神经网络之层级结构全连接层/FClayer两层之间所有神经元都有权重连接通常全连接层在卷积神经网络尾部一般CNN结构依次为INPUT[[CONV-RELU]*N-POOL?]*M[FC-RELU]*KFC5月深度学习班julyedu.com48卷积神经网络之层级结构5月深度学习班julyedu.com49卷积神经网络之层级理解filtersdataCONVLayer15月深度学习班julyedu.com50卷积神经网络之层级理解filtersdataCONVLayer25月深度学习班julyedu.com51卷积神经网络之层级理解dataCONVLayer35月深度学习班julyedu.com卷积神经网络之层级理解dataCONVLayer45月深度学习班julyedu.com卷积神经网络之层级理解dataCONVLayer55月深度学习班julyedu.com卷积神经网络之训练算法同一般机器学习算法，先定义Lossfunction，衡量和实际结果之间差距。找到最小化损失函数的W和b，CNN中用的算法是SGD。SGD需要计算W和b的偏导BP算法就是计算偏导用的。BP算法的核心是求导链式法则。5月深度学习班julyedu.com55卷积神经网络之训练算法输出层5月深度学习班julyedu.com56卷积神经网络之训练算法中间层5月深度学习班julyedu.com57卷积神经网络之训练算法BP算法利用链式求导法则，逐级相乘直到求解出dW和db。利用SGD/随机梯度下降，迭代和更新W和b5月深度学习班julyedu.com58卷积神经网络之优缺点优点共享卷积核，对高维数据处理无压力无需手动选取特征，训练好权重，即得特征分类效果好缺点需要调参，需要大样本量，训练最好要GPU物理含义不明确5月深度学习班julyedu.com59卷积神经网络之典型CNNLeNet，这是最早用于数字识别的CNNAlexNet，2012ILSVRC比赛远超第2名的CNN，比LeNet更深，用多层小卷积层叠加替换单大卷积层。ZFNet，2013ILSVRC比赛冠军GoogLeNet，2014ILSVRC比赛冠军VGGNet，2014ILSVRC比赛中的模型，图像识别略差于GoogLeNet，但是在很多图像转化学习问题(比如objectdetection)上效果奇好5月深度学习班julyedu.com60卷积神经网络之典型CNNLenet5月深度学习班julyedu.com61卷积神经网络之典型CNNLenet5月深度学习班julyedu.com62卷积神经网络之典型CNNAlexNet2012Imagenet比赛第一，Top5准确度超出第二10%5月深度学习班julyedu.com63卷积神经网络之典型CNNAlexNet5月深度学习班julyedu.com64卷积神经网络之典型CNNAlexNet5月深度学习班julyedu.com65卷积神经网络之典型CNNAlexNet5月深度学习班julyedu.com66卷积神经网络之典型CNNZFNet5月深度学习班julyedu.com67卷积神经网络之典型CNNVGG5月深度学习班julyedu.com68卷积神经网络之典型CNNVGG5月深度学习班julyedu.com69卷积神经网络之典型CNNVGG5月深度学习班julyedu.com70卷积神经网络之典型CNNGoogleLeNet5月深度学习班julyedu.com71卷积神经网络之典型CNNGoogleLeNet5月深度学习班julyedu.com72卷积神经网络之fine-tuning何谓fine-tuning使用已用于其他目标，预训练好模型的权重或者部分权重，作为初始值开始训练原因自己从头训练卷积神经网络容易出现问题fine-tuning能很快收敛到一个较理想的状态做法复用相同层的权重，新定义层取随机权重初始值调大新定义层的的学习率，调小复用层学习率5月深度学习班julyedu.com73卷积神经网络之fine-tuning5月深度学习班julyedu.com74卷积神经网络之常用框架Caffe源于Berkeley的主流CV工具包，支持C++,python,matlabModelZoo中有大量预训练好的模型供使用TorchFacebook用的卷积神经网络工具包通过时域卷积的本地接口，使用非常直观定义新网络层简单TensorFlowGoogle的深度学习框架TensorBoard可视化很方便数据和模型并行化好，速度快5月深度学习班julyedu.com75卷积神经网络之常用框架5月深度学习班julyedu.com76卷积神经网络之典型应用图像识别5月深度学习班julyedu.com77卷积神经网络之典型应用图像识别与检索5月深度学习班julyedu.com78