cnn论文总结

CNN论文总结一、基于卷积神经网络的深度学习算法与应用研究1、CNN整体框架2、三种对LE-NET5改进方法2.1.12.1.22.1.32、CNN在交通标示识别中的应用2.1原始图像预处理（三种方法）其中CLAHE的效果更好2.2CNN与MLP结合2.3构建多列深度卷积神经网络（MCDNN）Adaboost+DNN=MCDNN3．本篇论文总结二、基于卷积神经网络的交通标识识别研究与应用三．基于卷积神经网络的人脸检测和性别识别研究四、基于卷积神经网络的目标跟踪算法研究与实现五、基于CNN的字符识别方法研究六、改进的卷积神经网络模型及其应用研究1、选用基于稀疏MAXOUT激励函数，解决了激励函数选择困难的问题。（maxout与dropout结合效果最好，Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了，可以看出使用Dropout后，虽然训练样本的错误率较高，但是训练样本的错误率降低了，说明Dropout的泛化能力不错，可以防止过拟合）2、3、卷积神经网络的监督学习4、稀疏maxout激励函数利用ReLU函数给maxout函数带来稀疏性。5、基于k-means的无监督卷积神经网络其实差距并不大，而且无监督的正确率要低于监督学习。七、基于卷积神经网络的场景理解方法研究CNN原理C1层：输入图片大小：32*32卷积窗大小：5*5卷积窗种类：6输出特征图数量：6输出特征图的大小：28*28（步长为1,32-5+1）神经元数量：4704（28*28*6）可训练参数：156（（5*5+1）*6）每个过滤器5*5个unit参数和一个bias参数连接数：122304（156*28*28）卷积运算一个重要的特点就是，通过卷积运算，可以使原信号特征增强，并且降低噪音。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。S2层：输入图片大小：28*28*6卷积窗大小：2*2卷积窗种类：6输出下采样图数量：6输出下采样图的大小：14*14*6神经元数量：1176（14*14*6）可训练参数：12连接数：5580（（4+1）*14*14*6）S2层是一个下采样层，特征图中的每个单元与C1中相对应特征图的2*2邻域相连接。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置，结果通过sigmoid函数计算。因为每个单元的2*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4.卷积和下采样层总结：卷积过程：用一个可训练滤波器fx去卷积一个输入的图像，然后加上一个偏置bx，得到卷积层Cx。子采样过程：每个邻域四个像素求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图Sx+1。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。C3层：输入图片大小：14*14*6卷积窗大小：5*5卷积窗种类：16输出特征图数量：16输出特征图的大小：10*10神经元数量：1600（10*10*6）可训练参数：1516（6*（3*25+1）+6*（4*25+1）+3*（4*25+1）+（25*6+1）=1516）连接数：151600（1516*10*10）（部分连接：1、不完全的连接机制将连接的数量控制在合理的范围内。2、破坏网络的对称性。由于不同的特征图有不同的输入，所以迫使他们抽取不同的特征（希望是互补的））。分析C3层：因为S2是多层，所以需要按照一定的规则组合这些层。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。S4层：输入图片大小：16*5*5卷积窗大小：2*2卷积窗种类：16输出下采样图数量：16输出下采样图的大小：120神经元数量：400（16*5*5）可训练参数：32（16*（1+1））连接数：2000（（4+1）*400）。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻域相连。由于S4层特征图的大小也为5*5（同滤波器一样），故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍将C5标示为卷积层而非全相联层，是因为如果LeNet-5的输入变大，而其他的保持不变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。120*(16*5*5+1)=48120。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层全相连。有10164个可训练参数。如同经典神经网络，F6层计算输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。84*(120*(1+1)+1)=10164.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。最后，输出层由欧式径向基函数（EuclideanRadialBasisFunction）单元组成，每类一个单元，每个有84个输入。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。二、训练过程：在开始训练之前，所有的权都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常的学习训练方法分为4步第一阶段，向前传播阶段：a）从样本集中取一个样本(X,Yp)，将X输入网络；b）计算相应的实际输出Op。在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算（实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果）：Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））第二阶段，向后传播阶段•a）算实际输出Op与相应的理想输出Yp的差；•b）按极小化误差的方法反向传播调整权矩阵。L2正则化只改变权重（可能增大或者减小，多数是权重衰减），不改变偏置。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。