基于卷积神经网络的手写数字识别

基于卷积神经网络的手写数字识别卷积神经网络•基于人工神经网络•使用卷积核作为特征抽取器•自动训练特征抽取器（即卷积核，即阈值参数）•卷积核一次训练多次使用，可以在线学习（模型在训练好之后，在使用中继续训练）。•局部感受野+权值共享+下采样使模型参数大幅减小。7卷积w13w12w11w23w22w21w33w32w3110-110-110-1ConvolvewithThresholdw13w12w11w23w22w21w33w32w31•卷积其实是一个图像处理核•卷积用于增强图像的某种特征，降低噪音8卷积features9卷积子采样•利用图像局部相关性的原理，减少训练维数，同时保留了有用信息•降低图像分辨率•增强网络对大小变化的适用性子采样•为什么不把S2中的每个特征图连接到每个C3的特征图呢？原因有2点。•第一，不完全的连接机制将连接的数量保持在合理的范围内。•第二，也是最重要的，其破坏了网络的对称性。由于不同的特征图有不同的输入，所以迫使他们抽取不同的特征。训练过程训练算法与传统的BP算法差不多。主要包括4步，这4步被分为两个阶段：•第一阶段，向前传播阶段：a）从样本集中取一个样本(X,Yp)，将X输入网络；b）计算相应的实际输出Op。在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算（实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果）：Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））•第二阶段，向后传播阶段a）算实际输出Op与相应的理想输出Yp的差；b）按极小化误差的方法反向传播调整权矩阵。15LeNet516LeNet5优点卷积神经网络较一般神经网络在图像处理方面有如下优点：•a）输入图像和网络的拓扑结构能很好的吻合；•b）特征提取和模式分类同时进行，并同时在训练中产生；•c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。缺点•实践中，具有类标号的数据较少，而不具有类标号的数据非常丰富，为每个数据人工设置类标号是非常费时和枯燥的。然而，为了使得监督卷积神经网络通过训练具有较高的泛化能力，需要大量具有类标号的训练样本，这也是制约临督卷积神经网络在实践巾应用的主要因素。卷积神经网络的非监督•深层网络含有较多的权值，当具有类标号的训练样本较少时，仅使用监督训练的方法不能充分训练深层网络。近年来，深层学习的研究表明，可以先使用没有类标号的训练样本逐层非脆督训练深层网络，而后，再使用少量具有类标号的训练样本监督训练深层网络，进行权值微调，这样在具有类标号的训练样本较少时，也能训练出泛化能力较高的深层网络。•卷积神经网络的非监督训练算法主要有三种：预测稀疏分解PSD，不变预测稀疏分解IPSD和卷积预测稀疏分解CPSD。