神经网络与深度学习

使用梯度下降算法进行学习定义一个代价函数要对于所有的x,y(x)趋近于输出a,C(w,b)0.梯度下降假设C是一个只有两个变量v1和v2的二元函数,定义为V变化的向量，VTVVV2,1定义C的梯度为偏导数的向量，假设C是一个有m个变量V1,.....Vm的多元函数学习缓慢随机梯度下降法将随机的训练输入标记为X1,X2,.....Xm初始化定义S型函数对于一个给定的输入a,返回对应的输出。SGD方法加载数据94.78%隐藏神经元数量改为10096.16%学习速率选为0.00129.39%学习速率改为100，隐藏神经元改为30个9.19%学习速率太高