搜索
数据归一化处理1.我有一个问题不太明白，神经网络在训练时，先对数据进行归一化处理，按照常理训练完之后应该对数据再进行反归一化啊，可是再很多资料上根本就看不出有反归一化这个步骤，而且很多时候训练效果不是很好。请问，哪个大侠能帮帮我啊2.看一下MATLAB里的premnmx函数和postmnmx函数.它们一个是归一一个是反归一3.并不是归一化的数据训练效果就好4.我也遇到过类似的问题,有篇论文就是用postmnmx函数.效果不好可能是样本数据不太准.5.可以采用标准化PRESTD，效果很好。6.样本数据和测试数据是否放在一起归一化？7.应该将样本数据和测试数据放在一起归一化，不然如果测试数据中有的值比样本数据最大值还大，岂不是超过1了？神经网络训练的时候，应该考虑极值情况，即归一化的时候要考虑你所需要识别参数的极值，以极值作分母，这样可能效果更好一点。8.激发函数如果选用的是倒s型函数，应不存在归一化的问题吧9.我想问大家一下:在神经网络中,只有一个函数即:purelin这个函数对训练的输出数据不用归一化,而象logsig和tansig函数都要归一化(如果数据范围不在[-1,1]或[0,1]之间).那既然用purelin函数可以不用归一化,为何又是还用归一化呢?用神经网络里的PRESTD,PREPCA,POSTMNMX,TRAMNMX等函数归一化和直接用purelin这个函数有什么区别啊?我作负荷预测时,象不用归一化的效果很好呀!10.purelin没有作归一化啊,你用logsig和tansig作为神经元激励函数,输出范围自然限制在[-1,1]或[0,1]之间了11.我所知道的关于归一化：归一化化定义：我是这样认为的，归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。在matlab里面，用于归一化的方法共有三中，（1）premnmx、postmnmx、tramnmx（2）prestd、poststd、trastd（3）是用matlab语言自己编程。premnmx指的是归一到[－11],prestd归一到单位方差和零均值。（3）关于自己编程一般是归一到[0.10.9]。具体用法见下面实例。为什么要用归一化？为什么要用归一化呢？首先先说一个概念，叫做奇异样本数据，所谓奇异样本数据数据指的是相对于其他输入样本特别大或特别小的样本矢量。下面举例：m=[0.110.150.320.4530;0.130.240.270.2545];其中的第五列数据相对于其他4列数据就可以成为奇异样本数据（下面所说的网络均值bp）。奇异样本数据存在所引起的网络训练时间增加，并可能引起网络无法收敛，所以对于训练样本存在奇异样本数据的数据集在训练之前，最好先进形归一化，若不存在奇异样本数据，则不需要事先归一化。具体举例：closeallclearechoonclc%BP建模%原始数据归一化m_data=[1047.921047.830.390.391.035005075;1047.831047.680.390.401.034524912;1047.681047.520.400.411.034044749;1047.521047.270.410.421.033564586;1047.271047.410.420.431.033084423;1046.731046.741.701.800.7527332465;1046.741046.821.801.780.7524192185;1046.821046.731.781.750.7521051905;1046.731046.481.751.850.7017911625;1046.481046.031.851.820.7014771345;1046.031045.331.821.680.7011631065;1045.331044.951.681.710.70849785;1044.951045.211.711.720.70533508;1045.211045.641.721.700.70567526;1045.641045.441.701.690.70601544;1045.441045.781.691.690.70635562;1045.781046.201.691.520.75667580];%定义网络输入p和期望输出tpauseclcp1=m_data(:,1:5);t1=m_data(:,6:7);p=p1';t=t1';[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t)%[X,minx,maxx,T,mint,maxt]=premnmx(IN,OUT);%对输入和输出函数进行归一化处理，其中：IN为输入数据，OUT为输出数据，X为输入数据转换成的标准数据，minx为输入的最小数据，maxx为输入的最大数据，T为输出数据转换成的标准数据，mint为输出的最小值，maxt为输出的最大值。%设置网络隐单元的神经元数(5~30验证后5个最好）n=5;%建立相应的BP网络pauseclcnet=newff(minmax(pn),[n,2],{'tansig','purelin'},'traingdm');inputWeights=net.IW{1,1};inputbias=net.b{1};layerWeights=net.IW{1,1};layerbias=net.b{2};pauseclc%训练网络net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.mc=0.9;net.trainParam.epochs=200000;net.trainParam.goal=1e-3;pauseclc%调用TRAINGDM算法训练BP网络net=train(net,pn,tn);%对BP网络进行仿真A=sim(net,pn);E=A-tn;M=sse(E)N=mse(E)pauseclcp2=[1046.201046.051.521.5380.75;1046.051046.851.5381.5100.75;1046.851046.601.5101.4080.75;1046.601046.771.4081.4030.75;1046.771047.181.4031.3190.75];p2=p2';p2n=tramnmx(p2,minp,maxp);a2n=sim(net,p2n);a2=postmnmx(a2n,mint,maxt)echooffpauseclc程序说明：所用样本数据（见m_data）包括输入和输出数据，都先进行归一化，还有一个问题就是你要进行预测的样本数据(见本例p2)在进行仿真前，必须要用tramnmx函数进行事先归一化处理，然后才能用于预测，最后的仿真结果要用postmnmx进行反归一，这时的输出数据才是您所需要的预测结果。个人认为：tansig、purelin、logsig是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法。12.tansig、purelin、logsig是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法,说的有问题,若用premnmx将输入输出归一化,其输出值在[-1,1]之间,若输出层传函为logsig则无论怎么训练,输出值都不可能在[-1,1]之间.13.我感觉如果激发函数是S型函数，应该不用规一化处理，但是效果不如规一化处理的好，不知道为什么？14.我认为有可能是数据太大或太多，将其归一化之后，有利于快速的调整神经网络的网络结构，或者如同terry2008所说存在奇异值也肯定有影响。当然，效果好就选谁！15.如果输入数据中含有频率、幅值、相位以及其他一些不同类型的数据，需要对他们进行什么处理，才能用于网络的训练？只是简单的归一化就行吗？16.如果数据的维数太多，可以考虑用prepca进行主元分析，不知道silvercx所说的简单的归一化是什么意思？我现在还不知道其他预处理方法？什么事都得试一下，试过了就知道，你可可以拿出具体问题一起讨论！17.我认为讨论之前要搞清一个数学问题，就是每种激励函数的定义域和值域，我们都知道tansig的定义域是任意实数，值域为（－1，1）、purelin定义域和值域都是任意实数、logsig定义域任意实数，值域是（0，1）。所以在具体实际中使用用事先考虑好这个问题，logsig的值域是（0，1），当然不可能使输出在（－1，1）了。我所说的：tansig、purelin、logsig是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法,我并没说没有间接关系。18.如果输入样本的数据组成为In=[频率;幅值;相位]我只用premnmx对In进行归一化，训练BP网络，得到一个目标输出Out，其数据组成也为Out=[频率;幅值;相位]。这样子可以吗？总觉得把不同类型的数据放一起有点不妥。19.完全可以，不过在输入数据和输出数据啊安排上可能要以时间序列的方式来安排。例如，用第1，2，3，4时刻的数据预测第5时刻的数据，用第2，3，4，5时刻的数据预测第6时刻的数据，依次类推，可以组成一定的输入输出对，以上只是举个例子，只是说明这种数据组织方法，silvercx在实际中可以根据自己的要解决的问题，自己确定，我只是提供一个参考方法。有问题再讨论！20.目前在我的项目中，我是这样子来训练BP网络的。在变频器输出频率为45~50Hz之间，采集电机的转矩(T)、转速(n)和另外一个目标量(RL)。然后我对这些数据进行FFT变换，得到他们前几次谐波的幅值和相位。归一化。然后我利用两个网络分别训练幅值和相位。（下面Am表示幅值，Ph表示相位，即AmT45，表示在45Hz时电机的转矩前几次谐波幅值）网络1：in=[AmT45AmT46AmT47AmT48AmT49AmT50;Amn45Amn46Amn47Amn48Amn49Amn50;];out=[AmRL45AmRL46AmRL47AmRL48AmRL49AmRL50];网络2：in=[PhT45PhT46PhT47PhT48PhT49PhT50;Phn45Phn46Phn47Phn48Phn49Phn50;];out=[PhRL45PhRL46PhRL47PhRL48PhRL49PhRL50];然后利用所训练的网络去测试其他频率下的数据RL。这样进行网络的训练行不行，还是把幅值和相位放在一个网络内训练的效果好？21.在神经网络BP网的预测中，对数据进行归一化处理，完了输出再反归一化。如果是单入单出系统好办，如果是多入单出系统，那么反归一化时，最大值和最小值怎么确定呢？22.你可以自己指定，或者使用在训练网络时候确定的最大值和最小值23.请问minmax(p),p是输入样本,它的功能是做归一化吗，在MATLAB里面.谢谢!24.我认为，如果各维的数据不进行归一化处理，那么各维对误差函数的影响差异会很大。从而会影响学习性能。不知道对不对？25.那样本数据\测试数据\预测数据\期望数据要一起进行归一化吗?26.我所知道的关于归一化：归一化化定义：我是这样认为的，归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。在matlab里面，用于归一化的方法共有三中，（1）premnmx、postmnmx、tramnmx（2）prestd、poststd、trastd（3）是用matlab语言自己编程。premnmx指的是归一到[－11],prestd归一到单位方差和零均值。（3）关于自己编程一般是归一到[0.10.9]。具体用法见下面实例。为什么要用归一化？为什么要用归一化呢？首先先说一个概念，叫做奇异样本数据，所谓奇异样本数据数据指的是相对于其他输入样