数据预处理的一些总结

数据归一化汇总 - Matlab 人工智能模式识别 神经网络 - Matlab中文论坛 | Simulink 论坛 | Matlab下载 | Matlab资料 | Matlab视频 |Matlab图像处理 | Matlab神经网络 | Matlab数学运算 - Powered by Discuz! -http://www.ilovematlab.cn/viewthread.php?tid=27021&extra=page%3D1%26amp%3Bfilter%3D0%26amp%3Borderby%3Ddateline%26amp%3Bascdesc%3DDESC

数据归一化汇总

============外一篇 有关mapminmax的用法详解 by faruto==================================

几个要说明的函数接口:

[Y,PS] = mapminmax(X)

[Y,PS] = mapminmax(X,FP)

Y = mapminmax('apply',X,PS)

X = mapminmax('reverse',Y,PS)

用实例来讲解,测试数据 x1 = [1 2 4], x2 = [5 2 3];

>> [y,ps] = mapminmax(x1)

y =

-1.0000   -0.3333    1.0000

ps =

name: 'mapminmax'

xrows: 1

xmax: 4

xmin: 1

xrange: 3

yrows: 1

ymax: 1

ymin: -1

yrange: 2

其中y是对进行某种规范化后得到的数据,这种规范化的映射记录在结构体ps中.让我们来看一下这个规范化的映射到底是怎样的?

Algorithm

It is assumed that X has only finite real values, and that the elements of each row are not all equal.

y = (ymax-ymin)*(x-xmin)/(xmax-xmin) + ymin;

[关于此算法的一个问题.算法的假设是每一行的元素都不想相同,那如果都相同怎么办?实现的办法是,如果有一行的元素都相同比如xt = [1 1 1],此时xmax = xmin = 1,把此时的变换变为y = ymin,matlab内部就是这么解决的.否则该除以0了,没有意义!]

也就是说对x1 = [1 2 4]采用这个映射 f: 2*(x-xmin)/(xmax-xmin)+(-1),就可以得到y = [ -1.0000   -0.3333    1.0000]

我们来看一下是不是: 对于x1而言 xmin = 1,xmax = 4;

则y(1) = 2*(1 - 1)/(4-1)+(-1) = -1;

y(2) = 2*(2 - 1)/(4-1)+(-1) = -1/3 = -0.3333;

y(3) = 2*(4-1)/(4-1)+(-1) = 1;

看来的确就是这个映射来实现的.

对于上面algorithm中的映射函数 其中ymin,和ymax是参数,可以自己设定,默认为-1,1;

比如:

>>[y,ps] = mapminmax(x1)

>> ps.ymin = 0;

>> [y,ps] = mapminmax(x1,ps)

y =

0    0.3333    1.0000

ps =

name: 'mapminmax'

xrows: 1

xmax: 4

xmin: 1

xrange: 3

yrows: 1

ymax: 1

ymin: 0

yrange: 1

则此时的映射函数为: f: 1*(x-xmin)/(xmax-xmin)+(0),是否是这样的这回你可自己验证.O(∩_∩)O

如果我对x1 = [1 2 4]采用了某种规范化的方式, 现在我要对x2 = [5 2 3]采用同样的规范化方式[同样的映射],如下可办到:

>> [y1,ps] = mapminmax(x1);

>> y2 = mapminmax('apply',x2,ps)

y2 =

1.6667   -0.3333    0.3333

即对x1采用的规范化映射为: f: 2*(x-1)/(4-1)+(-1),(记录在ps中),对x2也要采取这个映射.

x2 = [5,2,3],用这个映射我们来算一下.

y2(1) = 2(5-1)/(4-1)+(-1) = 5/3 = 1+2/3 = 1.66667

y2(2) = 2(2-1)/(4-1)+(-1) = -1/3 = -0.3333

y2(3) = 2(3-1)/(4-1)+(-1) = 1/3 = 0.3333

X = mapminmax('reverse',Y,PS)的作用就是进行反归一化,讲归一化的数据反归一化再得到原来的数据:

>> [y1,ps] = mapminmax(x1);

>> xtt = mapminmax('reverse',y1,ps)

xtt =

1     2     4

此时又得到了原来的x1(xtt = x1);

=================================

Matlab 数字归一化问题(by yingzhilian)

http://www.ilovematlab.cn/viewthread.php?tid=26409&extra=page%3D1&sid=Xs3tJM

-------------------------------------------------------

归一化化定义:我是这样认为的,归一化化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保正程序运行时收敛加快。

在matlab里面,用于归一化的方法共有三种:

(1)premnmx、postmnmx、tramnmx

(2)prestd、poststd、trastd

(3)是用matlab语言自己编程。

premnmx指的是归一到[-1 1],prestd归一到单位方差和零均值。(3)关于自己编程一般是归一到[0.1  0.9] 。具体用法见下面实例。

为什么要用归一化呢?首先先说一个概念,叫做奇异样本数据,所谓奇异样本数据数据指的是相对于其他输入样本特别大或特别小的样本矢量。

下面举例:

m=[0.11 0.15 0.32 0.45 30;

0.13 0.24 0.27 0.25 45];

其中的第五列数据相对于其他4列数据就可以成为奇异样本数据(下面所说的网络均值bp)。奇异样本数据存在所引起的网络训练时间增加,并可能引起网络无法收敛,所以对于训练样本存在奇异样本数据的数据集在训练之前,最好先进形归一化,若不存在奇异样本数据,则不需要事先归一化。

具体举例:

close all

clear

echo on

clc

%BP建模

%原始数据归一化

m_data=[1047.92 1047.83 0.39 0.39 1.0 3500 5075;

1047.83 1047.68 0.39 0.40  1.0 3452 4912;

1047.68 1047.52  0.40  0.41 1.0  3404 4749;

1047.52  1047.27  0.41  0.42 1.0  3356 4586;

1047.27  1047.41 0.42 0.43  1.0  3308  4423;

1046.73  1046.74 1.70 1.80 0.75  2733  2465;

1046.74  1046.82  1.80  1.78 0.75  2419 2185;

1046.82 1046.73  1.78  1.75  0.75 2105  1905;

1046.73  1046.48 1.75 1.85 0.70 1791  1625;

1046.48  1046.03  1.85  1.82  0.70 1477 1345;

1046.03 1045.33 1.82 1.68  0.70  1163  1065;

1045.33  1044.95  1.68  1.71 0.70  849  785;

1044.95  1045.21 1.71  1.72  0.70  533  508;

1045.21 1045.64  1.72  1.70 0.70 567  526;

1045.64 1045.44 1.70  1.69  0.70  601  544;

1045.44 1045.78  1.69  1.69 0.70  635  562;

1045.78 1046.20  1.69  1.52 0.75  667  580];

%定义网络输入p和期望输出t

pause

clc

p1=m_data(:,1:5);

t1=m_data(:,6:7);

p=p1';t=t1';

[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t)

%设置网络隐单元的神经元数(5~30验证后5个最好)

n=5;

%建立相应的BP网络

pause

clc

net=newff(minmax(pn),[n,2],{'tansig','purelin'},'traingdm');

inputWeights=net.IW{1,1};

inputbias=net.b{1};

layerWeights=net.IW{1,1};

layerbias=net.b{2};

pause

clc

% 训练网络

net.trainParam.show=50;

net.trainParam.lr=0.05;

net.trainParam.mc=0.9;

net.trainParam.epochs=200000;

net.trainParam.goal=1e-3;

pause

clc

%调用TRAINGDM算法训练BP网络

net=train(net,pn,tn);

%对BP网络进行仿真

A=sim(net,pn);

E=A-tn;

M=sse(E)

N=mse(E)

pause

clc

p2=[1046.20 1046.05 1.52 1.538 0.75;

1046.05 1046.85 1.538 1.510 0.75;

1046.85 1046.60 1.510 1.408 0.75;

1046.60 1046.77 1.408 1.403 0.75;

1046.77 1047.18 1.403 1.319 0.75];

p2=p2';

p2n=tramnmx(p2,minp,maxp);

a2n=sim(net,p2n);

a2=postmnmx(a2n,mint,maxt)

echo off

pause

clc

程序说明:所用样本数据(见m_data)包括输入和输出数据,都先进行归一化,还有一个问题就是你要进行预测的样本数据(见本例p2)在进行仿真前,必须要用tramnmx函数进行事先归一化处理,然后才能用于预测,最后的仿真结果要用postmnmx进行反归一,这时的输出数据才是您所需要的预测结果。

个人认为:tansig、purelin、logsig是网络结构的传递函数,本身和归一化没什么直接关系,归一化只是一种数据预处理方法。

==================================================================================

需要说明的事并不是任何问题都必须事先把原始数据进行规范化,也就是数据规范化这一步并不是必须要做的,要具体问题具体看待,测试表明有时候规范化后的预测准确率比没有规范化的预测准确率低很多.就最大最小值法而言,当你用这种方式将原始数据规范化后,事实上意味着你承认了一个假设就是测试数据集的每一模式的所有特征分量的最大值(最小值)不会大于(小于)训练数据集的每一模式的所有特征分量的最大值(最小值),但这条假设显然过于强,实际情况并不一定会这样.使用平均数方差法也会有同样类似的问题.故数据规范化这一步并不是必须要做的,要具体问题具体看待.   [faruto 按]

实现上面的规范化代码:

复制内容到剪贴板代码:

function normal = normalization(x,kind)

% by Li Yang BNU MATH Email:[email protected] QQ:516667408

% last modified 2009.2.24

%

if nargin

kind = 2;%kind = 1 or 2 表示第一类或第二类规范化

end

[m,n]  = size(x);

normal = zeros(m,n);

%% normalize the data x to [0,1]

if kind == 1

for i = 1:m

ma = max( x(i,:) );

mi = min( x(i,:) );

normal(i,:) = ( x(i,:)-mi )./( ma-mi );

end

end

%% normalize the data x to [-1,1]

if kind == 2

for i = 1:m

mea = mean( x(i,:) );

va = var( x(i,:) );

normal(i,:) = ( x(i,:)-mea )/va;

end

end

====================================================

==================

关于神经网络(matlab)归一化的整理(by strongbox)

http://www.ilovematlab.cn/viewthread.php?tid=12186

----------------------------------------------------------------------

由于采集的各数据单位不一致,因而须对数据进行[-1,1]归一化处理,归一化方法主要有如下几种,供大家参考:(by james)

1、线性函数转换,表达式如下:

y=(x-MinValue)/(MaxValue-MinValue)

说明:x、y分别为转换前、后的值,MaxValue、MinValue分别为样本的最大值和最小值。

2、对数函数转换,表达式如下:

y=log10(x)

说明:以10为底的对数函数转换。

3、反余切函数转换,表达式如下:

y=atan(x)*2/PI

归一化是为了加快训练网络的收敛性,可以不进行归一化处理

归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布,归一化在-1--+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算,首先基本度量单位要同一,神经网络是以样本在事件中的统计分别几率来进行训练(概率计算)和预测的,归一化是同一在0-1之间的统计概率分布;

当所有样本的输入信号都为正值时,与第一隐含层神经元相连的权值只能同时增加或减小,从而导致学习速度很慢。为了避免出现这种情况,加快网络学习速度,可以对输入信号进行归一化,使得所有样本的输入信号其均值接近于0或与其均方差相比很小。

归一化是因为sigmoid函数的取值是0到1之间的,网络最后一个节点的输出也是如此,所以经常要对样本的输出归一化处理。所以这样做分类的问题时用[0.9 0.1 0.1]就要比用[1 0 0]要好。

但是归一化处理并不总是合适的,根据输出值的分布情况,标准化等其它统计变换方法有时可能更好。

关于用premnmx语句进行归一化:

premnmx语句的语法格式是:[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T)

其中P,T分别为原始输入和输出数据,minp和maxp分别为P中的最小值和最大值。mint和maxt分别为T的最小值和最大值。

premnmx函数用于将网络的输入数据或输出数据进行归一化,归一化后的数据将分布在[-1,1]区间内。

我们在训练网络时如果所用的是经过归一化的样本数据,那么以后使用网络时所用的新数据也应该和样本数据接受相同的预处理,这就要用到tramnmx。

下面介绍tramnmx函数:

[Pn]=tramnmx(P,minp,maxp)

其中P和Pn分别为变换前、后的输入数据,maxp和minp分别为premnmx函数找到的最大值和最小值。

(by terry2008)

matlab中的归一化处理有三种方法

1. premnmx、postmnmx、tramnmx

2. restd、poststd、trastd

3. 自己编程

具体用那种方法就和你的具体问题有关了

(by happy)

pm=max(abs(p(i,:))); p(i,:)=p(i,:)/pm;

for i=1:27

p(i,:)=(p(i,:)-min(p(i,:)))/(max(p(i,:))-min(p(i,:)));

end 可以归一到0 1 之间

0.1+(x-min)/(max-min)*(0.9-0.1)其中max和min分别表示样本最大值和最小值。

这个可以归一到0.1-0.9

=================================by  ratbaby

补充一个吧, 归一还可以用 mapminmax。

这个函数可以把矩阵的每一行归一到[-1 1].

[y1,PS] = mapminmax(x1). 其中x1 是需要归一的矩阵 y1是结果

当需要对另外一组数据做归一时,比如SVM 中的 training data用以上方法归一,而test data就可以用下面的方法做相同的归一了

y2 = mapminmax('apply',x2,PS)

当需要把归一的数据还原时,可以用以下命令

x1_again = mapminmax('reverse',y1,PS)

=================================

坏点剔除方法的一种技术:

动态测试数据中坏点处理的一种新方法--绝对均值法及应用研究 A new method of removing singular pointsin dynamic testing data--Absolute mean value method and its applicationstudy-作者:杨世杰,-《中国测试技术CHINA MEASUREMENT TECHNOLOGY》-2006 -http://scholar.ilib.cn/A-QCode~zgcsjs200601016.html

matlab坏点剔除方法总结

MATLAB剔除奇异点的问题 - 信号处理方法 - 振动论坛 动力学,噪声 - Powered by Discuz! - http://www.chinavib.com/forum/viewthread.php?tid=77242

数据归一化汇总 - Matlab 人工智能模式识别 神经网络 - Matlab中文论坛 | Simulink 论坛 | Matlab下载 | Matlab资料 | Matlab视频 |Matlab图像处理 | Matlab神经网络 | Matlab数学运算 - Powered by Discuz! -http://www.ilovematlab.cn/viewthread.php?tid=27021&extra=page%3D1%26amp%3Bfilter%3D0%26amp%3Borderby%3Ddateline%26amp%3Bascdesc%3DDESC

数据归一化汇总

============外一篇 有关mapminmax的用法详解 by faruto==================================

几个要说明的函数接口:

[Y,PS] = mapminmax(X)

[Y,PS] = mapminmax(X,FP)

Y = mapminmax('apply',X,PS)

X = mapminmax('reverse',Y,PS)

用实例来讲解,测试数据 x1 = [1 2 4], x2 = [5 2 3];

>> [y,ps] = mapminmax(x1)

y =

-1.0000   -0.3333    1.0000

ps =

name: 'mapminmax'

xrows: 1

xmax: 4

xmin: 1

xrange: 3

yrows: 1

ymax: 1

ymin: -1

yrange: 2

其中y是对进行某种规范化后得到的数据,这种规范化的映射记录在结构体ps中.让我们来看一下这个规范化的映射到底是怎样的?

Algorithm

It is assumed that X has only finite real values, and that the elements of each row are not all equal.

y = (ymax-ymin)*(x-xmin)/(xmax-xmin) + ymin;

[关于此算法的一个问题.算法的假设是每一行的元素都不想相同,那如果都相同怎么办?实现的办法是,如果有一行的元素都相同比如xt = [1 1 1],此时xmax = xmin = 1,把此时的变换变为y = ymin,matlab内部就是这么解决的.否则该除以0了,没有意义!]

也就是说对x1 = [1 2 4]采用这个映射 f: 2*(x-xmin)/(xmax-xmin)+(-1),就可以得到y = [ -1.0000   -0.3333    1.0000]

我们来看一下是不是: 对于x1而言 xmin = 1,xmax = 4;

则y(1) = 2*(1 - 1)/(4-1)+(-1) = -1;

y(2) = 2*(2 - 1)/(4-1)+(-1) = -1/3 = -0.3333;

y(3) = 2*(4-1)/(4-1)+(-1) = 1;

看来的确就是这个映射来实现的.

对于上面algorithm中的映射函数 其中ymin,和ymax是参数,可以自己设定,默认为-1,1;

比如:

>>[y,ps] = mapminmax(x1)

>> ps.ymin = 0;

>> [y,ps] = mapminmax(x1,ps)

y =

0    0.3333    1.0000

ps =

name: 'mapminmax'

xrows: 1

xmax: 4

xmin: 1

xrange: 3

yrows: 1

ymax: 1

ymin: 0

yrange: 1

则此时的映射函数为: f: 1*(x-xmin)/(xmax-xmin)+(0),是否是这样的这回你可自己验证.O(∩_∩)O

如果我对x1 = [1 2 4]采用了某种规范化的方式, 现在我要对x2 = [5 2 3]采用同样的规范化方式[同样的映射],如下可办到:

>> [y1,ps] = mapminmax(x1);

>> y2 = mapminmax('apply',x2,ps)

y2 =

1.6667   -0.3333    0.3333

即对x1采用的规范化映射为: f: 2*(x-1)/(4-1)+(-1),(记录在ps中),对x2也要采取这个映射.

x2 = [5,2,3],用这个映射我们来算一下.

y2(1) = 2(5-1)/(4-1)+(-1) = 5/3 = 1+2/3 = 1.66667

y2(2) = 2(2-1)/(4-1)+(-1) = -1/3 = -0.3333

y2(3) = 2(3-1)/(4-1)+(-1) = 1/3 = 0.3333

X = mapminmax('reverse',Y,PS)的作用就是进行反归一化,讲归一化的数据反归一化再得到原来的数据:

>> [y1,ps] = mapminmax(x1);

>> xtt = mapminmax('reverse',y1,ps)

xtt =

1     2     4

此时又得到了原来的x1(xtt = x1);

=================================

Matlab 数字归一化问题(by yingzhilian)

http://www.ilovematlab.cn/viewthread.php?tid=26409&extra=page%3D1&sid=Xs3tJM

-------------------------------------------------------

归一化化定义:我是这样认为的,归一化化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保正程序运行时收敛加快。

在matlab里面,用于归一化的方法共有三种:

(1)premnmx、postmnmx、tramnmx

(2)prestd、poststd、trastd

(3)是用matlab语言自己编程。

premnmx指的是归一到[-1 1],prestd归一到单位方差和零均值。(3)关于自己编程一般是归一到[0.1  0.9] 。具体用法见下面实例。

为什么要用归一化呢?首先先说一个概念,叫做奇异样本数据,所谓奇异样本数据数据指的是相对于其他输入样本特别大或特别小的样本矢量。

下面举例:

m=[0.11 0.15 0.32 0.45 30;

0.13 0.24 0.27 0.25 45];

其中的第五列数据相对于其他4列数据就可以成为奇异样本数据(下面所说的网络均值bp)。奇异样本数据存在所引起的网络训练时间增加,并可能引起网络无法收敛,所以对于训练样本存在奇异样本数据的数据集在训练之前,最好先进形归一化,若不存在奇异样本数据,则不需要事先归一化。

具体举例:

close all

clear

echo on

clc

%BP建模

%原始数据归一化

m_data=[1047.92 1047.83 0.39 0.39 1.0 3500 5075;

1047.83 1047.68 0.39 0.40  1.0 3452 4912;

1047.68 1047.52  0.40  0.41 1.0  3404 4749;

1047.52  1047.27  0.41  0.42 1.0  3356 4586;

1047.27  1047.41 0.42 0.43  1.0  3308  4423;

1046.73  1046.74 1.70 1.80 0.75  2733  2465;

1046.74  1046.82  1.80  1.78 0.75  2419 2185;

1046.82 1046.73  1.78  1.75  0.75 2105  1905;

1046.73  1046.48 1.75 1.85 0.70 1791  1625;

1046.48  1046.03  1.85  1.82  0.70 1477 1345;

1046.03 1045.33 1.82 1.68  0.70  1163  1065;

1045.33  1044.95  1.68  1.71 0.70  849  785;

1044.95  1045.21 1.71  1.72  0.70  533  508;

1045.21 1045.64  1.72  1.70 0.70 567  526;

1045.64 1045.44 1.70  1.69  0.70  601  544;

1045.44 1045.78  1.69  1.69 0.70  635  562;

1045.78 1046.20  1.69  1.52 0.75  667  580];

%定义网络输入p和期望输出t

pause

clc

p1=m_data(:,1:5);

t1=m_data(:,6:7);

p=p1';t=t1';

[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t)

%设置网络隐单元的神经元数(5~30验证后5个最好)

n=5;

%建立相应的BP网络

pause

clc

net=newff(minmax(pn),[n,2],{'tansig','purelin'},'traingdm');

inputWeights=net.IW{1,1};

inputbias=net.b{1};

layerWeights=net.IW{1,1};

layerbias=net.b{2};

pause

clc

% 训练网络

net.trainParam.show=50;

net.trainParam.lr=0.05;

net.trainParam.mc=0.9;

net.trainParam.epochs=200000;

net.trainParam.goal=1e-3;

pause

clc

%调用TRAINGDM算法训练BP网络

net=train(net,pn,tn);

%对BP网络进行仿真

A=sim(net,pn);

E=A-tn;

M=sse(E)

N=mse(E)

pause

clc

p2=[1046.20 1046.05 1.52 1.538 0.75;

1046.05 1046.85 1.538 1.510 0.75;

1046.85 1046.60 1.510 1.408 0.75;

1046.60 1046.77 1.408 1.403 0.75;

1046.77 1047.18 1.403 1.319 0.75];

p2=p2';

p2n=tramnmx(p2,minp,maxp);

a2n=sim(net,p2n);

a2=postmnmx(a2n,mint,maxt)

echo off

pause

clc

程序说明:所用样本数据(见m_data)包括输入和输出数据,都先进行归一化,还有一个问题就是你要进行预测的样本数据(见本例p2)在进行仿真前,必须要用tramnmx函数进行事先归一化处理,然后才能用于预测,最后的仿真结果要用postmnmx进行反归一,这时的输出数据才是您所需要的预测结果。

个人认为:tansig、purelin、logsig是网络结构的传递函数,本身和归一化没什么直接关系,归一化只是一种数据预处理方法。

==================================================================================

需要说明的事并不是任何问题都必须事先把原始数据进行规范化,也就是数据规范化这一步并不是必须要做的,要具体问题具体看待,测试表明有时候规范化后的预测准确率比没有规范化的预测准确率低很多.就最大最小值法而言,当你用这种方式将原始数据规范化后,事实上意味着你承认了一个假设就是测试数据集的每一模式的所有特征分量的最大值(最小值)不会大于(小于)训练数据集的每一模式的所有特征分量的最大值(最小值),但这条假设显然过于强,实际情况并不一定会这样.使用平均数方差法也会有同样类似的问题.故数据规范化这一步并不是必须要做的,要具体问题具体看待.   [faruto 按]

实现上面的规范化代码:

复制内容到剪贴板代码:

function normal = normalization(x,kind)

% by Li Yang BNU MATH Email:[email protected] QQ:516667408

% last modified 2009.2.24

%

if nargin

kind = 2;%kind = 1 or 2 表示第一类或第二类规范化

end

[m,n]  = size(x);

normal = zeros(m,n);

%% normalize the data x to [0,1]

if kind == 1

for i = 1:m

ma = max( x(i,:) );

mi = min( x(i,:) );

normal(i,:) = ( x(i,:)-mi )./( ma-mi );

end

end

%% normalize the data x to [-1,1]

if kind == 2

for i = 1:m

mea = mean( x(i,:) );

va = var( x(i,:) );

normal(i,:) = ( x(i,:)-mea )/va;

end

end

====================================================

==================

关于神经网络(matlab)归一化的整理(by strongbox)

http://www.ilovematlab.cn/viewthread.php?tid=12186

----------------------------------------------------------------------

由于采集的各数据单位不一致,因而须对数据进行[-1,1]归一化处理,归一化方法主要有如下几种,供大家参考:(by james)

1、线性函数转换,表达式如下:

y=(x-MinValue)/(MaxValue-MinValue)

说明:x、y分别为转换前、后的值,MaxValue、MinValue分别为样本的最大值和最小值。

2、对数函数转换,表达式如下:

y=log10(x)

说明:以10为底的对数函数转换。

3、反余切函数转换,表达式如下:

y=atan(x)*2/PI

归一化是为了加快训练网络的收敛性,可以不进行归一化处理

归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布,归一化在-1--+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算,首先基本度量单位要同一,神经网络是以样本在事件中的统计分别几率来进行训练(概率计算)和预测的,归一化是同一在0-1之间的统计概率分布;

当所有样本的输入信号都为正值时,与第一隐含层神经元相连的权值只能同时增加或减小,从而导致学习速度很慢。为了避免出现这种情况,加快网络学习速度,可以对输入信号进行归一化,使得所有样本的输入信号其均值接近于0或与其均方差相比很小。

归一化是因为sigmoid函数的取值是0到1之间的,网络最后一个节点的输出也是如此,所以经常要对样本的输出归一化处理。所以这样做分类的问题时用[0.9 0.1 0.1]就要比用[1 0 0]要好。

但是归一化处理并不总是合适的,根据输出值的分布情况,标准化等其它统计变换方法有时可能更好。

关于用premnmx语句进行归一化:

premnmx语句的语法格式是:[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T)

其中P,T分别为原始输入和输出数据,minp和maxp分别为P中的最小值和最大值。mint和maxt分别为T的最小值和最大值。

premnmx函数用于将网络的输入数据或输出数据进行归一化,归一化后的数据将分布在[-1,1]区间内。

我们在训练网络时如果所用的是经过归一化的样本数据,那么以后使用网络时所用的新数据也应该和样本数据接受相同的预处理,这就要用到tramnmx。

下面介绍tramnmx函数:

[Pn]=tramnmx(P,minp,maxp)

其中P和Pn分别为变换前、后的输入数据,maxp和minp分别为premnmx函数找到的最大值和最小值。

(by terry2008)

matlab中的归一化处理有三种方法

1. premnmx、postmnmx、tramnmx

2. restd、poststd、trastd

3. 自己编程

具体用那种方法就和你的具体问题有关了

(by happy)

pm=max(abs(p(i,:))); p(i,:)=p(i,:)/pm;

for i=1:27

p(i,:)=(p(i,:)-min(p(i,:)))/(max(p(i,:))-min(p(i,:)));

end 可以归一到0 1 之间

0.1+(x-min)/(max-min)*(0.9-0.1)其中max和min分别表示样本最大值和最小值。

这个可以归一到0.1-0.9

=================================by  ratbaby

补充一个吧, 归一还可以用 mapminmax。

这个函数可以把矩阵的每一行归一到[-1 1].

[y1,PS] = mapminmax(x1). 其中x1 是需要归一的矩阵 y1是结果

当需要对另外一组数据做归一时,比如SVM 中的 training data用以上方法归一,而test data就可以用下面的方法做相同的归一了

y2 = mapminmax('apply',x2,PS)

当需要把归一的数据还原时,可以用以下命令

x1_again = mapminmax('reverse',y1,PS)

=================================

坏点剔除方法的一种技术:

动态测试数据中坏点处理的一种新方法--绝对均值法及应用研究 A new method of removing singular pointsin dynamic testing data--Absolute mean value method and its applicationstudy-作者:杨世杰,-《中国测试技术CHINA MEASUREMENT TECHNOLOGY》-2006 -http://scholar.ilib.cn/A-QCode~zgcsjs200601016.html

matlab坏点剔除方法总结

MATLAB剔除奇异点的问题 - 信号处理方法 - 振动论坛 动力学,噪声 - Powered by Discuz! - http://www.chinavib.com/forum/viewthread.php?tid=77242


相关内容

  • 高校生会计电算化见习个人总结
  • 高校生会计电算化见习个人总结范文 这又是一年暑假前的短学期实习!这次实习的主要内容是财务软件实训。实习的主要任务是掌握用友erp-u8财务软件各板块理论的学习和对它的实际操作与运用,同时完成每日的实习日记并完成实习报告。实习的主要地点是经管院计算机房,实习时间是从7月12日到8月6日。我们的带队老师 ...

  • 软件设计师考试经验
  • "软件设计师"考试经验谈 Posted on 2008-10-22 09:55 龙怀玉 阅读(694) 评论(1) 编辑 收藏 第一部分,关于题型 CASL:这是每年必考的一个试型, 在下午试题中最近几年都是一个题, 今年不会有什么变化.依然为一个题,5个空, 每空3分. C/C ...

  • 基站班年度工作总结
  • 基站班年度工作总结 ×年已经过去,在这一年过程中,我们基本上按要求完成了我们的工作.在工作过程中,有收获,也有很多不足.为明年能 更上一个台阶,总结如下.总结共分三块,人力资源.工作事务.资金成本,每个大块里面各分小块,每小块分小结.问题和计划三部分.总结重在突出目前的一些 问题和明年的思路,尚有不 ...

  • 点检定修月度工作总结2011.12
  • 点检定修月度工作总结 大屯发电厂点检定修工作在2011年第四季度进行了模拟运行,现在已经迎来了2012年的正式实施阶段.2011年各部门都基本完成了本部门的任务,点检定修工作也有了不同程度的提高,现将点检定修工作2011年最后一个月的工作情况,向各位领导领导汇报如下: 一.点检定修管理信息系统试运行 ...

  • 2016年第一季度信息部工作总结
  • 综保区进出口商品贸易有限公司信息部 --2016年信息部第一季度工作总结 不知不觉,我来公司工作3个多月了,而2016年第一季度是我们信息部最值得写入部门史册的一段时间,信息部先后经历了元旦开业.春节备战.收银系统切换三件大事.而我所在的信息部必须承担起这三件大事的主要工作责任. 应公司领导要求和岗 ...

  • 新员工半年个人总结
  • 工作总结 时光荏苒,我来公司已有将近四个月,作为一名新员工,非常感谢公司提供给我一个学习和成长的平台,让我在工作中不断的学习,不断的进步,慢慢的提升自身的素质和才能.回首过去的三个多月,公司陪伴我走过了人生很重要的一个阶段,使我学到了很多.在此我向公司的各位领导和同事表示最衷心的感谢,有你们的关心才 ...

  • "保护母亲河行动"活动策划方案
  • "保护母亲河行动"活动策划方案 保护母亲河 存环保心,还青衣江之清 一.活动背景:随着全球生态环境的恶化,人们开始对环境保护有了新的认识.而其中作为人类生命之源的水的保护,更是被人们重视.当下,由共青团中央于1999年发起,联合全国绿化委员会.全国人大环境与资源保护委员会.全国政 ...

  • 表格数据加工的多元性教学设计
  • <表格数据加工的多元性>教学设计 教学要求 知识与技能 1.理解常见图表的作用和意义 2.能够理解和分析图表数据所表达的含义 3.能够利用常见图表表达自己所要阐述的意图 过程与方法 通过对图表数据的阅读和分析,理解图表信息的多元化和多义性,从而进一步理解图表 用于数据表示的作用和意义. ...

  • 大学物理实验总结论文
  • 大学物理实验总结论文 摘要:对实验的总体概括(两个学期的实验纵览),实验举例(PN结特性研究u.太阳能电池),个人问题总结,学习心得总结,对实验课程的一些建议. 关键字:半导体PN结物理特性 .太阳能电池基本特性研究.迈克尔逊干涉仪.问题分析解决.方法.建议 正文: 1. 整体概括总结: 经过两个学 ...