转载

机器学习-数据归一化方法

本文主要介绍两种基本的数据归一化方法。

  • min-max标准化(Min-Max Normalization)
  • Z-score标准化方法

归一化方法有两种形式,一种是把数变为(0,1)之间的小数,一种是把有量纲表达式变为无量纲表达式。

数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。

下面是归一化和没有归一化的比较:

没有经过归一化,寻找最优解过程如下:

机器学习-数据归一化方法

经过归一化,把各个特征的尺度控制在相同的范围内:

机器学习-数据归一化方法

从经验上说,归一化是让不同维度之间的特征在数值上有一定比较性,可以大大提高分类器的准确性。

以下是两种常用的归一化方法:

1.min-max标准化(Min-Max Normalization)

也称为离差标准化,是对原始数据的线性变换,使结果值映射到[0 - 1]之间。转换函数如下:

$$x^{*}=/frac{x-x_{min}}{x_{max}-x_{min}}$$

x_min表示样本数据的最小值,x_max表示样本数据的最大值。

Python代码实现:

def Normalization(x):
return [(float(i)-min(x))/float(max(x)-min(x)) for i in x]

测试:

x=[1,2,1,4,3,2,5,6,2,7]
b=Normalization(x)

Output:

[0.0, 0.16666666666666666, 0.0, 0.5, 0.3333333333333333, 0.16666666666666666, 0.6666666666666666, 0.8333333333333334, 0.16666666666666666, 1.0]

如果想要将数据映射到[-1,1],则将公式换成:

$$x^{*}=/frac{x-x_{mean}}{x_{max}-x_{min}}$$

x_mean表示数据的均值

Python代码实现:

import numpy as np
def Normalization2(x):
return [(float(i)-np.mean(x))/(max(x)-min(x)) for i in x]

测试:

x=[1,2,1,4,3,2,5,6,2,7]
b=Normalization2(x)

Output:

[-0.3833333333333333, -0.21666666666666665, -0.3833333333333333, 0.1166666666666667, -0.049999999999999968, -0.21666666666666665, 0.28333333333333338, 0.45000000000000001, -0.21666666666666665, 0.6166666666666667]

注意:上面的Normalization是处理单个列表的。

2.z-score标准化方法

这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1,转化函数为:

$$x^{*}=/frac{x-/mu}{/sigma}$$

其中,μ表示所有样本数据的均值,σ表示所有样本的标准差。

Python代码实现:

import numpy as np
def z_score(x):
x_mean=np.mean(x)
s2=sum([(i-np.mean(x))*(i-np.mean(x)) for i in x])/len(x)
return [(i-x_mean)/s2 for i in x]

测试:

x=[1,2,1,4,3,2,5,6,2,7]
print z_score(x)

Output:

[-0.57356608478802995, -0.32418952618453861, -0.57356608478802995, 0.17456359102244395, -0.074812967581047343, -0.32418952618453861, 0.42394014962593524, 0.67331670822942646, -0.32418952618453861, 0.92269326683291775]

此文乃博主即兴之作,如果你从中有所收获,欢迎前来赞助,为博主送上你的支持: 【赞助中心】

CSDN博客: 【Dream_Angel_Z】

新浪微博:【@拾毅者】

正文到此结束
Loading...