当前位置:首页 > 英文周记 > 正文内容

normalization「normalization layer」

更新时间:2026-07-18 00:22:18 周记网3年前 (2023-02-22)英文周记154

normalisation和normalization的区别

normalisation  

英[ˌnɔːməlaɪˈzeɪʃən]  

normalization「normalization layer」

n.    正常化;标准化;正态化;  

normalization    

英[ˌnɔ:məlaɪ'zeɪʃn]    美[ˌnɔ:məlaɪ'zeɪʃn]  

n.    正常化; 标准化; 正态化;  

[例句]These are only the beginning steps for an across-the-board normalization of at least economic relations with the mainland.

这只是与大陆全面关系-至少是经济关系正常化的第一步。

[其他]    复数:normalizations  

傻傻分不清的:归一化(normalization)和标准化(standardization)

归一化(normalization) 和 标准化(standardization)

归一化是利用特征(可理解为某个数据**)的最大值,最小值,将特征的值缩放到[0,1]区间,对于每一列的特征使用min - max函数进行缩放。

消除纲量,加快收敛:

不同特征往往具有不同的量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据归一化处理,以解决数据指标之间的可比性。原始数据经过数据归一化处理后,各指标处于[0,1]之间的小数,适合进行综合对比评价。

提高精度。

1)、线性归一化:

利用数据集每个特征的最大值,最小值,将特征的值缩放到[0,1]区间:

公式:新数据=(原数据-极小值)/(极大值-极小值)

2)、非线性归一化:

经常用在数据分化比较大的场景,有些数值很大,有些很小。通过一些数学函数,将原始值进行映射。该方法包括 log、指数,正切等。需要根据数据分布的情况,决定非线性函数的曲线,比如是log(V,2)还是log(V, 10)等。 (这部分还需要理解)

标准化是 通过特征的平均值和标准差,将特征缩放成一个标准的正态分布,缩放后均值为0,方差为1 。但即使数据不服从正态分布,也可以用此法。特别适用于数据的最大值和最小值未知,或存在孤立点。

1)、标准化是为了方便数据的下一步处理,而进行的数据缩放等变换,不同于归一化, 并不是为了方便与其他数据一同处理或比较 。

2)、标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。

Z-score (标准化):

公式:新数据=(原数据-均值)/(标准差)

(z-score标准化方法适用于属性A的最大值和最小值未知的情况)

为了消除样本自身或者测样的技术差异,使样本间可以比较, 可以理解为组间数据的处理 。例如

1)、转录组不同样本如果测序深度不同,就会导致基因的read数不同,不做归一化就会影响结果

2)、代谢组不同样本,例如尿液样本可能浓度不同就会影响结果

标准化是为了使不同变量之间可以比较,消除极大值和极小值带来的影响, 可以理解为组内数据的处理 ,例如

1)、转录组中有些基因本身表达量就大,有些表达量小,不做标准化的话,直接做PCA之类的模型,会默认表达量大的对模型贡献就大,影响正确结果

2)、代谢组中有些代谢物含量天然高,有些天然低,同理

转录组数据分析:

转录组分析流程中标准化和归一化被统一叫成了标准化,或者有些资料里称为组内标准化和组间标准化。

转录组的标准化有多种方法,但是很多是兼顾了组内和组间两方面

寻找差异基因的时候,只涉及单个变量组间对比,不涉及样本内不同变量的比较,因此不需要做组内标准化,这也是为什么DESeq2等软件要求用原始counts数据的原因,这些软件设计了只针对组间的标准化。而目前常见的标准化方法则包含了组内标准化

做PCA的时候,需要衡量一个样本内不同变量的权重,因此需要做组内标准化。R自带的scale可以进行组内标准化,但是用原始counts数据做PCA可能还需要组间标准化,因此可以考虑用DESeq2标准化之后的数据

特征归一化

数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权

其中最典型的就是数据的归一化处理,即将数据统一映射到[0,1]区间上。

(1)对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内。

(2)从经验上说,归一化是让不同维度之间的特征在数值上有一定比较性,可以大大提高分类器的准确性

tips : 适用于本来就分布在有限范围内的数据, 在不涉及距离度量、协方差计算、数据不符合正太分布的时候,可以使用第一种方法或其他归一化方法。比如图像处理中,将RGB图像转换为灰度图像后将其值限定在[0 255]的范围。 。

它对原始数据进行线性变换,使结果映射到[0,1]的范围,实现对原始数据的等比缩放

归一化公式如下:

tip : 在分类、聚类算法中,需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候,(Z-score standardization)表现更好

它会将原始数据映射到 均值为0 、 标准差为1 的分布上(高斯分布/正态分布),假设原始特征的均值为μ、标准差为σ

那么归一化公式定义为:

对于 线性model 来说,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。

归一化的另一好处是提高精度,这在 涉及到一些距离计算的算法 时效果显著,比如算法要计算欧氏距离,上图中x2的取值范围比较小,涉及到距离计算时其对结果的影响远比x1带来的小,所以这就会造成精度的损失。所以归一化很有必要,他可以让各个特征对结果做出的贡献相同。

在多指标评价体系中,由于各评价指标的性质不同,通常具有不同的量纲和数量级。当各指标间的水平相差很大时,如果直接用原始指标值进行分析,就会突出数值较高的指标在综合分析中的作用,相对削弱数值水平较低指标的作用。因此,为了保证结果的可靠性,需要对原始指标数据进行标准化处理。

在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。

数据归一化不是万能的,在实际应用中,通过 梯度下降法 求解的模型通常是需要数据归一化的,包括 线性回归 、 逻辑回归 、 持向量机(SVM) 、 神经网络 等模型。

但是决策树模型并不适用归一化 ?????以后看到决策树再说

normalization是什么意思

normalization

[英][ˌnɔ:məlaɪ'zeɪʃn][美][ˌnɔ:məlaɪ'zeɪʃn]

n.正常化; 标准化; 正态化;

复数:normalizations

例句:

1.

It has become clear that liquidity normalization is not a substitute for interestrate normalization.

日渐清晰的是,流动性正常化和利率正常化是两回事。

2.

While in the process of realizing normalization of relations between chinaand japan, some japanese played a vital role.

在中日关系实现正常化的过程中,一些日本人士起到了至关重要的作用。

标签: normalization

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。