Vector3中normalized和Normalize函数的区别

1.Vector3.normalized

    unity里对它的解释是，如下图

2.Vector3.Normalize

    unity里对它的解释是，如下图

它们的区别和共同点是：

共同点：实现规范化，让一个向量保持相同的方向，但它的长度为1.0，如果这个向量太小而不能被规范化，一个零向量将会被返回。

不同点：Vector3.normalized的作特点是当前向量是不改变的并且返回一个新的规范化的向量；Vector3.Normalize的特点是改变当前向量，也就是当前向量长度是1

nomalize是什么意思

normalize

[美] ['nɔrməlaɪz] [英] ['nɔ:məlaɪz]

释义：

vt.使正常化；使规格化，使标准化

ucinet中的Normalize原理

Normalize：按照一定标准，将矩阵的行、列或者整个矩阵进行标准化处理，这是二值化处理中的其中一部分内容。

UCINET软件是由加州大学欧文（Irvine）分校的一群网络分析者编写的。对该软件进行扩展的团队是由斯蒂芬·博加提（Stephen Borgatti）、马丁·埃弗里特（Martin·Everett）和林顿·弗里曼（Linton Freeman）组成的。UCINET能够处理的原始数据为矩阵格式，提供了大量数据管理和转化工具。该程序本身不包含网络可视化的图形程序，但可将数据和处理结果输出至NetDraw、Pajek、Mage和KrackPlot等软件作图。UCINET包含大量包括探测凝聚子群（cliques,clans,plexes）和区域（components,cores）、中心性分析（centrality）、个人网络分析和结构洞分析在内的网络分析程序。UCINET包含为数众多的基于过程的分析程序，如聚类分析、多维标度、二模标度（奇异值分解、因子分析和对应分析）、角色和地位分析（结构、角色和正则对等性）和拟合中心-边缘模型。此外，UCINET提供了从简单统计到拟合p1模型在内的多种统计程序。

css rest和normalize的区别

normalize注重通用的方案，重置掉该重置的样式，保留有用的样式，同时进行一些 bug 的修复，这点是 reset 所缺乏的。而rest 不管你有没有用，统统重置成一样的效果，且影响的范围很大，讲求跨浏览器的一致性。

深度模型的优化（1）：批标准化（Batch Normalization，BN）

1 导入

1.1 独立同分布

  统计机器学习的经典假设：source domain和target domain的数据分布是一致的，也就是说，训练数据和测试数据满足独立同分布。这是通过训练的模型能在测试集上获得好的效果的前提。

1.2 Internal Covariate Shift

  Covariate Shift：是机器学习的一个问题，同时迁移学习也会涉及到这个概念。假设x是属于特征空间的某一样本点，y是标签。covariate这个词，其实就是指这里的x，那么Covariate Shift可以直接根据字面意思去理解：样本点x的变化。

  对于迁移学习的Covariate Shift的规范化设源域(source domain)和目标域(target domain)的输入空间均为X, 输出空间均为Y. 源域的边际分布

  Internal Covariate Shift（ICS）在BN的论文中，Covariate Shift指的是神经网络的输入X的分布老是变化，不符合独立同分布假设。而对于深度学习这种包含很多隐层的网络结构，每层的输出都是下一层的输入，在训练中，当梯度更新的时候，前一层的参数发生变化，使得前一层的输出发生变化，使得下一层的输入发生变化，这就意味着下一层的输入发生了Covariate Shift，这就是所谓的“Internal Covariate Shift”，Internal指的是深层网络的隐层，是发生在网络内部的事情，而不是Covariate Shift问题只发生在输入层。

  Internal Covariate Shift带来的问题：（1）上层网络需要不停调整来适应输入数据分布的变化，导致网络学习速度的降低：梯度下降的过程会让每一层的参数发生变化，进而使得每一层的线性与非线性计算结果分布产生变化。后层网络就要不停地去适应这种分布变化，这个时候就会使得整个网络的学习速率过慢。（2）网络的训练过程容易陷入梯度饱和区，减缓网络收敛速度（我的理解：就是指梯度爆炸。同时我认为使用Sigmoid或者tanh这样的激活函数容易梯度爆炸的原因：该激活函数的非饱和区较小，且单调递增，且梯度高，因此迭代相乘几次后非常容易越过非线性区进入饱和区）。

  Covariate Shift VS Internal Covariate Shift：关于Covariate Shift， 知乎 已经给出了不错的解释。但是针对Internal Covariate Shift，我们又被作者误导了。Covariate Shift ≠ Internal Covariate Shift，前者是迁移学习问题，后者是一个训练优化问题。正如 知乎 的层主所说的那样，各层添加零均值、单位方差的共轭分布，只针对数值，而不针对表征。实际上，如果把表征也”共荣化“，那就反而糟糕了。多层神经网络可以看作是一个迁移学习问题，层与层之间的抽象等级不同，比如学习一只猫，经过多层神经网络抽象后，就可以迁移分裂成多个机器学习问题：学习猫脸、学习猫腿、学习猫身、学习猫爪、学习猫尾。如果normalize之后，这五个部分的表征分布都变一样了，那么Deep Learning不是可以废掉了？所以说，normalize仅仅是数值层面的均衡化，以及表征层面的轻度破坏化。Internal Covariate Shift只针对数值偏移，而Covariate Shift才针对表征偏移。

3 算法

3.1 思路

  为了达到简化计算的目的，单独对每个特征进行标准化就可以了，让每个特征都有均值为0，方差为1的分布就OK。为了尽可能保留数据的原始表达能力，加个线性变换操作。BN是基于Mini-Batch的基础上计算的。

3.2 具体

  这三步就是我们在刚刚一直说的标准化工序, 但是公式的后面还有一个反向操作, 将 normalize 后的数据再扩展和平移。原来这是为了让神经网络自己去学着使用和修改这个扩展参数 γ和平移参数 β, 这样神经网络就能自己慢慢琢磨出前面的标准化操作到底有没有起到优化的作用, 如果没有起到作用, 我就使用 γ和β来抵消一些 normalization 的操作，当γ² = σ²和β = μ时，可以实现等价变换（Identity Transform）并且保留了原始输入特征的分布信息。

注： 在进行normalization的过程中，由于我们的规范化操作会对减去均值，因此，偏置项b可以被忽略掉或可以被置为0，即：BN(Wμ+b) = BN(Wμ)

3.3 梯度下降公式

3.4 测试时

  在测试时，可能需要测试的样本只有1个或者少数几个，此时用μ和σ可能是有偏估计。因此采用一个方法：u和σ被替换为训练阶段收集的运行均值这使得模型可以对单一样本评估，无须使用定义于整个小批量的u和σ。

4 总结

  （1）能够减少Interal Covariate Shift的问题，从而减少train的时间，使得对于deep网络的训练更加可行。（BN后的模型每一轮训练收敛快，但每一轮的计算量大，有文章称使用Batch Normalization会带来30%额外的计算开销。）

  因此，在使用Batch Normalization之后，抑制了参数微小变化随着网络层数加深被放大的问题，使得网络对参数大小的适应能力更强，此时我们可以设置较大的学习率而不用过于担心模型divergence的风险。

即使对于某组parameter同时乘以k倍后，最终的结果还是会keep不变的。

  （4）能够减少overfitting问题的发生：

  在Batch Normalization中，由于我们使用mini-batch的均值与方差作为对整体训练样本均值与方差的估计，尽管每一个batch中的数据都是从总体样本中抽样得到，但不同mini-batch的均值与方差会有所不同，这就为网络的学习过程中增加了随机噪音，与Dropout通过关闭神经元给网络训练带来噪音类似，在一定程度上对模型起到了正则化的效果。

  另外，原作者通过也证明了网络加入BN后，可以丢弃Dropout，模型也同样具有很好的泛化效果。

5 试验

  一个详细的试验在 Batch Normalization原理与实战 这篇博客里能看到。

6 参考：

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift：

【机器学习】covariate shift现象的解释 - CSDN博客：

从Bayesian角度浅析Batch Normalization - 博客园：

Batch Normalization导读：

normalize.dll放在哪

楼主你好，你可以重新下载一个normalize.dll文件，然后按如下步骤操作：

文件上传到附件了

一、解压后直接拷贝该文件到系统目录里：

1、Windows 95/98/Me系统，**到C:\Windows\System目录下。

2、Windows NT/2000系统，**到C:\WINNT\System32目录下。

3、Windows XP/WIN7/Vista系统，**到C:\Windows\System32目录下。

4、如果您的系统是64位的请将文件**到C:\Windows\SysWOW64目录

二、打开"开始-运行-输入regsvr32 normalize.dll"，回车即可解决。

已上传并提供下载连接，可根据需要下载。

normalize.dll下载地址:

小技巧：如果无法进入桌面，可以启动安全模式或者使用PE启动电脑，然后修复。

【重要】：一定要选择与系统版本一致的DLL才可以

normalize.dll无法定位、丢失、找不到、加载失败 等问题的修复