奇异值分解

  奇异值分解（Singular Value Decomposition，SVD）是线性代数中一种重要的矩阵分解方法，区别于只适用于实对称矩阵的特征分解方法，奇异值分解可对任意实矩阵进行分解。

 特征分解（eigendecomposition）又叫谱分解（Spectral decomposition），是把一个矩阵根据其特征值和特征向量分解的过程，只有可以正交化的矩阵才可以进行特征分解。

  有了上述定义，接下来讨论如何计算一个矩阵的特征值和特征向量。由定义可知：

  其中 为单位矩阵，显然上式的推导结果是一个 元 次的齐次线性方程组， 为该方程组的一个非零解，则有 ，其中 称为 的特征方程， 称为 的特征多项式。基于此，可得到求解方阵A特征值和特征向量的步骤如下：

  求出矩阵 的特征值和特征向量后，若矩阵 有 个线性独立的特征向量，那么 是可以正交化的，此时 的特征分解为：

其中 时 个特征向量所组成的 维矩阵， 为以这 个特征值为主对角线元素的对角阵。

  对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵：

这样处理的好处是，我们可以用三个较小的矩阵 来表示一个大矩阵 ，如下图所示，使用三个灰色部分的小矩阵来表示大矩阵。

  由于这个重要的性质，SVD可以用于PCA降维，来做图片数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。

偏差-方差分解

偏差-方差分解的内容其实在看西瓜书的时候已经学习过，但印象并不深刻（可能和西瓜书上的符号比较繁琐有关吧），此次重温，脉络清晰了不少。

为避免过拟合，我们经常会在模型的拟合能力和复杂度之间进行权衡。拟合能力强的模型一般复杂度会比较高，易导致过拟合。相反，如果限制模型的复杂度，降低其拟合能力，又可能会导致欠拟合。因此， 如何在模型能力和复杂度之间取得一个较好的平衡对一个机器学习算法来讲十分重要。偏差-方差分解（Bias-Variance Decomposition）为我们提供一个很好的分析和指导工具。

假设样本的真实分布为 ，并采用平方损失函数，模型 的期望错误为：

那么最优的模型为：

其中 为样本的真实条件分布， 为使用平方损失作为优化目标的最优模型，其损失为：

损失 通常是由于样本分布以及噪声引起的，无法通过优化模型来减少。

期望误差可以分解为：

其中第一项是当前模型和最优模型之间的差距，是机器学习算法可以优化的真实目标。

在实际训练一个模型 时，训练集 是从真实分布 上独立同分布地采样出来的有限样本**。不同的训练**得到不同的模型。令 表示在训练集 学习到的模型，一个机器学习算法（包括模型以及优化算法）的能力可以用不同训练集上的模型的平均性能来评价 。

对于单个样本 ，不同训练集 得到模型 和最优模型 的上的期望误差为：

其中第一项为偏差（Bias），是指一个模型的在不同训练集上的平均性能和最优模型的差异。偏差可以用来衡量一个模型的拟合能力；第二项是方差（Variance），是指一个模型在不同训练集上的差异，可以用来衡量一个模型是否容易过拟合。

综上，期望误差可以分解为：

下图给出给出了机器学习算法的偏差和方差的四种不同组合情况：

data decomposition是什么意思

data decomposition

数据分解；数据分解法；资料分割

数据分解

用数据分解(data decomposition)的方法来设计和实现并行化能给你提供更多的高可扩展性的解决方案。

例句筛选

1.

A Data-Decomposition-Based Development Method of Concurrent Object-Oriented Programs

基于数据分解的并发面向对象程序开发方法

2.

An Automatic Computation and Data Decomposition Algorithm Based onLinear Algebra

一种基于线性代数的计算和数据自动分解算法

电力系统优化算法

电力系统优化算法实际应用介绍

优化问题可以分成凸（convex）问题和非凸问题。凸问题都是可以找到最优解的，只是算力问题，小问题可以用现有的解法器非常快的找到最优解，大型问题则一般要用一些定制的分解算法。非凸问题则要具体情况具体讨论，如果只是带有整数变量的话一般也可以找到不错的解。

电力系统这边常用的优化就是线性规划（LP），二次规划（QP），和整数规划（MIP）。LP和QP常用在解最优调度上，MIP用来做日前机组组合（unit commitment）。这几种问题都是有很成熟的算法，比如多边形法（simplex）和branchbound法，和解法器（solver），比如Gurobi和Cplex。此外还有一种电力系统专有的问题是交流潮流计算（ACOPF），属于非凸问题，可以用梯度下降法找到次优解，而工业界这些年来也找到了许多启发式算法来提高解的速度和质量。最近10年以Caltech Steven Low为代表的网络控制研究领域也提出了一些ACOPF的凸优化近似解法，比如用到了正定规划（semi-definite programming），只是假设具有局限性，目前看来并不被工业界认可。

下面再讲一下优化分解算法（decomposition），电力领域的优化研究主要就是建模和分解大型优化问题，问题的维度主要体现在空间维度（spatial），时间维度（temporal），和不确定性上（uncertainty）。常用的分解算法有primal / dual分解法，这个可以参考斯坦福Stephen Boyd的课件，思路就是利用问题本身的结构通过固定偶和变量（coupling variable）把一个大问题分拆成可以独立平行解决的小问题（subproblem），再把小问题的结果汇总起来update coupling variable（使用梯度/次梯度法，或者平面切割法），以此循环来解决整个问题（master problem），在与平行计算的结合基础上通常可以带来级数级别的速度提升，比如原来需要数小时甚至数日才能解决的问题通过分解+平行计算，可以在数分钟内解决。这类分解算法常用于空间分拆和情景分拆（scenario decomposition）。

另一种常用的分解算法就是动态规划（dynamic programming），用来解决长时间尺度下带有不确定性的优化控制问题，比如水电规划的经典算法就是stochastic dual dynamic programming。这方面Gatech的Alex Shapiro写过一些不错的资料。最后从学习上在搞懂一些基本的经典优化算法远离比如梯度下降和多边形法外，答主觉得优化在电力方面的应用主要体现在对primal和dual问题之间关联的以及KKT condition的理解，比如primal约束对应的dual是该约束的sub-gradient也就是该约束的price，很多优化分解问题都可以通过这种对这种关系的理解来解决。另一个难点在于对multi-stage decision和uncertainty的理解，比如要理解nonanticipatory control和model predictive control的区别，这个问题甚至可以延伸到当前大火的机器学习上（优化控制上的approximate dynamic programming），这方面答主看过不少资料，感觉还是Shapiro写的最好。

u盘装系统时出现decomposition error怎么搞？

问题分析一：u盘容量已经用完；

解决问题一：删除u盘里面一些无用的文件，让u盘保留 一定的空间！

问题分析二：内存损坏或者其他问题；

解决问题二：先关机，拔出内存条，用橡皮筋擦拭一下插 入插槽处的地方。或者更换内存条试试！

问题分析三：硬盘有坏道或者其他问题；

解决问题三：检查硬盘使用有坏道，如果没有坏道那就低 格式化一次硬盘，重新分区！

问题分析四：硬盘有隐藏分区；

解决问题四：删除该隐藏分区即可。

问题分析五：**gho文件的时候出了问题，ghost文件 损坏了；

解决问题五：重新**gho文件到u盘里面，或者重新下 载一个ghost系统。

问题分析六：系统盘（C盘）有问题；

解决问题六：在PE下手动格式化一次系统盘（C盘）。

问题分析七：打开PE里面的“我的电脑”找不到本地磁盘的 盘符，

解决问题七：重启电脑，进入BIOS设置，把默认的硬盘 模式AHCI改为SATA模式。

如果上述解决方法还不能把问题解决的话，大家可以进入 BIOS设置，CMOS选择第二项,把VIRUS WARRING这个选 项设为DISABLE,然后保存重启试试！