最小二乘法(Least Square Approximations)

最小二乘法的定义:

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。

利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法的目标:

最小二乘法”是对过度确定系统,即其中存在比未知数更多的方程组,以回归分析求得近似解的标准方法。在这整个解决方案中,最小二乘法演算为每一方程式的结果中,将残差平方和的总和最小化。

通俗地讲,虽然对方程Ax=b我们无法得到解,但是我们可以得到一个误差最小的近似解hat{x},即方程A^TA\hat{x}=A^Tb的解.

b并不位于A的列空间之中,所以原方程无解,但我们可以将b投影到A的列空间上,b的这个投影即是p,因为p位于C(A),所以方程A\hat{x}=p有解,且由几何性质可知,该解为误差最小的解.

最小二乘法的步骤:

  • Ax=b无解时,方程两边同时左乘一个A^T,得到方程A^TA\hat{x}=A^Tb.

  • 最小化误差(Minimizing the Error)

Error是什么呢,e=b-Ax

加个图可能更好理解

 

最小二乘解\hat{x}可以使E=||Ax-p||^2最小

求解最小二乘解具体方法:

  1. 主要运用代数与几何性质
  2. 微积分方法,求偏导,The partial derivatives of ||Ax-b||^2 are zero when A^TA\hat{x}=A^Tb.

最小二乘法进行条件:

A的各列线性独立,是最小二乘法成立的大前提.

当A各列线性无关时,矩阵A^TA可逆

The big Picture:

 

发表评论

This site uses Akismet to reduce spam. Learn how your comment data is processed.