最小二乘法的定义:
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法的目标:
“最小二乘法”是对过度确定系统,即其中存在比未知数更多的方程组,以回归分析求得近似解的标准方法。在这整个解决方案中,最小二乘法演算为每一方程式的结果中,将残差平方和的总和最小化。
通俗地讲,虽然对方程我们无法得到解,但是我们可以得到一个误差最小的近似解
,即方程
的解.
并不位于A的列空间之中,所以原方程无解,但我们可以将b投影到A的列空间上,b的这个投影即是p,因为p位于
,所以方程
有解,且由几何性质可知,该解为误差最小的解.
最小二乘法的步骤:
当
无解时,方程两边同时左乘一个
,得到方程
.
最小化误差(Minimizing the Error)
Error是什么呢,
加个图可能更好理解
最小二乘解可以使
最小
求解最小二乘解具体方法:
- 主要运用代数与几何性质
- 微积分方法,求偏导,The partial derivatives of
are zero when
.
最小二乘法进行条件:
A的各列线性独立,是最小二乘法成立的大前提.
当A各列线性无关时,矩阵可逆
The big Picture: