最小二乘法(Least Square Approximations)

十二月 4, 2017十二月 5, 2017 ~ Potatso

最小二乘法的定义：

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法的目标：

“最小二乘法”是对过度确定系统，即其中存在比未知数更多的方程组，以回归分析求得近似解的标准方法。在这整个解决方案中，最小二乘法演算为每一方程式的结果中，将残差平方和的总和最小化。

通俗地讲，虽然对方程 $Ax=b$ 我们无法得到解，但是我们可以得到一个误差最小的近似解 $hat{x}$ ,即方程 $A^TA\hat{x}=A^Tb$ 的解．

$b$ 并不位于Ａ的列空间之中，所以原方程无解，但我们可以将b投影到Ａ的列空间上，b的这个投影即是p,因为p位于 $C(A)$ ,所以方程 $A\hat{x}=p$ 有解,且由几何性质可知，该解为误差最小的解．

最小二乘法的步骤：

当 $Ax=b$ 无解时，方程两边同时左乘一个 $A^T$ ,得到方程 $A^TA\hat{x}=A^Tb$ .
最小化误差(Minimizing the Error)

Error是什么呢, $e=b-Ax$

加个图可能更好理解

最小二乘解 $\hat{x}$ 可以使 $E=||Ax-p||^2$ 最小

求解最小二乘解具体方法：

主要运用代数与几何性质
微积分方法，求偏导，The partial derivatives of $||Ax-b||^2$ are zero when $A^TA\hat{x}=A^Tb$ .

最小二乘法进行条件：

Ａ的各列线性独立，是最小二乘法成立的大前提．

当Ａ各列线性无关时,矩阵 $A^TA$ 可逆

The big Picture：

相关

发布者：Potatso

查看 Potatso 发布的所有文章

发表评论取消回复

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据。

%d 博主赞过：