如何理解最小二乘法？
最小平方法是十九世纪统计学的主题曲。 从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。
最小平方法是十九世纪统计学的主题曲。 从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。
----乔治·斯蒂格勒的《The History of Statistics》
来看一个生活中的例子。比如说，有五把尺子：
用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）：
之所以出现不同的值可能因为：
-
不同厂家的尺子的生产精度不同
-
尺子材质不同，热胀冷缩不一样
-
测量的时候心情起伏不定
-
......
总之就是有误差，这种情况下，一般取平均值来作为线段的长度：
日常中就是这么使用的。可是作为很事'er的数学爱好者，自然要想下：
-
这样做有道理吗？
-
用调和平均数行不行？
-
用中位数行不行？
-
用几何平均数行不行？
换一种思路来思考刚才的问题。
首先，把测试得到的值画在笛卡尔坐标系中，分别记作
其次，把要猜测的线段长度的真实值用平行于横轴的直线来表示（因为是猜测的，所以用虚线来画），记作
每个点都向
因为误差是长度，还要取绝对值，计算起来麻烦，就干脆用平方来代表误差：
总的误差的平方就是：
因为
自然，总的误差
法国数学家，阿德里安-馬里·勒讓德（1752－1833，这个头像有点抽象）提出让总的误差的平方最小的
这就是最小二乘法，即：
这个猜想也蛮符合直觉的，来算一下。
这是一个二次函数，对其求导，导数为0的时候取得最小值：
进而：
正好是算术平均数。
原来算术平均数可以让误差最小啊，这下看来选用它显得讲道理了。
以下这种方法：
就是最小二乘法，所谓“二乘”就是平方的意思，台湾直接翻译为最小平方法。
算术平均数只是最小二乘法的特例，适用范围比较狭窄。而最小二乘法用途就广泛。
比如温度与冰淇淋的销量：
看上去像是某种线性关系：
可以假设这种线性关系为：
通过最小二乘法的思想：
上图的
总误差的平方为：
不同的
这个时候
对于
也就是这根直线：
其实，还可以假设：
在这个假设下，可以根据最小二乘法，算出
同一组数据，选择不同的
不同的数据，更可以选择不同的
我们对勒让德的猜测，即最小二乘法，仍然抱有怀疑，万一这个猜测是错误的怎么办？
数学王子高斯（1777－1855）也像我们一样心存怀疑。
高斯换了一个思考框架，通过概率统计那一套来思考。
让我们回到最初测量线段长度的问题。高斯想，通过测量得到了这些值：
每次的测量值
这些误差最终会形成一个概率分布，只是现在不知道误差的概率分布是什么。假设概率密度函数为：
再假设一个联合概率密度函数，这样方便把所有的测量数据利用起来：
讲到这里，有些同学可能已经看出来了上面似然函数了（关于似然函数以及马上要讲到的极大似然估计，可以参考“如何理解极大似然估计法？”）。
因为
根据极大似然估计的思想，概率最大的最应该出现（既然都出现了，而我又不是“天选之才”，那么自然不会是发生了小概率事件），也就是应该取到下面这点：
当下面这个式子成立时，取得最大值：
然后高斯想，最小二乘法给出的答案是：
如果最小二乘法是对的，那么
好，现在可以来解这个微分方程了。最终得到：
这是什么？这就是正态分布啊。
并且这还是一个充要条件：
也就是说，如果误差的分布是正态分布，那么最小二乘法得到的就是最有可能的值。
那么误差的分布是正态分布吗？
我们相信，误差是由于随机的、无数的、独立的、多个因素造成的，比如之前提到的：
-
不同厂家的尺子的生产精度不同
-
尺子材质不同，热胀冷缩不一样
-
测量的时候心情起伏不定
-
......
那么根据中心极限定理（参考“为什么正态分布如此常见？”），误差的分布就应该是正态分布。
因为高斯的努力，才真正奠定了最小二乘法的重要地位。
关注马同学
微信公众号：matongxue314
