回归大致可以理解为根据数据集，拟合出近似的曲线，所以回归也常称为拟合（英文：Fit），像下列右图一样拟合出来是直线的就称为线性回归：

下面就来解释其中的一些细节。

首先，为什么拟合曲线会被称为回归呢？

“回归”这个词源于弗朗西斯·高尔顿爵士（英文：Sir Francis Galton，1822年2月16日－1911年1月17日）：

高尔顿的研究过程用现在的数学语言来表述就是，首先对一些父子的身高进行了抽样，得到数据集；然后根据数据集拟合出一条直线；最后通过该直线就可以对某父亲的儿子的身高进行预测了：

高尔顿拟合的直线方程为（单位为米）：

将方程和联立，可得：

也就是说这两条直线会交于点 (1.77, 1.77)，这说明身高低于1.77米的父亲，他的儿子身高会高一些；而高于1.77米的父亲，他的儿子身高会矮一些。：

所以这条拟合出来的直线，其实就表示了均值回归现象，因此拟合直线的过程被称为 线性回归（英文：Linear Regression）。

下面开始解释高尔顿是如何根据数据集来拟合直线的。先来介绍下线性回归的经验误差是什么。

首先肯定是用直线来进行拟合：

所以假设空间为：

和感知机的假设空间差不多，只是少了函数。

在历史上，高尔顿总共采集了近千个父子身高的数据来拟合。本课为了方便讲解，我们从中抽取了六个（原始数据的单位是“英寸”，这里全部转为了“米”）作为数据集：

随便找一条假设空间中的直线，对于某父亲身高，该直线给出的和真实的儿子身高是存在距离的，这个距离也称为点与直线的误差，高尔顿用两者差的平方来表示：

将数据集中所有点与该直线的误差加起来，再进行算术平均就是该直线在数据集上的经验误差：

其中表示该数据集的大小。

有了经验误差函数之后，就可以利用上一单元介绍的经验误差最小原则来设计算法，从而在假设空间中挑选离最近的作为：

具体到线性回归中，其经验误差函数为：

根据经验误差最小原则，只需要求出使得该经验误差函数取得最小值的和：

实际上就得到了离最近的，本节就来介绍如何求解和。

首先，将手上的数据集：

代入线性回归的经验误差函数后可得：

可见是关于和的函数，并且是 凸函数（英文：Convex Function）。凸函数意味着画出来看上去是山谷：

因为线性回归的经验误差函数是平方之和，所以本节介绍的求解该经验误差函数的最小值的方法被称为，国内各种教材中也常称为。

根据上一节描述的数学原理，可以借助 Python 来求出 w 和 b：

上面代码运行后，可以解出以及，得到的结果和高尔顿几乎一样：

至此我们就完成了一个简单的线性回归。至于为什么最小二乘法是正确的，可以看我们之后的课程，或者看如何理解最小二乘法。