函数的图像如下：

它其实和二次曲线的图像差不多，比如：

那我们有没有办法找到一个最接近的二次曲线，从而实现函数的降维呢（这里看起来像是降幂，其实是降维，后面会进一步解释）？这就是本文要讨论的问题。

本文讨论的或许有点高能，如果同学能沉下心来看完，就算没有完全看懂，也可能会在数学上开一扇窗。

让我们从某个向量的降维说起。这需要两步，“正交投影”和“降维”，下面一一来说明。

比如下图是三维向量：

假如将其向某平面作垂线，得到它的正交投影：

根据高中的几何知识可知，是平面中离三维向量最近的点，其余点（比如下图中的红点）和的距离都会更远：

所以，可认为正交投影是平面中关于三维向量的最佳近似。

假设平面是由和张成的：

那么正交投影就必然可由和线性组合出来：

也就是存在使得：

或者认为正交投影在平面中的坐标为。所以，如果用正交投影来近似表示的话，就可以认为完成了的降维：

函数降维的原理和上面类似，但更抽象，不容易图形化，所以下面的讲解需要同学们大胆地去想象。

函数其实也是一个向量，它由向量、、、以及（向量变为由函数构成，这样会极大扩大线性代数的应用场景。至于为什么能这么做，同学们可以自己扩展阅读高等代数）线性组合而成，也就是说它在、、、以及张成的向量空间中：

如果将该函数向量投影到、和张成的向量空间，其正交投影肯定由、和线性组合而成，这样就达到了降维的目的。

和实数相比，函数更为复杂，所以函数向量的近似也更复杂。比如下面有两个二次函数，它们都是对不错的近似：

哪一个更好？就看你的判断标准是什么。比如其中的，它在、以及时和四次函数完全重合：

如果以这三点为判断标准的话，那么选择该二次函数作为近似就是最好的。下面是具体的计算过程。

要近似的函数向量是四次函数，因为判断标准是、以及这三个点，所以将这三个点对应的函数值算出来，组成函数值向量：

要求的二次函数由、和线性组合而成，那么、以及这三个点的二次函数值也会由、和的函数值线性组合而成，所以分别算出函数向量、和在这三个点的函数值向量：

（说明一下，比如是一个常值函数，所以在、以及这三个点的函数值都为，所以此时函数值向量为；而在、以及这三个点的函数值分别为、后，所以其函数值向量为，的函数值向量以此类推。）

这样我们就有了 4 个函数向量和函数值向量：

为什么要算出函数值向量呢？因为、以及这三个点是我们的判断标准，所谓标准就是用它们来计算，也就是之后的投影操作都会用到这些函数值向量。

我们要投影的向量空间是由、和张成的，这三个向量目前并不是两两正交的，这样没有办法计算投影，所以先需要转为正交基。

为什么说不是两两正交的呢？因为我们的判断标准，也就是它们对应的函数值向量的点积不全为：

下面用之前介绍过的施密特正交化来完成正交操作：

其中，这说明和是正交的，所以只需要计算（所有的点积运算都要依靠我们的判断标准，也就是函数值向量来进行）：

这样我们就得到了要投影的向量空间的正交基、和，以及对应的函数值向量：

现在有了正交基以及函数向量：

下面来计算函数向量对正交基、和所张成向量空间的投影（下列公式其实在施密特正交化中也介绍过，这个公式需要正交基才能成立）：

这就是之前得到的二次函数：

用拉格朗日插值法也可以得到上述二次函数。

如果我们的判断标准修改为、、、以及这五个点，那么函数向量保持不变，用于判断的函数值向量需要修改下：

按照上面流程，投影得到的二次函数为（这个结果就没法通过拉格朗日插值法得到）：

可以看到该二次函数在这五个点虽然不一定重叠，但都还是比较接近的，综合考虑起来是所有二次函数中最佳的。

能不能考虑所有的点呢？也是可以的，就需要使用微积分了，这里不再深入讨论。