§7 向量到子空间的最小距离·最小二乘法在解析几何中，两个点和间的距离等于向量的长度.
定义13 长度称为向量和的距离，记为
不难证明距离的三条性质：
1）;
2），并且仅当时等号才成立；
3）（三角不等式）
在中学所学几何中知道一个点到一个平面（一条直线）上所有点的距离以垂线最短.下面可以证明一个固定向量和一个子空间中各向量间的距离也是以“垂线最短”.
先设一个子空间，它是由向量所生成，即.说一个向量垂直于子空间，就是指向量垂直于中任何一个向量.易证垂直于的充要条件是垂直于每个.
现给定，设是中的向量，满足垂直于.要证明到中各向量的距离以垂线最短，就是要证明，对于中任一向量，有
.
我们可以画出下面的示意图：
证明 因是子空间，,则.故垂直于.由勾股定理，

故

这就证明了，向量到子空间各向量间的距离以垂线最短.
这个几何事实可以用来解决一些实际问题.其中的一个应用就是解决最小二乘法问题.
例 已知某种材料在生产过程中的废品率与某种化学成分有关.下列表中记载了某工厂生产中与相应的的几次数值：
(%)
1.00
0.9
0.9
0.81
0.60
0.56
0.35
(%)
3.6
3.7
3.8
3.9
4.0
4.0
4.2
我们想找出对的一个近似公式.
最小二乘法问题：线性方程组

可能无解.即任何一组数都可能使
 (1)
不等于零.我们设法找使（1）最小，这样的称为方程组的最小二乘解.这种问题就叫最小二乘法问题.
下面利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的代数条件.令
 (2)
用距离的概念，（1）就是

最小二乘法就是找使与的距离最短.但从（2），知道向量就是

把的各列向量分别记成.由它们生成的子空间为.就是中的向量.于是最小二乘法问题可叙述成：
找使（1）最小，就是在中找一向量，使得到它的距离比到子空间中其它向量的距离都短.
应用前面所讲的结论，设

是所求的向量，则

必须垂直于子空间.为此只须而且必须

回忆矩阵乘法规则，上述一串等式可以写成矩阵相乘的式子，即

而按行正好排成矩阵，上述一串等式合起来就是

或

这就是最小二乘解所满足的代数方程，它是一个线性方程组，系数矩阵是，常数项是.这种线性方程组总是有解的.
回到前面的例子，易知

最小二乘解所满足的方程就是
,
即为

解得
（取三位有效数字）.