1
一,向量到子空间的距离二,最小二乘法
2
一,向量到子空间的距离
1,向量间的距离
(1) 定义：长度 称为向量 和 的距离，记为
,.d
(2) 基本性质
①,,dd
② 并且仅当 的等号才成立；,0,d
③ （三角形不等式）
,,,.d d d
3
(1) 固定向量,如果与子空间 中每个向量垂直，?
2.向量到子空间的距离
W
称 垂直于子空间 记
W
W,W
如果 则 12(,,,),kWL
,1,2,,.iW i k
(2) 向量到子空间中的各向量的距离以垂线为最短,
的满足 的向量，要证明如图示意，对给定,设 是 中?
W
4
对 有W（ 1）
证明,因 是子空间，
由勾股定理
,W
则 故,,WW,W
2 2 2
即 （ 1） 成立,
二,最小二乘法
1.问题提出,实系数线性方程组
5
12,,,,,nsij nAX b A a R b b b b（ 2）
可能无解，即任意 都可能使12,,,nx x x
21 1 2 2
1
n
i i in n i
i
a x a x a x b
（ 3）
不等于零，设法找实数组 使（ 3）最小20 0 01,,,nx x x
这样的 为方程组（ 2）的最小二乘解，
2
0 0 01,,,
nx x x
此问题叫最小二乘法问题,
6
2.问题的解决在 （ 1） 之下再设
12
1 1 1
,,,,.
n n n
j j j j n j j
j j j
Y a x a x a x A X
（ 4）
用距离的概念，（ 3）就是 2,YB?
由（ 4）知
1 1 2 2 1 2,,,,s s sY x x x A
7
找 使（ 3）最小，等价于找子空间X 12(,,,)sL
中向量 使 到它的距离 比到Y B ()YB? 12(,,,)sL
中其它向量的距离都短,
设 为此必,C B Y B A X 12(,,,)sCL
这等价于 12(,) (,) (,) 0,sC C C（ 5）
即 12 0,0,,0,sC C C
这样（ 5）等价于 或 0A B A XA A X A B（ 6）
8
我们想找出 对 的一个近似公式,
（ 6）就是最小二乘解所满足的代数方程,
例,已知某种材料在生产过程中的废品率 与某种
y
y
y
x
x
x
化学成份 有关,下列表中记载了某工厂生产中 与相应的 的几次数值：
(%)y
(%)x
1,0 0 0,9 0,9 0,8 1 0,6 0 0,5 6 0,3 5
3,6 3,7 3,8 3,9 4,0 4,1 4,2
9
解 把表中数值画出图来看，发现它的变化趋势近于一条直线,因此我们决定选取 的一次式x
ax b? 来表达,当然最好能选到适当的 使得,ab
下面的等式
3,6 1,0 0 0,ab3,7 0,9 0ab
3,8 0,9 0,ab3,9 0,8 1 0,ab
4,0 0,6 0 0,ab4,1,5 6 0,ab
4,2 0,3 5 0ab
10
的平方和最小，即找 使都发生些误差,于是想找到 使得上面各式的误差都成立,实际上是不可能的。任何 代入上面各式,ab
,ab
,ab
2 2 2( 3,6 1,0 0 ) ( 3,7 0,9 ) ( 3,8 0,9 )a b a b a b
2 2 2( 3,9 0,8 1 ) ( 4,0 0,6 0 ) ( 4,1 0,5 6 )a b a b a b
2( 4,2 0,3 5 )ab
最小,易知
11
3.6 1 1.0 0
3.7 1 0.9 0
3.8 1 0.9 0
,3.9 1 0.8 1
4.0 1 0.6 0
4.1 1 0.5 6
4.2 1 0.3 5
AB
,ab最小二乘解 所满足的方程就是
0,aA A A Bb
即为 1 0 6,7 5 2 7,3 1 9,6 7 5 0ab
2 7,3 7 5,1 2 0ab
12
解得
（取三位有效数字）,1,0 5,4,8 1ab
P396 27
一,向量到子空间的距离二,最小二乘法
2
一,向量到子空间的距离
1,向量间的距离
(1) 定义：长度 称为向量 和 的距离，记为
,.d
(2) 基本性质
①,,dd
② 并且仅当 的等号才成立；,0,d
③ （三角形不等式）
,,,.d d d
3
(1) 固定向量,如果与子空间 中每个向量垂直，?
2.向量到子空间的距离
W
称 垂直于子空间 记
W
W,W
如果 则 12(,,,),kWL
,1,2,,.iW i k
(2) 向量到子空间中的各向量的距离以垂线为最短,
的满足 的向量，要证明如图示意，对给定,设 是 中?
W
4
对 有W（ 1）
证明,因 是子空间，
由勾股定理
,W
则 故,,WW,W
2 2 2
即 （ 1） 成立,
二,最小二乘法
1.问题提出,实系数线性方程组
5
12,,,,,nsij nAX b A a R b b b b（ 2）
可能无解，即任意 都可能使12,,,nx x x
21 1 2 2
1
n
i i in n i
i
a x a x a x b
（ 3）
不等于零，设法找实数组 使（ 3）最小20 0 01,,,nx x x
这样的 为方程组（ 2）的最小二乘解，
2
0 0 01,,,
nx x x
此问题叫最小二乘法问题,
6
2.问题的解决在 （ 1） 之下再设
12
1 1 1
,,,,.
n n n
j j j j n j j
j j j
Y a x a x a x A X
（ 4）
用距离的概念，（ 3）就是 2,YB?
由（ 4）知
1 1 2 2 1 2,,,,s s sY x x x A
7
找 使（ 3）最小，等价于找子空间X 12(,,,)sL
中向量 使 到它的距离 比到Y B ()YB? 12(,,,)sL
中其它向量的距离都短,
设 为此必,C B Y B A X 12(,,,)sCL
这等价于 12(,) (,) (,) 0,sC C C（ 5）
即 12 0,0,,0,sC C C
这样（ 5）等价于 或 0A B A XA A X A B（ 6）
8
我们想找出 对 的一个近似公式,
（ 6）就是最小二乘解所满足的代数方程,
例,已知某种材料在生产过程中的废品率 与某种
y
y
y
x
x
x
化学成份 有关,下列表中记载了某工厂生产中 与相应的 的几次数值：
(%)y
(%)x
1,0 0 0,9 0,9 0,8 1 0,6 0 0,5 6 0,3 5
3,6 3,7 3,8 3,9 4,0 4,1 4,2
9
解 把表中数值画出图来看，发现它的变化趋势近于一条直线,因此我们决定选取 的一次式x
ax b? 来表达,当然最好能选到适当的 使得,ab
下面的等式
3,6 1,0 0 0,ab3,7 0,9 0ab
3,8 0,9 0,ab3,9 0,8 1 0,ab
4,0 0,6 0 0,ab4,1,5 6 0,ab
4,2 0,3 5 0ab
10
的平方和最小，即找 使都发生些误差,于是想找到 使得上面各式的误差都成立,实际上是不可能的。任何 代入上面各式,ab
,ab
,ab
2 2 2( 3,6 1,0 0 ) ( 3,7 0,9 ) ( 3,8 0,9 )a b a b a b
2 2 2( 3,9 0,8 1 ) ( 4,0 0,6 0 ) ( 4,1 0,5 6 )a b a b a b
2( 4,2 0,3 5 )ab
最小,易知
11
3.6 1 1.0 0
3.7 1 0.9 0
3.8 1 0.9 0
,3.9 1 0.8 1
4.0 1 0.6 0
4.1 1 0.5 6
4.2 1 0.3 5
AB
,ab最小二乘解 所满足的方程就是
0,aA A A Bb
即为 1 0 6,7 5 2 7,3 1 9,6 7 5 0ab
2 7,3 7 5,1 2 0ab
12
解得
（取三位有效数字）,1,0 5,4,8 1ab
P396 27
