第二章 第六节
微分学在最优化方面的应用
2-6-1 多元函数的无条件极值
2-6-2 多元函数的条件极值
第七讲 微分学在最优化方面的应用课后作业,
阅读：第二章第五节 5.2,pp,60---63
预习：第二章第五节 5.2,pp,60---63
作业,第二章 习题4,pp,59---60,
6,(3),(5); 7,(1),(2) ; 8; 10; 12; 13.
引言：多元函数极值问题的提法与普遍性最优化问题的普遍性：
黑格尔的名言：“存在的必然是合理的,而合理的必将是存在的。”这句话前半句包含着一个静态的最优问题；而后半句则包含着一个动态的最优问题,因为“合理”，就某种意义下的“最优”。
最优化问题的提法
在“某种条件”下的“某量最优”
某量,目标函数
条件,约束条件,
问题,
问题举例今有m个点,,求一点，到各点距离平方之和最小。
今有一空间曲面及一点，在此曲面上找一点到点距离最小。
今有一空间曲线及一点，在此曲线上找一点到点距离最小。
一般非线性规划：
线性规划：,
其中,变量是而和是给定的矩阵与向量另外有变分问题；最优控制问题。此时目标函数的自变量不是在
中,而是在函数空间中。
例如，求两点问最速下降曲线：设的线为
2-6-1 多元函数的无条件极值极值的必要条件极值与极值点,设函数,若存在点某个邻域,都有则称是的一个极小值 (minimum)，并称为的一个极小值点,
类似地可定义,若都有则称是
的一个极大值 (maximum)，并称为的一个极大值点.
极限的必要条件定理（极值点的必要条件）设函数在点达到极值，若在该点可微，则有,
或者 .
证明一,在点达到极小值
,,
,,
,.
证明二,在点达到极小值
,,
,
其中，是任意的单位向量,
,
,
,
可微函数只能在驻点取得极值.但是驻点并非极值的充分条件,例如二元函数,原点是它的一个驻点,但是该函数在原点不取极值,这是因为,在轴上原点以外的部分,轴上原点以外的部分.
另外,如果是不可微的函数,取得极值的点也可能不是驻点.例如,原点是二元函数的极小值点,然而这个函数在原点不存在偏导数,从而不可微.这是由不可微函数的优化理论。
极值的充分条件定理（极值点的充分条件）设在点某邻域内二阶偏导数连续，且是驻点，即，则
1．正定时，是的极小值点；
2．负定时，是的极大值点；
3．不定时，不是的极值点.
其中，为在处的海森矩阵.
证明:为简便起见,只对于二元函数的情形给出证明.
当n=2时,函数在处的海森矩阵是
今记,
,在处的2阶Taylor公式为
=
=
=.
再设 ,,
=
=
=.
由于
=,
与二次函数(二次型)
=
=
的符号相同。因此有：
若,二次函数(矩阵正定).在点的某个邻域中,恒有
.
因此在点取得极小值.
若,在点取得极大值.
3,若,二次函数可正可负(即海森矩阵
既非正定,也非负定),因此的符号也是
不定的.于是在点既不取极小值,也不取极
大值.
当时,仅仅根据在点的二阶导数不足以判定在点是否取得极值,需要作进一步讨论,这里从略.
例1 求函数的所有局部极值.
解 求偏导数得，解
得到9个驻点：
求二阶偏导数得
.
在上述每个点计算得到下表：
由极值的充分条件可知，函数在
取局部极小值，其它点均为鞍点（非极值点）.
例2（最小二乘法）设变量与之间的关系是，其中是待定常数.现在通过实验测得了与的一组数据，问如何由这一组数据得到最佳的待定常数.
解 所谓最佳，是指测量值与精确值之间的误差平方和达到最小，即使的函数
.令
当时，由此解出
.
一般情况：设变量与之间的关系是，其中,现在通过实验测得了与的一组数据，问如何由这一组数据得到最佳的待定常向数和常数.
记成
或
这种求待定参数的方法就称为最小二乘法.
2-6-2 多元函数的条件极值问题一：.
常规做法,
解方程
解无条件极值问题：
求驻点：
解方程 ,
求,代入上式并整理
;
引入未知数:
将方程变成对称形式：
拉格伦日函数
,
问题变成求函数的无条件极限问题,,
求驻点；解方程；
问题二：.
做函数：
求驻点；解方程；
今有m个点,,求一点，到各点距离平方之和最小。
问题：
求驻点：,
今有一空间曲面及一点，在此曲面上找一点到点距离最小。
问题,
拉格伦日函数：
=
其中，.
求驻点：,
或者 ,
今有一空间曲线及一点，在此曲线上找一点到点距离最小。
拉格伦日函数：
=
其中，.
求驻点：,
或者
微分学在最优化方面的应用
2-6-1 多元函数的无条件极值
2-6-2 多元函数的条件极值
第七讲 微分学在最优化方面的应用课后作业,
阅读：第二章第五节 5.2,pp,60---63
预习：第二章第五节 5.2,pp,60---63
作业,第二章 习题4,pp,59---60,
6,(3),(5); 7,(1),(2) ; 8; 10; 12; 13.
引言：多元函数极值问题的提法与普遍性最优化问题的普遍性：
黑格尔的名言：“存在的必然是合理的,而合理的必将是存在的。”这句话前半句包含着一个静态的最优问题；而后半句则包含着一个动态的最优问题,因为“合理”，就某种意义下的“最优”。
最优化问题的提法
在“某种条件”下的“某量最优”
某量,目标函数
条件,约束条件,
问题,
问题举例今有m个点,,求一点，到各点距离平方之和最小。
今有一空间曲面及一点，在此曲面上找一点到点距离最小。
今有一空间曲线及一点，在此曲线上找一点到点距离最小。
一般非线性规划：
线性规划：,
其中,变量是而和是给定的矩阵与向量另外有变分问题；最优控制问题。此时目标函数的自变量不是在
中,而是在函数空间中。
例如，求两点问最速下降曲线：设的线为
2-6-1 多元函数的无条件极值极值的必要条件极值与极值点,设函数,若存在点某个邻域,都有则称是的一个极小值 (minimum)，并称为的一个极小值点,
类似地可定义,若都有则称是
的一个极大值 (maximum)，并称为的一个极大值点.
极限的必要条件定理（极值点的必要条件）设函数在点达到极值，若在该点可微，则有,
或者 .
证明一,在点达到极小值
,,
,,
,.
证明二,在点达到极小值
,,
,
其中，是任意的单位向量,
,
,
,
可微函数只能在驻点取得极值.但是驻点并非极值的充分条件,例如二元函数,原点是它的一个驻点,但是该函数在原点不取极值,这是因为,在轴上原点以外的部分,轴上原点以外的部分.
另外,如果是不可微的函数,取得极值的点也可能不是驻点.例如,原点是二元函数的极小值点,然而这个函数在原点不存在偏导数,从而不可微.这是由不可微函数的优化理论。
极值的充分条件定理（极值点的充分条件）设在点某邻域内二阶偏导数连续，且是驻点，即，则
1．正定时，是的极小值点；
2．负定时，是的极大值点；
3．不定时，不是的极值点.
其中，为在处的海森矩阵.
证明:为简便起见,只对于二元函数的情形给出证明.
当n=2时,函数在处的海森矩阵是
今记,
,在处的2阶Taylor公式为
=
=
=.
再设 ,,
=
=
=.
由于
=,
与二次函数(二次型)
=
=
的符号相同。因此有：
若,二次函数(矩阵正定).在点的某个邻域中,恒有
.
因此在点取得极小值.
若,在点取得极大值.
3,若,二次函数可正可负(即海森矩阵
既非正定,也非负定),因此的符号也是
不定的.于是在点既不取极小值,也不取极
大值.
当时,仅仅根据在点的二阶导数不足以判定在点是否取得极值,需要作进一步讨论,这里从略.
例1 求函数的所有局部极值.
解 求偏导数得，解
得到9个驻点：
求二阶偏导数得
.
在上述每个点计算得到下表：
由极值的充分条件可知，函数在
取局部极小值，其它点均为鞍点（非极值点）.
例2（最小二乘法）设变量与之间的关系是，其中是待定常数.现在通过实验测得了与的一组数据，问如何由这一组数据得到最佳的待定常数.
解 所谓最佳，是指测量值与精确值之间的误差平方和达到最小，即使的函数
.令
当时，由此解出
.
一般情况：设变量与之间的关系是，其中,现在通过实验测得了与的一组数据，问如何由这一组数据得到最佳的待定常向数和常数.
记成
或
这种求待定参数的方法就称为最小二乘法.
2-6-2 多元函数的条件极值问题一：.
常规做法,
解方程
解无条件极值问题：
求驻点：
解方程 ,
求,代入上式并整理
;
引入未知数:
将方程变成对称形式：
拉格伦日函数
,
问题变成求函数的无条件极限问题,,
求驻点；解方程；
问题二：.
做函数：
求驻点；解方程；
今有m个点,,求一点，到各点距离平方之和最小。
问题：
求驻点：,
今有一空间曲面及一点，在此曲面上找一点到点距离最小。
问题,
拉格伦日函数：
=
其中，.
求驻点：,
或者 ,
今有一空间曲线及一点，在此曲线上找一点到点距离最小。
拉格伦日函数：
=
其中，.
求驻点：,
或者
