自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 1 第 9 章 最优控制 9.1 最优控制的概念 设系统的状态方程为 ),,( tuxfx =& (9.1) 性能指标的数学表达式一般可以表示为 ∫ += f t t ff dtttutxLttxJ 0 ]),(),([]),([θ (9.2) 所谓最优控制，就是要确定在 ],[ 0 f tt 中的最优控制 u，将系统(9.1)的状 态从 )( 0 tx 转移到 )( f tx ，或者 )( f tx 的一个集合，并使性能指标(9.2)最优。 9.2 变分法与泛函的极值条件 1.泛函的概念 如果对于自变量 t ，存在一类函数 )}({ tx ，对于每个函数 )(tx ，有一个 J 值 与之对应，则变量 J 称为依赖于函数 )(tx 的泛函数，简称为泛函，记作 )]([ txJ 。 如果泛函 ][xJ 满足下列关系： ][][][ ][][ yJxJyxJ xaJaxJ +=+ = (9.3) 式中， a是实数； yx, 是函数空间中的函数，则泛函 J 是线性泛函。 2.泛函的变分 泛函 )]([ txJ 的变量 )(tx 的变分 xδ ，定义为 )()( * txtxx ?=δ ，其中， )( * tx 为 一标称函数（ 即最优控制中的最优轨线）， )(tx 为 )( * tx 邻域内与 )( * tx 属于同 一函数类的某一函数。 如果泛函 )]([ txJ 的增量 )]([])([]),([ txJxtxJxtxJ ?+=? δδ (9.4) 可以表示为如下形式 xxtxxtxLxtxJ δδβδδ ]),([]),([]),([ +=? (9.5) 其中， ]),([ xtxL δ 是 xδ 的线性泛函，且当 0→xδ 时， 0]),([ →xtx δβ ，则线性泛 函 ]),([ xtxL δ 称为泛函 )]([ txJ 的变分（一阶变分），记作 Jδ 。 由变分的定义可以看出，泛函的变分是一种线性映射，所以，它的运算规 则类似于函数的线性运算。设 1 F 和 2 F 是 x， x&和 t 的函数，则有如下的变分规 则： （1） 2121 )( FFFF δδδ +=+ （2） 122121 )( FFFFFF δδδ += （3） dttxxFdttxxF ∫∫ = ),,(),,( && δδ （4） x dt d x δδ =& 3.泛函的极值 若泛函 )]([ txJ 在 )(* txx = 附近的任一曲线上的值不小于 )](*[ txJ ，即 0)](*[)]([ ≥?=? txJtxJJ ，则泛函 )]([ txJ 在曲线 )(* txx = 上达到极小值。 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 2 泛函 )]([ txJ 在曲线 )(* txx = 上达到极小值的必要条件为（证明略） 0)*()*,( 0 =?+=? =ε ε ε δ xxJ d d xxJ (9.6) 在等式约束下的泛函极值问题，称为条件泛函极值问题。对于条件泛函极 值问题，可以应用拉格朗日乘子法将其转化为无约束条件极值问题。 9.3 变分法求解无约束最优控制问题 设系统的状态方程为 ]),(),([)( ttutxftx =& 00 )( xtx = (9.7) 性能指标为 ∫ += f t t ff dtttutxLttxJ 0 ]),(),([]),([θ (9.8) 最优控制问题就是以状态方程（ 9.7）为约束，确定使泛函（9.8）达到极 值所要满足的必要条件。在上面的最优控制问题中，因为对控制变量 )(tu 没有 约束，所以通常称为无约束最优控制问题。 无约束最优控制问题是一个求有等式约束的泛函 极值问题，可以采用拉 格朗日乘子法把有约束条件问题转化为无约束条件问题。 构造增广泛函为 ∫ ?++= f t t T ffa dttxttutxfttutxLttxJ 0 )]}()),(),(([]),(),([{]),([ &λθ (9.9) 构造哈密顿函数为 ),,(),,(),,,( tuxftuxLtuxH T λλ += (9.10) 式中， n R∈λ 为拉格朗日乘子向量。则增广泛函为 ∫ ?+= f t t T ffa dtxtuxHttxJ 0 }],,,[{]),([ &λλθ (9.11) 设初始时刻 0 t 及其状态给定为 00 )( xtx = 。根据终端状态边界条件，可按以下几 种情况讨论 1. f t 给定，终端自由，即 )( f tx 任意 增广泛函 a J 为 ∫ ?+= f t t T fa dtxtuxHtxJ 0 ]),,,([)]([ &λλθ (9.12) 取 a J 的一阶变分并令其为零，得 0])()()[()( 0 =?? ? ? + ? ? + ? ? + ? ? = ∫ = f f t t TTTTT tt T a dtxx H u u H x x H x x J && δλδλδλ λ δδδ θ δ (9.13) 由于 ∫∫ ?= f f f t t T t t T t t T xdtxdtx 0 0 0 δλδλδλ & & (9.14) 将式（9.14）代入式（9.13），并注意到 0)( 0 =txδ ，可得 0])()()[()( 0 =? ? ? + ? ? ++ ? ? +? ? ? = ∫ = f f t t TTT tt T a dtx H u u H x x H x x J δλ λ δδλδλ θ δ & & (9.15) 由于在上式中， f t ， xδ ， uδ 和 δλ都是任意的，并且相互独立，所以，增广性 能指标泛函 a J 的一阶变分为零，即最优控制问题（9.7），（9.8）取极值的 必要条件为 正则方程 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 3 状态方程 λ λ ? ? = ),,,( tuxH x& (9.16) 伴随方程 x tuxH ? ? ?= ),,,( λ λ & (9.17) 控制方程 0 ),,,( = ? ? u tuxH λ (9.18) 横截条件 )( )]([ )( f f f tx tx t ? ? = θ λ (9.19) 联立求解上述正则方程和控制方程，就可求得性能指标达到极值时的最优 控制 )(* tu 、最优状态轨线 )(* tx 及最优协态轨线 )(* tλ 。 例 9.1 已知系统的状态方程为 )()( tutx =& 初始条件为 00 )( xtx = 求最优控制 )(* tu ，使性能指标 ∫ += f t t f dtutcxJ 0 22 2 1 )( 2 1 ， 0>c 为最小。 解 本题为 f t 给定、终端自由的最优控制问题。由于控制变量不受约束， 所以，可以用变分法求解。构造哈密顿函数为 uutuxH λλ += 2 2 1 ),,,( 由伴随方程(9.17)得 0) 2 1 ( 2 =+ ? ? ?= ? ? ?= uu xx H λλ & 因此， =λ 常数。由横截条件(9.19)得 ， )()]( 2 1 [ )()( )]([ )( 2 ff ff f f tcxtcx txtx tx t = ? ? = ? ? = θ λ 由控制方程(9.18)得 0=+= ? ? λu u H 即 )(* f tcxu ?=?= λ 将 *u 代入状态方程，得 )( f tcxux ?==& 上面这个微分方程的解为 )())(()( 00 txtttcxtx f +??= 当 f tt = 时，有 )())(()( 00 txtttcxtx fff +??= 所以 )(1 )( )( 0 0 ttc tx tx f f ?+ = 最优控制为 )(1 )( )(* 0 0 ttc tcx tcxu f f ?+ ?=?= 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 4 由本例的性能指标形式可 知，性能指标只存在极小值，所以，最优控制 )(* tu 将使性能指标为最小。因此最优性能指标为 ∫ += f t t f dtutcxJ 0 22 2 1 )( 2 1 )(1 )( 2 1 )( )](1[ )( 2 1 )](1[ )( 2 1 0 0 2 0 2 0 0 22 2 0 0 2 ttc tcx tt ttc txc ttc tcx f f ff ?+ = ? ?+ + ?+ = 2. f t 给定，终端约束 设终端约束为 0)]([]),([ == fff txMttxM (9.20) 式中， q RM ∈ ，即终端状态 )( f tx 可沿规定的边界曲线移动。构造增广泛函 a J 为 ∫ ?+++= f t t T f T fa dtxtuxftuxLtxMvtxJ 0 ]}),,([),,({)]([)]([ &λθ ∫ ?++= f t t T f T f dtxtuxHtxMvtx 0 ]),,,([)]([)]([ &λλθ (9.21) 式中， q Rv∈ 。 对增广泛函 a J 取一阶变分并令其为零， 经过与上面类似的推导， 得 0])()()[( )( 0 = ∫ ? ? ? + ? ? ++ ? ? + ? ? ? ? ? ? ? ? ? + ? ? = = f f t t TTT tt T T a dtx H u u H x x H xv x M x J δλ λ δδλ δλ θ δ & & (9.22) 由于上式中 )x( f tδ ， xδ ， uδ 和 δλ都是任意的，并且相互独立，所以增广性能 指标泛函 a J 的一阶变分为零，即最优控制问题（9.7），（9.8）取极值的必 要条件为 正则方程 状态方程 λ λ ? ? = ),,,( tuxH x& (9.23) 伴随方程 x tuxH ? ? ?= ),,,( λ λ & (9.24) 控制方程 0 ),,,( = ? ? u tuxH λ (9.25) 边界条件 00 )( xtx = 0)]([ = f txM (9.26) 横截条件 f tt T f v x xM x x t = ? ? + ? ? = ]) )( ( )( [)( θ λ (9.27) 例 9.2 已知系统的状态方程为 )()( 21 txtx =& )()()( 22 tutxtx +?=& 初始条件为 0)0( 1 =x 0)0( 2 =x 终端约束条件为 15)2(5)2( 21 =+ xx 求最优控制 )(* tu ，使性能指标 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 5 ∫ +?+?= 2 0 22 2 2 1 )( 2 1 ]2)2([ 2 1 ]5)2([ 2 1 dttuxxJ 为最小。 解 本题为 f t 给定、 终端受约束的最优控制问题。 由于控制变量不受约束， 所以可以用变分法求解。构造哈密顿函数为 uxuH 2221 2 )( 2 1 λλλ +?+= 2 2 2 1 ]2)2([ 2 1 ]5)2([ 2 1 ?+?= xxθ 015)2(5)2( 21 =?+= xxM 由于 λ? ? = H x& ， )()( 21 txtx =& ， )()()( 22 tutxtx +?=& 0 1 1 = ? ? ?= x H λ & ， 11 )( ct =λ 12 2 2 λλλ ?= ? ? ?= x H & ， 122 )( cect t +=λ 0 2 =+= ? ? λu u H ， 122 )()( cecttu t ??=?= λ 所以 1232 2 1 )( cecectx tt ??= ? 41231 2 1 )( ctcecectx tt +???= ? 由初始条件 0)0( 1 =x ， 0)0( 2 =x ，得 05.0 432 =+?? ccc 05.0 321 =+?? ccc 因为 41 2 2 2 31 2 2 1 )2( ccececx +???= ? 1 2 2 2 32 2 1 )2( cececx ??= ? 由横截条件得 )( )()( )( 11 1 f ff f tv tx M tx t ? ? + ? ? = θ λ 111 5)2()2( cvx =+?=λ )( )()( )( 22 2 f ff f tv tx M tx t ? ? + ? ? = θ λ 2 2122 52)2()2( eccvx +=+?=λ 将 )2( 1 x 和 )2( 2 x 代入上式，得 55.03 43 2 2 2 1 =++??? ? vccecec 255.12 3 2 2 2 1 =++?? ? vcecec 求解以 vcccc 和 4321 ,,, 作为未知数的联立方程组 05.0 432 =+?? ccc 05.0 321 =+?? ccc 15437 43 2 2 2 1 =++?? ? ccecec 55.03 43 2 2 2 1 =++??? ? vccecec 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 6 255.12 3 2 2 2 1 =++?? ? vcecec 可得 73.0 1 ?=c ， 13.0 2 ?=c 。则所求最优控制为 )18.01(73.03.173.0)(* tt eetu +=+= 3. f t 自由，终端约束 设终端约束为式（9.20）。同样构造增广泛函 a J 为 ∫ ?++= f t t T ff T ffa dtxtuxHttxMvttxJ 0 ]),,,([]),([]),([ &λλθ (9.28) 将式 （9.28） 与式 （9.21） 比较可以看出， 式 （9.28） 除了 f t 自由外， 与式 （9.21） 完全相同，因而所推导出的结果除了因 f tδ 是任意的而增 加一个终端边界条件 方程外，其余结果完全相同。最优控制问题（9.7），（9.8）取极值的必要条 件为 正则方程 状态方程 λ λ ? ? = ),,,( tuxH x& (9.29) 伴随方程 x tuxH ? ? ?= ),,,( λ λ & (9.30) 控制方程 0 ),,,( = ? ? u tuxH λ (9.31) 边界条件与横截条件 00 )( xtx = 0]),([ = ff ttxM (9.32) f tt T f v x M x t = ? ? + ? ? = ])([)( θ λ (9.33) 0]),,,([ = ? ? + ? ? + = f tt T t M v t tuxH θ λ (9.34) 例 9.3 已知系统的状态方程为 )()( tutx =& 初始条件为 0 )0( xx = ，终端时刻 f t 自由，终端约束条件为 0 )( ctx f = （常数）， 求最优控制 )(* tu 和 )(* tx ，使性能指标 ∫ += f t dtxxJ 0 22 )( & 为最小。 解 本题为 f t 自由、终端受约束的可动边界最优控制问题。由于控制变量 不受约束，所以可以用变分法求解。构造哈密顿函数为 uuxuxxtuxH λλλ ++=++= 2222 ),,,( & 伴随方程为 x2?=λ & 控制方程为 02 =+λu 由伴随方程和控制方程得 ux &= 代入状态方程得 xx =& 解上面的二阶微分方程得 tt ececx 21 += ? 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 7 因此 tt ececxdtu 21 +?== ? ∫ tt ececx 21 222 ??=?= ? λ & 积分得 tt ecec 21 22 ?= ? λ 代入边界条件与横截条件，得 021 ccc =+ 0 21 =cc 解得 0 1 =c ， 02 cc = ，或者 0 2 =c ， 01 cc = 。于是，最优控制和最优状态轨 线为 ? ? ? >? < = ? 000 000 , , )(* cxex cxex tu t t ? ? ? > < = ? 000 000 , , )(* cxex cxex tx t t 表9.1 不同终端状态边界条件下的边界条件与横截条件 终端时刻 终端状态 边界条件与横截条件 终端固定 0)( =?= ff xtxM 00 )( xtx = 终端自由 00 )( xtx = )( )( f f tx t ? ? = θ λ 终端部分固定、 部 分自由 （ )( 1 f tx 固 定、 )( 2 f tx 自由） 00 )( xtx = ff xtx 11 )( = )( )( 2 2 f f tx t ? ? = θ λ f t 给定 终端约束 00 )( xtx = 0)]([ = f txM f t T f v x M x t ])([)( ? ? + ? ? = θ λ 终端固定 00 )( xtx = ff xtx =)( f f t tH ? ? ?= θ )( f t 自由 终端自由 00 )( xtx = )( )( f f tx t ? ? = θ λ f f t tH ? ? ?= θ )( 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 8 终端约束 00 )( xtx = 0]),([ = ff ttxM f t T f v x M x t ])([)( ? ? + ? ? = θ λ f t T f t M v t tH ][)( ? ? + ? ? ?= θ 9.4 极小值原理 控制变量 )(tu 受到限制时的最优控制问题，通常称为有约束最优控制问 题。对于有约束最优控制问题，不能应用变分法求解，而需要采用本节所介绍 的极小值原理求解。 9.4.1 连续系统的极小值原理 设系统的状态方程为 ]),(),([)( ttutxftx =& 00 )( xtx = （ 9.35） 式中， n Rx∈ ； p Ru ∈?∈ ； ?为有界闭集。不等式约束为 0]),(),([ ≥ttutxG （ 9.36） 其中， G为 m维连续可微向量函数， pm≤ 。系统从初始状态 0 x 转移到终端状 态 )( f tx ，要求终端状态 )( f tx 满足等式约束 0]),([ = ff ttxM （ 9.37） 其中， M 为 q维连续可微向量函数， nq ≤ 。性能指标为 ∫ += f t t ff dtttutxLttxJ 0 ]),(),([]),([θ (9.38) 最优控制问题就是寻找最优容许控制 )(tu ，使目标函数 J 最小。 为了将不等式约束问题转化为等式约束问题，引入两个新的向量： 1）引入一个新的 p维控制变量 )(tω )()( tut =ω& ， 0)( 0 =tω （ 9.39） 这样， 就可以容许 )(tu 不连续。 因为当 )(tu 不连续时， )(tω 也是连续的。 而当 )(tu 是分段连续函数时， )(tω 也是分段光滑连续函数。 2）引入另一个新的 m维控制变量 )(tz ]),(),([)]([ 2 ttutxGtz =& ， 0)( 0 =tz （ 9.40） 由于上式左边恒为非负，所以满足 G是非负的要求。 通过以上变换，将上述有不等式约束的最优控制问题，转化为了下列具有 等式约束的条件极值问题，通常称为波尔扎（ Bolza）问题： 系统的状态方程为 ]),(),([)( tttxftx ω&& = （ 9.41） ]),(),([)]([ 2 tttxGtz ω&& = （ 9.42） 00 )( xtx = ， 0)( 0 =tz ， 0)( 0 =tω 终端时刻 f t 未给定，终端状态约束为 0]),([ = ff ttxM （ 9.43） 要求确定最优控制 )(tω& ，使性能指标 ∫ += f t t ff dttttxLttxJ 0 ]),(),([]),([ ωθ & (9.44) 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 9 为极小。 引入拉格朗日乘子向量 λ 及 Γ，写出增广性能指标泛函为 ∫ ?Γ+?+++= f t t TT ff T ffa dtztxGxtxftxLttxMvttxJ 0 ]}),,([]),,([],,[{]),([]),([ 2 &&&&& ωωλωθ ∫ ?Γ+?++= f t t TT ff T ff dtztxGxtxHttxMvttx 0 ]}),,([],,,[{]),([]),([ 2 &&&& ωλλωθ (9.45) 式中，哈密顿函数 ),,,( txH λω& 定义为 ),,(),,(),,,( txftxLtxH T ωλωλω &&& += （ 9.46） 为了简化问题，定义拉格朗日标量函数 Φ 为 ]),,([),,,(),,,,,,( 2 ztxGxtxHtzxx TT &&&&&&& ?Γ+?=ΓΦ ωλλωλω （9.47） 于是， a J 可以写成 ∫ ΓΦ++= f t t ff T ffa dttzxxttxMvttxJ 0 ),,,,,,(]),([]),([ λωθ &&& （9.48） 对 a J 取一阶变分，得 ∫ ? Φ? + ? Φ? + ? Φ? + ? Φ? + ? ? + ? ? + ? ? + ? ? +Φ= == f ff t t TTTT f tt TT f tt T a dtz z x x x x tx x M v x t t M v t J * * 0 ** ])()()()[( )(])[(][ & & & & & & δωδ ω δδ δ θ δ θ δ （9.49） 式中， * f t 为最优终端时刻。对上式积分项中的后三项分别进行分部积分，并利 用关系式 ffff ttxtxtx δ)()()( * &+=δδ （ 9.50） 可得 ∫ ? Φ? ? ? Φ? ? ? Φ? ? ? Φ? + ? Φ? + ? Φ? + ? Φ? + ? ? + ? ? + ? ? + ? ? + ? Φ? ?Φ= == = * 0 ** * ]δ)()(δ)[( ]δ)(δ)[()(δ])([ δ][ * f ff f t t TTT tt TT f T tt T f tt TT a dtz zdt d dt d x xdt d x z z tx x v x M x t t M v tx xJ &&& &&& & & δω ω ω ω θ θ δ （9.51） 根据泛函取极值的必要条件，应有 0= a Jδ 。由于式（9.51）中 f tδ ， )( * f txδ ， xδ ， δω 和 zδ 都是任意的，并 且相互独立，所以增广性能指标泛函 a J 取极值 的必要条件为 0= ? Φ? ? ? Φ? xdt d x & （ 9.52） 0= ? Φ? ω&dt d ， 0= ? Φ? zdt d & （ 9.53） 0])([ * = ? ? + ? ? + ? Φ? ?Φ = f tt TT t M v t x x θ & & （ 9.54） 0])([ * = ? Φ? + ? ? + ? ? = f tt T x v x M x & θ （ 9.55） 0)( * = ? Φ? = f tt ω& ， 0)( * = ? Φ? = f tt z& （ 9.56） 由式（9.47）得 Γ ? ? + ? ? = ? Φ? T x G x H x )( 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 10 λ?= ? Φ? x& 代入式（9.52），得 Γ ? ? + ? ? =? T x G x H dt d )( λ 即 Γ ? ? ? ? ? ?= T x G x H )(λ & （ 9.57） 若不等式约束函数 G内不含 x，即为 0]),([ ≥ttuG （ 9.58） 则由于 0≡ ? ? x G ，由式（ 9.57）得 x H ? ? ?=λ & （ 9.59） 由式（ 9.54）和（ 9.55），并注意到 λ?= ? Φ? x& ，可计算出 * f tt = 时的 H 及 λ 值 * ][)( * f tt T f t M v t tH = ? ? ? ? ? ?= θ （ 9.60） * ])([)( * f tt T f v x M x t = ? ? + ? ? = θ λ （ 9.61） 当系统在最优控制 )( * tu 作用下，沿最优轨迹 )( * tx 进行状态转移时的 f t 即是最 优时刻 * f t ，略去式（ 9.60）和（ 9.61）中的符号（ *），即得横截条件为 0])(),,,([ = ? ? + ? ? + = f tt T v t M t tuxH θ λ （ 9.62） f tt T f v x M x t = ? ? + ? ? = ])([)( θ λ （ 9.63） 式（ 9.53）表明，在最优轨线上， ω&? Φ? 和 z&? Φ? 都为常数。又由式（9.56）可知， 该常数为零，所以，沿最优轨迹 ω&? Φ? = 0≡ ? Φ? z& （ 9.64） 由于 Φ中包含 x&， ω&和 z&，若将极值曲线上的 x&， ω&和 z&，分别用 * x&， * ω& 和 * z& 表示，则式（ 9.64）可以写成 0 ** ≡ ? Φ? = ? Φ? z&&ω （ 9.65） 上面得到了使性能指标 a J 取极值的必 要条件。为了使性能指标取极值， 还必须满足充分条件：维尔斯特拉斯函数 E 沿最优轨线为非负，即 )()(),,,,,,(),,,,,,( * * ******* ** xx x tzxxtzxxE T && & &&&&&& ? ? Φ? ?ΓΦ?ΓΦ= λωλω ******** **** ),,,,,,(),,,,,,( xtzxxxtzxx TT &&&&&&&& λλωλλω ?ΓΦ?+ΓΦ= 0),,,(),,,( ***** ≥?= txHtxH λωλω && （ 9.66） 以 )()( tut =ω& ， )()( ** tut =ω& 代入上式得 ),,,(),,,( ***** tuxHtuxH λλ ≤ （ 9.67） 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 11 将 Φ代入 0= ? Φ? ω& ，得 0)( =Γ ? ? + ? ? T GH ωω && （ 9.68） 注意到 )()( tut =ω& ，则有 Γ ? ? ?= ? ? T u G u H )( （ 9.69） 综上所述，得到下列著名的极小值原理： 极小值原理：设系统的状态方程为 ]),(),([)( ttutxftx =& ， 00 )( xtx = （ 9.70） 控制 )(tu 是有第一类间断点的分段连续函数，属于 p维空间中的有界闭集 ?， 且满足不等式约束 0]),(),([ ≥ttutxG （ 9.71） 在终端时刻 f t 未知的情况下， 为使状态 )(tx 自初始状态 0 x 转移到满足边界条件 0]),([ = ff ttxM （ 9.72） 的终端状态 )( f tx ，并使性能指标 ∫ += f t t ff dtttutxLttxJ 0 ]),(),([]),([θ (9.73) 最小，则最优控制 )( * tu 、最优轨迹 )( * tx 和最优伴随向量 )( * tλ 必须满足下列条 件： 设哈密顿函数为 ),,(),,(),,,( tuxftuxLtuxH T λλ += （ 9.74） （ 1）沿最优轨线满足正则方程 λ? ? = H x& （ 9.75） Γ ? ? ? ? ? ?= T x G x H )(λ & （ 9.76） 式中， Γ是与时间 t 无关的拉格朗日 乘子向量，其维数与不等式约束函数 G相 同。若 G内不含 x，则有 0]),([ ≥ttuG （ 9.77） x H ? ? ?=λ & （ 9.78） （ 2）横截条件和边界条件 f tt T f v x M x t = ? ? + ? ? = ])([)( θ λ （ 9.79） 0])(),,,([ = ? ? + ? ? + = f tt T v t M t tuxH θ λ （ 9.80） 00 )( xtx = 0]),([ = ff ttxM （ 9.81） （ 3）在最优轨迹 )( * tx 上，与最优控制 )( * tu 相对应的 H 函数取绝对极小值， 即 ),,,(min),,,( ***** tuxHtuxH u λλ ?∈ = （ 9.82） 或者写成 ),,,(),,,( ***** tuxHtuxH u λλ ?∈ ≤ （ 9.83） 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 12 并且，沿最优轨线有下式成立 Γ ? ? ?= ? ? T u G u H )( （ 9.84） 上述极小值原理也称为极大值原理，这是由于在某些工程问题中是要求使 性能指标为极大。这时，只 要将哈密顿函数 H 中的 L改为 L? ，伴随向量 λ 改 变符号，并使 H 为极大，那么极小值原理就变为了极大值原理。 例 9.4 已知系统的状态方程为 )()()( tbutAxtx +=& 其中， ? ? ? ? ? ? = 00 10 A ， ? ? ? ? ? ? = 1 0 b 初始状态 )( 0 tx 和终端状态 )( f tx 分别为 ? ? ? ? ? ? == 20 10 00 )( x x xtx ， ? ? ? ? ? ? = ? ? ? ? ? ? = 0 0 )( 2 1 f f f x x tx 并且，控制量 )(tu 受到下列不等式的约束 1)(1 ≤≤? tu 。求最优控制 )(* tu ，使系 统从初始状态转移到终端状态的时间最短。 解 根据题意可知，这是一个最短时间的最优控制问题，因此，系统的性 能指标为 0 0 ttdtJ f t t f ?== ∫ 构造哈密顿函数为 )]()()[(1 tbutAxtH T ++= λ 式中 [])()()( 21 ttt T λλλ = 伴随方程为 ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? ?=?= ? ? ?= )( 0 )( )( 01 00 )()( 12 1 tt t tA x H t T λλ λ λλ & 即 0)( 1 =tλ & )()( 2 tt λλ ?= & 解得 11 c=λ 212 ctc +?=λ 式中， 1 c 和 2 c 为待定常数。 由于 )(tu 是受约束的，所以需要应用极小值原理求解。哈密顿函数为 )()()()(1)]()()[(1 221 tuttxttbutAxtH T λλλ ++=++= 从上式可见，由于 1)( ≤tu ，当 1)( =tu 并且 )(tu 的符号与 )( 2 tλ 相反时，可使 H 为最小，所以最优控制为 1)](sgn[)(* 2 ±=?= ttu λ 当 1)( ?=tu 时，状态方程为 )()( 21 txtx =& 1)( 2 ?=tx& 其解为 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 13 1020 2 1 2 1 )( xtxttx ++?= 202 )( xttx +?= 在相平面上的最优轨迹可用下式描述 ctxtx +?= )( 2 1 )( 2 21 当 1)( =tu 时，状态方程为 )()( 21 txtx =& 1)( 2 =tx& 其解为 202 )( xttx += 1020 2 1 2 1 )( xtxttx ++= 在相平面上的最优轨迹可用下式描述 ctxtx += )( 2 1 )( 2 21 以上分析表明， 1)( ?=tu 和 1)( =tu 时，系统的最优轨迹是两族抛物线，如 图9.1所示。其中，通过坐标原点的两条为 )( 2 1 )( 2 21 txtx = ， 0)( 2 ≤tx ， 1)( =tu )( 2 1 )( 2 21 txtx ?= ， 0)( 2 ≥tx ， 1)( ?=tu 这两条通过坐标原点的抛物线称为开关曲线，如图9.2所示，其方程可以表示 为 )()( 2 1 )( 221 txtxtx ?= 当初始状态在开关曲线之右的 ? R 区域时，将沿 1)( ?=tu 的抛物线转移，到 达开关曲线上的 K 点时，控制量由 1)( ?=tu 切换到 1)( =tu ，系统状态沿开关曲 线转移到坐标原点，如图9.2所示。这样，系统从初始状态转移到终端状态的 时间是最短的。 当初始状态在开关曲线之左的 + R 区域时，将沿 1)( =tu 的抛物线转移，到 达开关曲线时，控制量由 1)( =tu 切换到 1)( ?=tu ，系统状态沿开关曲线转移到 坐标原点。这样，系统从初始状态转移到终端状态的时间也是最短的。 本例的最优控制可以用如图9.3所示的非线性系统实现。其中 22 2 1 xxF = ， 221 2 1 xxxv += 图 9.1 最优轨线族 1 x 2 x 图 9.2 最优轨线 1 x 2 x K ? R + R 0 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 14 9.4.2 离散系统的极小值原理 求解离散系统的最优控制的方法，与上述连续系统的方法相似。下面给出 离散系统极小值原理与连续系统极小值原理的对应关系，如表 9.2 所示。 表 9.2 离散系统与连续系统极小值原理的对应表 连续系统极小值原理 离散系统极小值原理 系统 ]),(),([)( ttutxftx =& 00 )( xtx = ]),(),([)1( kkukxfkx =+ 0 )0( xx = ； Nk ,,1,0 Λ= 性能指标 ∫ + = f t t ff dtttutxL ttxJ 0 ]),(),([ ]),([θ ∑ ? = += 1 0 ]),(),([]),([ N k kkukxLNNxJ θ 极值问题 求 )( * tu ，使 min=J 求 )( * ku ， 1,,1,0 ?= Nk Λ 使 min=J 方法特点 引入伴随向量 )(tλ 引入伴随向量序列 )(kλ Nk ,,1,0 Λ= 哈密顿函数 ),,(),,,( tuxLtuxH =λ ),,( tuxf T λ+ )),(),(()1( )),(),(()( kkukxfk kkukxLkH T ++ = λ 1,,1,0 ?= Nk Λ 正则方程 λ? ? = H x& x H ? ? ?=λ & )1( )( )1( +? ? =+ k kH kx λ )( )( )( kx kH k ? ? =λ 1,,1,0 ?= Nk Λ 极值条件 （控制无约束） 0= ? ? u H 0 )( )( = ? ? ku kH 1,,1,0 ?= Nk Λ 极值条件 （控制有约束） ),,,(min ),,,( ** *** tuxH tuxH λ λ ? = )),1(),(),((min )),1(),(),(( ** *** kkkukxH kkkukxH += + ? λ λ 横截条件 （终端自由， 终端 时间给定） )( )( f f tx t ? ? = θ λ 0]),([ = ff ttxθ 时， 0)( = f tλ )( )( Nx N ? ? = θ λ 0]),([ =NNxθ 时， 0)( =Nλ 例 9.5 已知离散系统的状态方程为 图 9.3 非线性最优控制系统 s 1 s 1 v 1 x u 2 x )( 2 xF 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 15 )( 1.0 0 )( 10 1.01 )1( kukxkx ? ? ? ? ? ? + ? ? ? ? ? ? =+ 边界条件为 ? ? ? ? ? ? = ? ? ? ? ? ? = 0 1 )0( )0( )0( 2 1 x x x ， ? ? ? ? ? ? = ? ? ? ? ? ? = 0 0 )2( )2( )2( 2 1 x x x 用离散极小值原理，求最优控制序列 )(* ku 和最优状态序列 )(* kx ，使性能指 标 ∑ = = 1 0 2 )(05.0 k kuJ 为最小。 解 构造离散哈密顿函数为 )]()()1()(05.0 )),(),(()1()),(),(()( 2 kBukAxkku kkukxfkkkukxLkH T T +++= ++= λ λ 伴随方程 )1( )( )( )( += ? ? = kA kx kH k T λλ 控制方程 0)1()(1.0 )( )( =++= ? ? kBku ku kH T λ 所以 [ ] )(11.0)(10)1(10)( kkABkBku TTT λλλ ?=?=+?= ? 上式和伴随方程是两点边值问题的差分方程。 当 0=k 时 )1()0( λλ T A= )1( 1.00 00 0 1 )1(10)0()0(10)0()1( λ λλ ? ? ? ? ? ? ? ? ? ? ? ? ? = ?=?= ? TTT BBAxABBAxx 当 1=k 时 )2()1( λλ T A= ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = ??= ?= ? ? )1(2.001.0 )1(01.01 )1( 2.001.0 01.00 0 1 )1( 1.001.0 00 )1( 1.00 01.00 0 1 )1(10)1(10)0( )1(10)1()2( 21 2 2 λλ λ λ λλ λλ λ TTT TT ABBABBxA ABBAxx 由边界条件 ? ? ? ? ? ? = 0 0 )2(x 得 0)1(01.01 2 =? λ 0)1(2.001.0 21 =? λλ 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 16 解得 2000)1( 1 =λ ， 100)1( 2 =λ ，即 ? ? ? ? ? ? = 100 2000 )1(λ 因此 ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? == 300 2000 100 2000 11.0 01 )1()0( λλ T A ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? ? = 10 1 )1( 1.00 00 0 1 )1( λx [] 100)0(11.0)0( ?=?= λu []100)1(11.0)1( =?= λu 列写结果如下 ? ? ? ? ? ? = 0 1 )0(x ? ? ? ? ? ? ? = 10 1 )1(x ? ? ? ? ? ? = 0 0 )2(x ? ? ? ? ? ? = 300 2000 )0(λ ? ? ? ? ? ? = 100 2000 )1(λ 100)0( ?=u 100)1( =u 9.5 线性二次型最优控制 在最优控制问题中，若系统是线性的，且性能指 标为二次型函数，则称 为线性二次型调节器问题，简称LQR (Linear Quadratic Regulator) 问题。 9.5.1 线性二次型最优控制问题 设线性系统 )()()()()( tutBtxtAtx +=& , 00 )( xtx = (9.85) 是状态完全能控的。 最优控制的性能指标为状态向量和控制向量的二次型函数，可以表示为 dttutRtutxtxtQtxtx txtxPtxtxJ T d T t t d fdf T fdf f )}()()()]()()[()]()({[ 2 1 )]()([)]()([ 2 1 0 +??+ ??= ∫ (9.86) 其中， )(tx d （ ],[ 0 f ttt∈ ）表示期望的状态轨迹；加权矩阵 P 和 Q为半正定矩 阵， R 为正定对称矩阵。 9.5.2 线性连续系统有限时间状态调节器 设线性时变系统的状态方程为 )()()()()( tutBtxtAtx +=& ， 00 )( xtx = (9.87) 二次型性能指标为 dttutRtutxtQtxtPxtxJ T t t T f T f f )}()()()()()([ 2 1 )()( 2 1 0 ++= ∫ (9.88) 上述最优控制问题称为有限时间状态调节器问题，可以用极小值原理求解。 构造哈密顿函数为 )]()()()()[()()()( 2 1 )()()( 2 1 ),,,( tutBtxtAttutRtutxtQtxtuxH TTT +++= λλ 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 17 (9.89) 由此得正则方程 )()()()()( tutBtxtA H tx += ? ? = λ & (9.90) )()()()()( ttAtxtQ x H t T λλ ??= ? ? ?= & (9.91) 由于控制 )(tu 不受约束，因此满足控制方程 0)()()()( =+= ? ? ttBtutR u H T λ (9.92) 由式（9.92）得 )()()()(* 1 ttBtRtu T λ ? ?= (9.93) 由于 0)( 2 2 >= ? ? tR u H ，所以， J 取得极小值。将式（9.93）代入正则方程，得 )()()()()()()( 1 ttBtRtBtxtAtx T λ ? ?=& (9.94) )()()()()( ttAtxtQt T λλ ??= & (9.95) 这是一阶线性微分方程组，其边界条件和横截条件为 00 )( xtx = (9.96) )()]()( 2 1 [ )( )( fff T f f tPxtPxtx tx t = ? ? =λ (9.97) 由于横截条件中 )( f tx 与 )( f tλ 存在线性关系，且正则方程又是线性的，因此， 可以假设在任何时刻 ],[ 0 f ttt∈ ， )(tx 与 )(tλ 均可能存在线性关系 )()()( txtKt =λ (9.98) 式中， )(tK 为待定的 nn× 矩阵。对上式求导，得 )()()()()( txtKtxtKt & && +=λ (9.99) 将式(9.94)和式（9.98）代入式（9.99），得 )()]()()()()()()()([)( 1 txtKtBtRtBtKtAtKtKt T? ?+= && λ (9.100) 将式（9.98）代入式（9.95），得 )()]()()([)( txtKtAtQt T ??=λ & (9.101) 由式（9.100）和式（9.101）可得 )()]()()([ txtKtAtQ T ?? )()]()()()()()()()([ 1 txtKtBtRtBtKtAtKtK T? ?+= & (9.102) 上式应对任何 )(tx 成立，所以，有 )()()( tKtAtQ T ?? )()()()()()()()( 1 tKtBtRtBtKtAtKtK T? ?+= & 即 )()()()()()()()()()()( 1 tQtKtBtRtBtKtKtAtAtKtK TT ?+??= ? & (9.103) 式 （9.103） 称为矩阵黎卡提(Riccati)方程， 是一个一阶非线性矩阵微分方程。 比较式(9.97)与式(9.98)，可知式(9.103)的边界条件为 PtK f =)( (9.104) 可以证明，满足式(9.103)和(9.104)的 )(tK ，对所有 ],[ 0 f ttt∈ 是对称的，即 )()( tKtK T = (9.105) 由黎卡提方程（9.103）解出 )(tK 后，代入式（9.98）和（9.93）可得最优控 制规律为 )()()()()(* 1 txtKtBtRtu T? ?= (9.106) 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 18 将式(9.106)代入式(9.87)得 )()]()()()()([)( 1 txtKtBtRtBtAtx T? ?=& ， 00 )( xtx = (9.107) 可见，最优状态 )(* tx 是线性微分方程(9.107)的解。 可以证明，若最优控制问题的最优解存在，则最优控制是唯一的，并且由 式(9.106) 确定。将最优控制 )(* tu 及最优状态 )(* tx 代入性能指标函数，可得 性能指标的最小值为 )()()( 2 1 * 000 txtKtxJ T = (9.108) 综上所述，可以得到下列定理： 定理 已知线性时变系统的状态方程为 )()()()()( tutBtxtAtx +=& ， 00 )( xtx = 二次型性能指标为 dttutRtutxtQtxtPxtxJ T t t T f T f f )}()()()()()([ 2 1 )()( 2 1 0 ++= ∫ 式中，控制向量 u 不受约束； f t 有限；加权矩阵 P 和 Q为半正定矩阵； R 为正 定对称矩阵，则最优控制 )(* tu 存在且唯一，并由下式确定 )()()()()(* 1 txtKtBtRtu T? ?= 其中，对称矩阵 )(tK 是下列黎卡提方程的唯一解 )()()()()()()()()()()( 1 tQtKtBtRtBtKtKtAtAtKtK TT ?+??= ? & PtK f =)( 而最优状态 )(* tx 则是下列线性微分方程的解 )()]()()()()([)( 1 txtKtBtRtBtAtx T? ?=& ， 00 )( xtx = 性能指标的最小值为 )()()( 2 1 * 000 txtKtxJ T = 在这里对上述结果作几点说明： 1）最优控制律是一个线性状态反馈，所以，可以方便地实现闭环最优控制。 2）只要控制时间 ],[ 0 f tt 是有限的， )(tK 就是时变的，最优控制系统则为线 性时变系统。 即使系统的状态方程和性能指标都是定常的， 即 )(tA ， )(tB ， )(tQ 和 )(tR 都是常值矩阵，求出的最优控制系统也是线性时变的。 3）由于 )(tK 是非线性微分方程的解，一般情况下很难求出解析 解，需用计 算机求出数值解。由于其边界条件在终端处，所以需要逆时间方向求解，并且 必须在过程开始之前将 )(tK 解出，存入计算机以供控制过程中使用。由于黎卡 提方程与状态变量和控制变量无关，所以，对于定常系统可以预先求出 )(tK 。 4）注意到，在连续系统 有限时间状态调节器问题中，没有要求系统可控。 事实上，当控制时间 ],[ 0 f tt 是有限时，状态调节器最优解的存在不要求系统可 控。这是因为所采用的性能指标 (9.88)是为了保持系统的状态 )(tx 接近于零状 态，当控制时间 ],[ 0 f tt 是有限时，即使系统是不可控的，不可控状态对性能指 标的影响也是有限的，在 ],[ 0 f tt 区间中，性能指标不至于变为无穷，所以最优 控制存在。如果 ∞→ f t ，则只有当系统可控时，状态调节器才存在最优解。 例9.6 设被控系统为 )()()( tButAxtx +=& ， 00 )( xtx = 性能指标为 dttRututQxtxJ T t t T f )}()()()([ 2 1 0 += ∫ 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 19 其中 ? ? ? ? ? ? = 00 10 A ， ? ? ? ? ? ? = 1 0 B ， ? ? ? ? ? ? = 00 01 Q ， 1=R 求系统的最优控制律。 解 设正定对称矩阵 ? ? ? ? ? ? = )()( )()( )( 2212 1211 tktk tktk tK 满足下列黎卡提矩阵微分方程： )()()()()()()()()()()( 1 tQtKtBtRtBtKtKtAtAtKtK TT ?+??= ? & [] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? + ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?= ? ? ? ? ? ? ? ? 00 01 10 1 0 01 00 00 10 2212 1211 2212 1211 2212 1211 2212 1211 2212 1211 kk kk kk kk kk kk kk kk kk kk && && 即 ? ? ? ? ? ? ? ? +?+? +?? = ? ? ? ? ? ? ? ? 2 2212221211 221211 2 12 2212 1211 2 1 kkkkk kkkk kk kk && && 得到下列线性代数方程组： 1 2 1211 ?= kk & 22121112 kkkk +?= & 2 221222 2 kkk +?= & 终端边界条件为 0)( == PtK f ，利用计算机解上述微分方程，可以得到从 0=t 到 f tt = 的 )(tK 的值，从而得到最优控制为 [] )()()()( )( )( )()( )()( 10)(* 222112 2 1 2212 1211 txtktxtk tx tx tktk tktk tu ??= ? ? ? ? ? ? ? ? ? ? ? ? ?= 由于状态反馈系数是时变的，所以在设计 最优控制系统时需要先求出 )( 12 tk 和 )( 22 tk 的值，并存储在计算机中，在控制 时再取出所需要的 )( 12 tk 和 )( 22 tk 的值。最优控制系统的结构图如图9.4所示。 图 9.4 最优控制系统结构图 s 1 s 1 )( 1 tx)(tu )( 2 tx 12 k 22 k 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 20 9.5.3 线性连续系统无限时间定常状态调节器 设线性定常系统的状态方程为 )()()( tButAxtx +=& 00 )( xtx = (9.109) 式中， A和 B 分别为 nn× 和 pn× 的常值矩阵。 设系统 {}BA, 完全可控，状态向量 n Rx∈ ，控制向量 )(tu 不受约束，二次 型性能指标为 dttRututQxtxJ T t T )}()()()([ 2 1 0 += ∫ ∞ (9.110) 要求确定最优控制 )(* tu ，使性能指标 J 最小。 上述无限时间定常状态调节器与前面介绍的有限时间状态调节器相比，有 以下几点区别： 1）系统是定常的，性能指标中的加权矩阵是常值矩阵。 2）终端时刻 ∞→ f t 。在前面的讨论中已知，当控制时间 ],[ 0 f tt 是有限的， 即使系统的状态方程和性能指标都是定常的， 求出的最优控制系统也是线性时 变的，使系统的结构变得复杂。在无限时间定常状态调节器中，取终端时刻 ∞→ f t ，是为了得到一个常值反馈矩阵 K 。 3）终值加权矩阵 0=P ，即没有终端性能要求。这是因为当 ∞→ f t ，终端 性能将失去工程意义。 4） 要求系统完全可控， 是为了保证最优系统的稳定性。 当控制区间无限时， 如果系统不完全可控，则不论采用何种控制，性能指标有可能趋于无穷大，无 法比较控制性能的优劣，从而无法确定最优控制。 注意到上述几点区别后，就可 以按照有限时间状态调节器的方法进行推 导。 定理 设线性定常系统 )()()( tButAxtx +=& ， 00 )( xtx = 是完全可控的，二次型性能指标为 dttRututQxtxJ T t T )}()()()([ 2 1 0 += ∫ ∞ 其中，控制向量 u 不受约束，加权矩阵 Q和 R 是常值矩阵， Q为半正定对称矩 阵， R 为正定对称矩阵，则最优控制 )(* tu 存在且唯一，并由下式确定 )()(* 1 tKxBRtu T? ?= 其中， K 为正定对称矩阵，是下列黎卡提矩阵代数方程的唯一解 0 1 =+?+ ? QKBKBRKAKA TT 而最优状态 )(* tx 则是下列线性微分方程的解 )(][)( 1 txKBBRAtx T? ?=& ， 00 )( xtx = 性能指标的最小值为 )()( 2 1 * 00 tKxtxJ T = 例9.7 在最优控制问题（9.109），（9.110）中，设 ? ? ? ? ? ? = 00 10 A ， ? ? ? ? ? ? = 1 0 B ， ? ? ? ? ? ? = 20 01 Q ， 1=R 确定最优控制。 解 系统可控性判别矩阵为 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 21 [] nrankABBrank == ? ? ? ? ? ? = 2 01 10 所以，系统完全可控。容易看出， Q和 R 均为正定对称矩阵。 设矩阵 K 为 ? ? ? ? ? ? = 2212 1211 kk kk K 由矩阵 K 是正定的要求得 0 11 >k 0 2 122211 >?kkk 即 0 11 >k , 0 22 >k 。 将 K 代入黎卡提矩阵代数方程，得 0 1 =+?+ ? QKBKBRKAKA TT [] ? ? ? ? ? ? = ? ? ? ? ? ? + ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? + ? ? ? ? ? ? ? ? ? ? ? ? 00 00 20 01 10 1 0 01 00 00 10 2212 1211 2212 1211 2212 1211 2212 1211 kk kk kk kk kk kk kk kk 即 ? ? ? ? ? ? = ? ? ? ? ? ? ? ? +?? ?+? 00 00 22 1 2 2212221211 221211 2 12 kkkkk kkkk 于是得到下列线性代数方程组 01 2 12 =+?k 0 221211 =? kkk 022 2 2212 =+?kk 解线性代数方程组，并考虑 K 正定的条件，得 1 12 =k ， 2 11 =k ， 2 22 =k ，因 此 ? ? ? ? ? ? = 21 12 K 系统的最优控制为 [] )(2)( )( )( 21 12 10)()(* 21 2 11 txtx tx tx tKxBRtu T ??= ? ? ? ? ? ? ? ? ? ? ? ? ?=?= ? 9.5.4 线性离散系统状态调节器 设线性离散系统的状态方程为 )()()()()1( kukBkxkAkx +=+ ； 1,,1,0 ?= Nk Λ (9.111) 00 )( xtx = 下面分别讨论有限时间和无限 时间两种情况下的线性离散系统的状态调 节器。 1. 有限时间状态调节器 对于有限时间状态调节器，二次型性能指标为 ∑ ? = ++= 1 0 )]()()()()()([ 2 1 )()( 2 1 N k TTT kukRkukxkQkxNPxNxJ (9.112) 式中， )(ku 不受约束；要求最优控制序列 )(* ku )1,,1,0( ?= Nk Λ ，使性能指标 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 22 J 为最小。 上述最优控制问题可以用极小值原理求解。构造哈密顿函数为 )]()()()()[1()()()( 2 1 )()()( 2 1 ),,,( kukBkxkAkkukRkukxkQkxkuxH TTT ++++= λλ )1,,1,0( ?= Nk Λ (9.113) 由此可得正则方程为 )()()()( )1( )( )1( kukBkxkA k kH kx += +? ? =+ λ (9.114) )1()()()( )( )( )( ++= ? ? ?= kkAkxkQ kx kH k T λλ (9.115) 终端性能指标为 )()( 2 1 ]),([ NPxNxNNx T =θ (9.116) 因此，边界条件和横截条件为 0 )0( xx = (9.117) )()]()( 2 1 [ )( )( NPxNPxNx Nx N T = ? ? =λ (9.118) 控制 )(tu 不受约束，满足控制方程 0)1()()()( )( )( =++= ? ? kkBkukR ku kH T λ (9.119) 由此可得 )1()()()(* 1 +?= ? kkBkRku T λ (9.120) 由于横截条件中 )(Nx 与 )(Nλ 存在线性关系，且 正则方程又是线性的，因 此可以假设在任何时刻， )(kx 与 )(kλ 存在线性关系 )()()( kxkKk =λ ， 1,,1,0 ?= Nk Λ (9.121) 式中， )(kK 为待定的 nn× 矩阵。 将式(9.120)和（9.121）代入正则方程（9.114）和式（9.115），可得 )1()()()()()()1( 1 +?=+ ? kkBkRkBkxkAkx T λ )1()1()()()()()( 1 ++?= ? kxkKkBkRkBkxkA T (9.122) )1()()()()()()( ++== kkAkxkQkxkKk T λλ )1()1()()()( +++= kxkKkAkxkQ T (9.123) 从方程(9.122)和（9.123）中消去 )1( +kx ，并与（9.121）比较，得 )()()]1()()()()[1()()()()()( 11 kxkAkKkBkRkBIkKkAkxkQkxkK TT ?? ++++= (9.124) 上式应对任何 )(kx 成立，所以， )(kK 应该满足方程 )()]1()()()()[1()()()( 11 kAkKkBkRkBIkKkAkQkK TT ?? ++++= 即 )()]()()()1()[()()( 111 kAkBkRkBkKkAkQkK TT ??? +++= (9.125) 并满足终端条件 PNK =)( (9.126) 式（9.125 ）称为矩阵黎卡 提差分方程。逆时间方向求解黎卡提差分方程，可 以确定最优增益矩阵序列 )(kK 。确定了 )(kK 以后，利用式(9.123)可得 )()]()()[()1( kxkQkKkAk T ?=+ ? λ (9.127) 因此，最优控制规律为 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 23 )()]()()[()()()(* 1 kxkQkKkAkBkRku TT ??= ?? ； )1,,1,0( ?= Nk Λ (9.128) 将式(9.128)代入式(9.111)得 ] )()]()()[()()()()([)1( 1 kxkQkKkAkBkRkBkAkx TT ??=+ ?? ， 0 )0( xx = (9.129) 因此，最优状态 )(* tx 是线性差分方程(9.129)的解。 可以证明，若最优控制问题的最 优解存在，则最优控制 )(* ku 是唯一的， 并且由式 (9.128)确定。将最优控制 )(* ku 及最优状态 )(* kx 代入性能指标函 数，可得性能指标的最小值为 )0()0()0( 2 1 * xKxJ T = (9.130) 离散系统状态调节器的结构图如图 9.5 所示。 2. 无限时间状态调节器 对于无限时间状态调节器，（ ∞→N ），性能指标为 ∑ ∞ = += 0 )]()()()([ 2 1 k TT kRukukQxkxJ (9.131) 由于终值时间可能趋于无穷大，因此要求最终状态 )(Nx 应该趋于零状态， 否则，性能指标不会收敛，所以在性能指标中不再包含 )(Nx 。 无限时间线性状态调节器的解，可以由设定 ∞→k 而获得。当 ∞=N ，黎 卡提矩阵 )(kK 成为一个常数矩阵，即 KkK k = ∞→ )(lim (9.132) 因此黎卡提方程可以表示为下列静态黎卡提方程 KABKBBRKBAQKAAK TTTT 1 )( ? +?+= (9.133) 最优控制规律为 )()()(* 1 kxQKABRku TT ??= ?? (9.134) 最优性能指标为 )0()0( 2 1 * KxxJ T = ∞ (9.135) 例 9.8 设线性离散系统的状态方程为 )()()1( kukxkx +=+ ， 1,,1,0 ?= Nk Λ 初始条件为 )0(x ， )(ku 不受约束。性能指标为 ∑ ? = += 1 0 22 )( 2 1 )( 2 1 N k kuNcxJ 图 9.5 离散系统状态调节器结构图 1? z )(kB )(kx)(* ku )]()()[()()( 1 kQkKkAkBkR TT ?? ?? )(kA 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 24 求最优控制序列 )(* ku )1,,1,0( ?= Nk Λ ，使性能指标 J 为最小。 解 为简单起见，设 2=N ，即只求解一个 二步问题，因此，其性能指标 为 )1( 2 1 )0( 2 1 )2( 2 1 222 uucxJ ++= 最优控制的参数为 1)( =kA 1)( =kB cP = 0=Q 1=R 由式(9.125)，黎卡提差分方程为 1)1( )1( ]1)1([)( 11 ++ + =++= ?? kK kK kKkK 由于 2=N ， cPK ==)2( ，逆时间方向求解 )(kK ， 1,0=k ，因此得 11)2( )2( )1( + = + = c c K K K 121)1( )1( )0( + = + = c c K K K 由式(9.128)，最优控制规律为 )()()(* kxkKku ?= ； 1,0=k )0( 12 )0()0()0(* x c c xKu + ?=?= 则 )0(*u 作用下的最优状态为 )0( 12 1 )0(*)0()1(* x c c uxx + + =+= 则 )0( 12 )1(* 1 )1(*)1()1(* x c c x c c xKu + ?= + ?=?= )1(*u 作用下的最优状态为 )0( 12 1 )1(*)1(*)2(* x c uxx + =+= 最优性能指标为 )0( )12(2 )0()0( 2 1 * 22 x c c xKJ + == 9.5.5 线性连续系统输出调节器 1. 有限时间输出调节器 设线性时变系统为 )()()()()( tutBtxtAtx +=& ， 00 )( xtx = (9.136a) )()()( txtCty = (9.136b) 对于有限时间输出调节器，二次型性能指标为 ]dttutRtutytQtytPytyJ Tt t T ff T f )()()()()()([ 2 1 )()( 2 1 0 + ∫ += (9.137) 式中，控制 )(tu 不受约束； f t 给定；要求最优控制 )(* tu 使性能指标最小。 为了求解这类问题，可以先转化为等效的状态调节器问题，然 后利用前面 所给出的状态调节器的结果求解最优控制律。 将 )()()( txtCty = 代入性能指标表达式，得 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 25 ]dttutRtutxtCtQtCtx txtPCtCtxJ Tt t TT fff T f T f )()()()()()()()([ 2 1 )()()()( 2 1 0 + ∫ + = (9.138) 与状态调节器问题相比，可以发现其唯一的差别是性能指标中 的加权矩阵 P 和 )(tQ 发生了变化。记新的加权矩阵为 )()( ff T tPCtCP = ， )()()()( tCtQtCtQ T = 于是性能指标为 dttutRtutxtQtxtxPtxJ T t t T ff T f )}()()()()()([ 2 1 )()( 2 1 0 ++= ∫ (9.139) 显然，如果 P 、 )(tQ 为半正定对称矩阵，则可以用状态调节器问题求解。 可以证明， 如果 P 和 )(tQ 是半正定的， 当且仅当系统(9.136)为完全可观时， 矩阵 )()( ff T tPCtCP = 和 )()()()( tCtQtCtQ T = 也是半正定的。 因此，利用状态调节器的结果，可以得到输出调节器的结果。 定理 当且仅当线性时变系统 (9.136)完全可观时，存在唯一的最优控制 )()()()()(* 1 txtKtBtRtu T? ?= (9.140) 其中，增益矩阵 )(tK 为正定对称矩阵，是下列黎卡提矩阵微分方程的唯一解： )()()()()()()()()()()()()( 1 tCtQtCtKtBtRtBtKtKtAtAtKtK TTT ?+??= ? & )()()( ff T f tPCtCtK = (9.141) 而最优状态 )(* tx 则是下列线性微分方程的解： )()]()()()()([)( 1 txtKtBtRtBtAtx T? ?=& ， 00 )( xtx = (9.142) 最优性能指标为 )()()( 2 1 * 000 txtKtxJ T = (9.143) 由式(9.140) 可见，最优输出调节 器仍然是状态反馈，而不是输出反馈， 最优控制律与相应的最优状态调节器相同， 仅仅是 )(tK 应该满足的黎卡提方程 不同。 这是因为系统的可观性保证了能够由系统的输出估计系统的状态。 但是， 由于输出量仅仅反映了状态各分量的线性组合， 不能提供各个状态分量的全部 信息，而最优控制需要全部状态变量信息，所以，最优输出调节器仍然是状态 反馈，而不是输出反馈。 2. 无限时间输出调节器 设线性定常系统为 )()()( tButAxtx +=& ， 00 )( xtx = (9.144a) )()( tCxty = (9.144b) 对于无限时间输出调节器，二次型性能指标为 ]dttRututQytyJ T t T )()()()([ 2 1 0 + ∫ = ∞ (9.145) 要求最优控制 )(* tu ，使性能指标为最小。 定理 当且仅当线性定常系统 (9.144) 完全可控、完全可观时，存在唯一 的最优控制 )()(* 1 tKxBRtu T? ?= (9.146) 其中，增益矩阵 K 为正定对称常值矩阵，是下列黎卡提代数方程的唯一解： 0 1 =+?+ ? QCCKBKBRKAKA TTT (9.147) 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 26 而最优状态 )(* tx 则是下列线性微分方程的解 )(][)( 1 txKBBRAtx T? ?=& ， 00 )( xtx = (9.148) 最优性能指标为 )()( 2 1 * 00 tKxtxJ T = (9.149) 例9.9 设被控系统为 )()()( tButAxtx +=& ， 00 )( xtx = 性能指标为 dttRututQxtxJ T t T )}()()()([ 2 1 0 += ∫ ∞ 其中 ? ? ? ? ? ? = 00 10 A ， ? ? ? ? ? ? = 1 0 B ， [ ]01=C ， 1=Q ， rR = 求最优控制 )(* tu 使性能指标 J 为最小。 解 设正定对称矩阵 ? ? ? ? ? ? = 2212 1211 kk kk K 满足下列黎卡提矩阵代数方程： 0 1 =+?+ ? QCCKBKBRKAKA TTT 即 [] [] ? ? ? ? ? ? = ? ? ? ? ? ? + ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? + ? ? ? ? ? ? ? ? ? ? ? ? 00 00 01 0 1 10 1 1 0 01 00 00 10 2212 1211 2212 1211 2212 1211 2212 1211 kk kk rkk kk kk kk kk kk ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ?? ?+? 00 00 1 2 1 1 1 1 2 2212221211 221211 2 12 k r kkk r k kk r kk r 于是得到下列线性代数方程组： 01 1 2 12 =+? k r 0 1 221211 =? kk r k 0 1 2 2 2212 =? k r k 解线性代数方程组，并考虑 K 正定的条件，得 rk = 12 ， 4 11 4rk = ， rrk 2 22 = ，因此 ? ? ? ? ? ? ? ? = rrr rr K 2 4 4 系统的最优控制为 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 27 [] )](4)([ 1 )( )( 2 4 10 1 )()(* 2 4 1 2 1 4 1 txrtx r tx tx rrr rr r tKxBRtu T +?= ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?=?= ? 9.5.6 线性连续系统输出跟随器 设线性时变系统为 )()()()()( tutBtxtAtx +=& ， 00 )( xtx = (9.150a) )()()( txtCty = (9.150b) 式中，控制 )(tu 不受约束；终端时刻 f t 固定；系统完全可观。 设系统输出理想的轨迹为 )(tz ，寻找最优控制 )(* tu ，使系统的实际输出 )(ty 在给定的区间 ],[ 0 f tt 上，尽可能地逼近理想输出 )(tz ，而又不消耗过多的 能量，这就是输出跟踪问题。 如果定义实际输出 )(ty 与理想输出 )(tz 的误差为 )()()()()()( txtCtztytzte ?=?= (9.151) 则跟踪问题的性能指标应该选择为 dttutRtutetQtetPeteJ T t t T ff T f )}()()()()()([ 2 1 )()( 2 1 0 ++= ∫ (9.152) 求最优控制律 )(* tu ，使性能指标为最小。 下面用极小值原理求解这个最优控制问题。构造哈密顿函数为 )]()()()()[()()()( 2 1 )]()()()[()]()()([ 2 1 ),,,( tutBtxtAttutRtu txtctztQtxtctztuxH TT T +++ ??= λ λ (9.153) 由此得正则方程为 )()()()( )( )( tutBtxtA t H tx += ? ? = λ & (9.154a) )()()]()()()[()( )( )( ttAtxtCtztQtC tx H t TT λλ ??= ? ? ?= & (9.154b) 边界条件和横截条件为 00 )( xtx = ， )]()()([)()( ffff T f tztxtCPtCt ?=λ (9.155) 由于控制 )(tu 不受约束，因此满足控制方程： 0)()()()( )( =+= ? ? ttBtutR tu H T λ (9.156) 由此可得 )()()()(* 1 ttBtRtu T λ ? ?= (9.157) 同样，因为正则方程为线 性方程，横截条件中 )( f tλ 与 )( f tx 及 )( f tz 存在线性 关系，因此，可以假设 )()()()( tgtxtKt ?=λ (9.158) 式中， )(tK 为待定的 nn× 矩阵； )(tg 是与 )(tz 有关的未知函数。对上式求导， 得 )()()()()()( tgtxtKtxtKt && && ?+=λ (9.159) 将式(9.157)和（9.158）代入式（9.154b），则有 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 28 )()()()()()]()()()()([)( 11 tgtBtRtBtxtKtBtRtBtAtx TT ?? +?=& (9.160) 将上式代入式（9.159），则有 )()()()()()( )()]()()()()()()()([)( 1 1 tgtgtBtRtBtK txtKtBtRtBtKtAtKtKt T T & && ?+ ?+= ? ? λ (9.161) 将式(9.158)代入式（9.154），则有 )()()()()()()]()()()()([)( tztQtCtgtAtxtKtAtCtQtCt TTTT ++??=λ & (9.162) 比较式（9.161）和式（9.162）得 )()()()()()()()]()()()()()()()([ 11 tgtgtBtRtBtKtxtKtBtRtBtKtAtKtK TT & & ?+?+ ?? )()()()()()()]()()()()([ tztQtCtgtAtxtKtAtCtQtC TTTT ++??= (9.163) 上式应对任何 )(tx ， )(tz 成立，所以，等式两边对应项应相等，因此有 )()()()()()()()()()()()()( 1 tCtQtCtKtBtRtBtKtKtAtAtKtK TTT ?+??= ? & (9.164) )()()()()]()()()()([)( 1 tztQtBtgtAtBtRtBtKtg TTT ??= ? & (9.165) 比较式(9.158)与式(9.155)，可知上述微分方程的边界条件为 )()()( ff T f tPCtCtK = (9.166) )()()( ff T f tPztCtg = (9.167) 用计算机逆时间求解微分方程 (9.164)~(9.167)，可以求得 )(tK 和 )(tg ，代入 式(9.158)，并利用式(9.157)，可得最优控制为 )]()()()[()()(* 1 tgtxtKtBtRtu T ??= ? (9.168) 最优状态可以由式(9.160)求出，而最优性能指标为 )()()()()()( 2 1 * 000000 ttxtgtxtKtxJ TT φ+?= (9.169) 其中，函数 )(tφ 满足下列微分方程及边界条件 )()()()()()()()( 2 1 )( 1 tgtBtRtBtgtztQtBt TTT ? ??=φ & (9.170) )()()()( fff T f tztKtzt =φ (9.171) 将式(9.164)和(9.166)与式(9.141) 相比较，可以看出两者完全相同，这 说明最优跟随器的反馈结构和最优调节器的反馈结构完全相同， 而与理想输出 )(tz 无关。比较最优轨线满足的方程(9.160)及(9.142)，也可以看出，最优跟 踪闭环系统和最优输出调节器的闭环系统的特征值完全相等， 并且与理想输出 )(tz 的变化律无关 。两者的差别仅在于跟踪系统中多出了一个与 )(tg 有关的输 入项。 式(9.165)是以 )(tz 作为输入的一阶线性微分方程，由于是 非齐次方程并 且需要逆时间求解，所以需要预先知道理想输出 )(tz 的全部信息。在很多实际 工程问题中，这往往做不到。因此，最优跟踪器的应用范围受到了限制。 例9.10 设被控系统为 )()()( tutaxtx +=& ， 0 )0( xx = )()( txty = 式中， a 为常数； )(tu 不受约束。理想输出为 )(tz ，误差为 )()()()()( txtztytzte ?=?= ，求最优控制 )(* tu 使性能指标 dttrutqetfeJ f t f )]()([ 2 1 )( 2 1 2 0 22 + ∫ += 最小。其中， 0≥f ， 0>q ， 0>r 。 自 动 控 制 原 理电 子 教 案 浙 江 工 业 大 学 自 动 化 研 究 所 29 解 黎卡提方程及边界条件为 qak r k qk r kakkak ??=?+??= 2 1 2 & ftk f =)( 其解为 )](2exp[)(1 )](2exp[)( )( f f tt r f r f tt r f r f rtk ?? +? ?? ? ?? +? ?? ?+ = ββα βα βα ββα βα βα βα 式中 r q += 2 αβ 根据式(9.165)和(9.167)，其微分方程及边界条件为 )()(]/)([)( tqztgrtktg ???= α& )()( ff tfztg = 系统的最优控制为 )]()()([ 1 )]()()([)(* 1 tgtxtk r tgtxtKBRtu T ??=??= ? 最优轨线 )(* tx 是下列微分方程的解 )( 1 )()]( 1 [)( tg r txtk r tx +?= α& ， 0 )0( xx =