优化方法理论合集（8）——庞特里亚金最大值原理

1. 问题描述

给出庞特里亚金最大值原理的几个必须条件：

1. 数学模型（柯西形式）：
   $$\{\begin{array}{l}{\dot{x}}_1=f_1\left(t,\vec{x},\vec{u}\right)\\ {\dot{x}}_2=f_2\left(t,\vec{x},\vec{u}\right)\\ ⋮\\ {\dot{x}}_n=f_n\left(t,\vec{x},\vec{u}\right)\end{array}$$其中
   $$\begin{gathered} \vec{x}=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right] \\ \vec{u}=\left[\begin{array}{cccc}{u}_1& u_2& \cdots & u_m\end{array}\right] \end{gathered}$$
2. 时间区间$t\in \left[t_0,t_k\right]$
3. 边界条件
   $$Start=\{\begin{array}{l}{x}_1(t_0)=x_{10}\\ x_2(t_0)=x_{20}\\ ⋮\\ x_n(t_0)=x_{n0}\end{array}$$$$End=\{\begin{array}{l}{x}_1(t_k)=x_{1k}\\ x_2(t_k)=x_{2k}\\ ⋮\\ x_n(t_k)=x_{nk}\end{array}$$共$2n$个条件。
4. 性能指标
   $$J={\int }_{t_0}^{t_k}F\left(\vec{x},\dot{\vec{x}},\vec{u}\right)dt\to \min$$可以看出，$F$中不含有$t$的显式。
5. 控制量的限制：
   $$|\vec{u}(t)|\le {\vec{U}}_{\max }$$该条件是指，由于一些现实原因或硬件性能原因，控制量信号$u(t)$不可能取得很大的值，只能受限于某个上下限之间，因此$u(t)$的取值不再是可导的甚至不再是连续的，出现了第一类间断点。
   如下是两类比较简单的控制信号的限制区间。
   

2. 解题步骤

由于$u(t)$不再可导，因此需要使用别的方法进行求解。这里引入新的概念——哈密尔顿函数，具有如下形式：
$$H\left(t,\vec{x},\vec{u},\vec{\psi }\right)=\sum _{i=0}^n{\psi }_i(t)\cdot f_i\left(t,\vec{x},\vec{u}\right)\text{\hspace{1em}(1)}$$应当注意，积分号下标从$i=0$开始。当$i=0$时，
$${\dot{x}}_0=F\left(\vec{x},\dot{\vec{x}},\vec{u}\right)=f_0$$而(1)中${\psi }_i(t)$是耦合函数，要求${\psi }_i(t)\ne 0$。

为了求解问题，还需要引入附加条件：
$$\{\begin{array}{l}{\dot{x}}_i=\frac{\partial H}{\partial {\psi }_i},i=0,1,\cdots ,n\\ {\dot{\psi }}_i=-\frac{\partial H}{\partial x_i},i=0,1,\cdots ,n\end{array}\text{\hspace{1em}(2)}$$需要注意，第二个式子中右侧要有负号。
(2)又称为耦合微分方程组。

此外，还有如下性质：
$$\underset{u}{\max }H\left({\vec{x}}^{\circ },u,{\vec{\psi }}^{\circ }\right)=H\left({\vec{x}}^{\circ },{\vec{u}}^{\circ },{\psi }^{\circ }\right)\text{\hspace{1em}(3)}$$$H$的最大值保证了$u$的最大值$u^{\circ }$，而$u^{\circ }$确保了$H$取最大值。
$$H\left({\vec{x}}^{\circ }(t_k),{\vec{u}}^{\circ }(t_k),{\vec{\psi }}^{\circ }(t_k)\right)\equiv 0\text{\hspace{1em}(4)}$$$${\psi }_0(t_k)<0\text{\hspace{1em}(5)}$$从(3)中可以看出，最优的$u^{\circ }$使得$H$取到最大值，故称为庞特里亚金最大值原理。

3. 原理解释

关于庞特里亚金最大值原理，有如下几条解释。假设${\vec{u}}^{\circ }(t)，{\vec{x}}^{\circ }(t)$已知，则存在连续函数${\vec{\psi }}^{\circ }(t)$满足如下条件：

1. 在时间区间$t\in \left[t_0,t_k\right]$内$\vec{\psi }(t)\ne 0$；
2. 连续函数$\vec{\psi }(t)$是耦合微分方程组(2)的解；
3. 在系统的最优状态下，最优控制$u^{\circ }(t)$保证了哈密尔顿函数取得最大值；

解题的关键式：
$$\frac{\partial H}{\partial u_k}=0,k=1,2,\cdots ,m\text{\hspace{1em}(6)}$$

4. 必要条件

由于$H$保证了$u^{\circ }(t)$的极值，因此式(6)是保证极值存在的必要条件。

在解题过程中，$u$的表达式往往是通过$\vec{x},\vec{\psi }$给出的，即
$$u_k={\phi }_k\left(\vec{x},\vec{\psi }\right)$$受限于$u$本身的取值范围，因此
$$u_k(t)=\{\begin{array}{l}{\phi }_k\left(\vec{x},\vec{\psi }\right),若|u_k(t)|\le U_k^{\max };\\ +U^{\max },若u_k(t)>U_k^{\max }\\ -U^{\max },若u_k(t)<-U_k^{\max }\end{array}\text{\hspace{1em}(7)}$$

图中黑线为(6)式计算出的$u$，蓝线为收到限制后实际可用的$u$。

5. 方程可解性

耦合微分方程组(2)共$2n+2$个式子，但只有$2n$个边界条件，因此还需2个方程进行求解。这2个方程中，有一个可以选择(4)式。同时考虑到，由于$x_0$不含于$H$中，因此可以有(8)式
$${\dot{\psi }}_0=-\frac{\partial H}{\partial x_0}=0\text{\hspace{1em}(8)}$$即${\psi }_0$为常数。

结合(5)式，不妨**直接令${\mathbf{\psi }}_0=-1$。

6. 例题

给出如下例题
$$\begin{gathered} \{\begin{array}{l}{\dot{x}}_1=x_2\\ {\dot{x}}_2=u\end{array} \\ t\in \left[0,1\right] \\ Start=\{\begin{array}{l}{x}_1(0)=5\\ x_2(0)=0\end{array} \\ End=\{\begin{array}{l}{x}_1(1)=0\\ x_2(1)=0\end{array} \\ J={\int }_0^1\left(4x_1^2+5x_2^2+u^2\right)dt\to \min \\ |u(t)|\le U^{\max }=20 \end{gathered}$$

解：$\square$先写出哈密尔顿函数
$$H={\psi }_0\left(4x_1^2+5x_2^2+u^2\right)+{\psi }_1(t)\cdot x_2+{\psi }_2(t)\cdot u$$代入$\frac{\partial H}{\partial u}=0$中有
$$\frac{\partial H}{\partial u}=2{\psi }_{0}u+{\psi }_2(t)=0$$解得
$$u=-\frac{1}{2{\psi }_0}{\psi }_2(t)$$即$u$取决于${\psi }_2$。

之前谈过，可以直接取${\psi }_0=-1$，因此
$$u=\frac{1}{2}{\psi }_2(t)$$代入(7)
$$u(t)=\{\begin{array}{l}\frac{1}{2}{\psi }_2(t),若|u(t)|\le U^{\max }=20;\\ +U^{\max }=+20,若u(t)>U^{\max }=20\\ -U^{\max }=-20,若u(t)<-U^{\max }=20\end{array}$$接下来解耦合微分方程组：
$$\{\begin{array}{l}{\dot{x}}_0=\frac{\partial H}{\partial {\psi }_0}=4x_1^2+5x_2^2+u^2\\ {\dot{x}}_1=\frac{\partial H}{\partial {\psi }_1}=x_2\\ {\dot{x}}_2=\frac{\partial H}{\partial {\psi }_2}=u\end{array}$$
$$\{\begin{array}{l}{\dot{\psi }}_0=-\frac{\partial H}{\partial x_0}=0(const.)\\ {\dot{\psi }}_1=-\frac{\partial H}{\partial x_1}=-8{\psi }_0{x}_1\\ {\dot{\psi }}_2=-\frac{\partial H}{\partial x_2}=-10{\psi }_0{x}_2-{\psi }_1(t)\end{array}$$代入${\psi }_0=-1$
$$\{\begin{array}{l}{\dot{\psi }}_0=-\frac{\partial H}{\partial x_0}=0(const.)\\ {\dot{\psi }}_1=-\frac{\partial H}{\partial x_1}=8x_1\\ {\dot{\psi }}_2=-\frac{\partial H}{\partial x_2}=10x_2-{\psi }_1(t)\end{array}$$再把$u=\frac{1}{2}{\psi }_2(t)$代入${\dot{x}}_i$公式组中，
$$\{\begin{array}{l}{\dot{x}}_0=\frac{\partial H}{\partial {\psi }_0}=4x_1^2+5x_2^2+u^2\\ {\dot{x}}_1=\frac{\partial H}{\partial {\psi }_1}=x_2\\ {\dot{x}}_2=\frac{\partial H}{\partial {\psi }_2}=u=\frac{1}{2}{\psi }_2(t)\end{array}$$
联合求解即可解出${\psi }_1(t),{\psi }_2(t),x^{\circ }(t),u^{\circ }(t)$。