RADP and Feedback Stabilization of Nonlinear System
书接上回[1]，这篇论文出身相同，解决的是存在干扰的（disturbance）非线性系统的ADP算法（Robust Adaptive Dynamic Programming）。
暂时只是把重要的部分做了翻译记录，有些地方写了一些自己的理解，最近两天应该还会结合书本再仔细推导和补充一下自己的理解。
本文从Robust Adaptive Dynamic Programming（RADP）的角度研究了针对一类含有uncertainty的非线性系统的robust最优控制器设计。之前没有针对含有uncertainty dynamic或是部分dynamic没有建模的系统设计的ADP算法，这篇文章填补了这一空白。其核心策略是将现代非线性控制理论的工具，诸如：Robust Redesign，Back stepping以及非线性small-gain theorem与ADP理论相结合。本文所提出的RADP方法可被视作ADP算法向uncertain nonlinear system的拓展延申。除了算法的开发外，文中还给出了两个应用实例。
Index Terms（Key words）：ADP，Nonlinear uncertain systems，robust optimal control
RL是机器学习理论中一个重要的分支，主要处理的是agent如何根据未知环境的反馈修改行动，以实现长期目标。这种机制最初是从生物学习的行为中观察到的，从1960年代起在计算机科学和控制科学领域的文献中[28]，[29]，[45]，被作为研究人工智能的一种方式进行研究。从那时起，对RL的发展做出了许多贡献，见[4], [39]和[47]。
与此同时，DP也被广泛用于解决最优控制问题。在[9]中，Howard为Markov过程设计了一种称为Policy iteration（PI）的迭代方法。PI和学习方法是密切相关的，它可以连续地近似计算optimal solution的近似值。Werbo[48]指出可以在RL中使用PI求解。从那时起，已经出现了许多用于寻找online最优控制策略的real-time RL方法，它们被广泛的称为Approximation/Adaptive DP方法或Neuro-DP。
到目前为止，已经有许多基于ADP的算法用于求解uncertain system的最优控制策略。在[50]中，开发了用于离散时间系统的依赖于动作的启发式DP算法（也被称作Q-learning）。此方法被广泛拓展并应用到了很多不同的领域。在连续时间中，[3]和[8]中给出了基于离散化的方法。在[31]中给出了另一种方法，需要用到系统状态的导数。[44]中对连续系统开发了不需要使用离散化的方法，这种方法不需要知道系统状态的导数也不需要知道系统矩阵 ，但需要知道系统矩阵 。[11]中进一步放宽了对 的需求。在[43]中，介绍了一种用于解决部分dynamics 已知的 nonlinear continuous-time系统的ADP算法，使用了Galerkin's method[5]。[1]和[2]通过将ADP方法和博弈论中的方法结合起来解决存在输入扰动的uncertain system的 Robust控制问题。
在过去的关于ADP的文献中，通常假设系统的阶数是已知的且系统状态变量是完全已知的或者是可从输出中重构的[25]。然而，由于dynamic uncertainty的存在（或是未被建模的dynamics），系统的阶数可能是未知的，这些情况是由于工程应用时，往往难以获得物理系统的精确数学模型所导致的。在其他学科（例如生物学和经济学）的数学建模中Dynamic uncertainty也是很有意义的。这类问题通常在robust control theory中被提出，不能被视作一种output feedback control的特例。此外，过去文献中开发的ADP方法不仅无法确保optimality，而且在出现dynamic uncertainty的时候还可能无法确保闭环系统的稳定性。Werbo[53]也指出了相关的问题，即在ADP中如果使用不完整的数据，那么可能会导致学习性能的下降。
为了填补ADP算法在这方面的空缺，我们开发了一种新的robust ADP（RADP）算法，可被视作ADP算法向有dynamic uncertainty的linear和partially-linear系统问题的拓展。
本文的主要目的是研究存在dynamic uncertainty情况下真正非线性系统的RADP设计。我们首先将开环系统分解为两部分：
为了处理两个系统之间的动态交互，我们使用[18]和[33]中提出的增益分配思想。更具体的来说，我们需要为存在disturbance的系统分配一个符合Sontag's input-to-state stability(ISS)的增益。将现代非线性控制理论中的backstepping，robust以及small-gain theory引入到RADP的理论中，使得系统模型由具有arbitrary small gain的ISS构成。为了对互连系统进行稳定性分析，我们应用非线性小增益定理[18]，它已被证明是非线性系统分析和综合的有效工具。因此，所提出的 RADP 方法可以看作是 [11] 的非线性变体。 此外，它解决了semi-global的稳定问题 [40]，因为闭环系统的吸引力域（domain of attraction）可以尽可能大。
文章的第二部分回顾了针对affine nonlinear system的online PI technique。第三部分研究了robust optimal control的设计方法，并且展示了一种实用的方法。第四部分将RADP拓展到了有unmatched dynamic uncertainty的非线性系统上。
特别的，文中的 指的是
首先回顾一下[34]中的一种用于求解optimal control问题的PI算法。首先，给出下列系统方程：
其cost-function为
其中， 为positive definite function， 且为一个常数。此外，假设存在一个控制策略 使得系统在这一控制策略下全局渐进稳定，并且其cost也是有界的。通过[23]可知，最小化(2)中cost的控制策略可通过求解下列Hamilton-Jacobi-Bellman equation得到：
其边界条件为 。事实上，如果（3）的最优解 存在，那么最优的控制策略可由下式表达：
通常来说（3）的解析解很难得到，然而如果 存在，它可以通过PI technique来求得近似解：
1.找到一个可以达到的control policy
2.对于任意正整数 ，用下式求解 ，其边界条件为 :
3.通过下式更新control policy
PI中（5）和（6）的收敛性遵循以下定理得出，其证明遵循[34, Th. 4]。
Theorem 2.1： 考虑式（5）和（6）中定义的 以及 ，对于所有的
且 是可获得的（admissible）。此外，如果（3）的解 存在，那么对于每个固定的 ， 和 会分别收敛到 以及 。
系统方程：
其中， 是系统中可被测得并用于state feedback control的部分， 是系统中无法测量的状态， 也未知。 是系统的控制输入， 且 ，是Locally Lipschitz Function。 和 的定义和（1）中相同，但是是未知的。我们的目标是，online地寻找到一个控制策略，使得系统稳定到原点。此外，在没有系统动力学不确定性的情况下（例如： 或者是 -subsystem不存在），此控制策略为最优控制策略，并能最小化（2）。
Ⅱ中介绍的PI方法依赖于 和 的信息。为了免去对这部分信息的要求，文章给出了一种全新的PI technique，可以被视作[11]的非线性情况的拓展。
我们首先将（9）写作如下形式
其中 。对于每个 ， 在（10）的解附近的时间的导数满足：
对（11）的两侧同时在时间间隔 上求积分，可得：
如果可以取得的控制策略 已经给出，那么就可以使用（12）求解未知的函数 和 的近似值。更准确地来说，对于任意给定的内部包含原点的compact set ，设 为 上的一个无穷的线性无关的平滑基函数的序列，其中对于所有的 都有 。那么，通过近似理论[32]，对于每个 ,cost function 以及控制策略都可以由下式近似计算：
其中 ，是两个足够大的整数， 是待定的权重系数。用近似计算式替换掉（12）中的 以及 ，我们可以得到：
其中， 且 是严格增序列， 是一个足够大的整数。这样，权重 和 就可以使用最小二乘法求解（例如最小化 ）。
现在，从 开始，就可以用(15)式表达的新的PI technique迭代生成一系列 以及 。接下来我们分别展示序列 和 的收敛性。
Assumption 3.1：存在 以及 满足所有的 都有：
Assumption 3.2: (8）和（9）组成的闭环系统，以及
在探索噪音 为系统输入时，是ISS的。
Remark 3.1: 采用Assumption 3.2的原因有两个。首先，如同许多其他Policy-iteration-based的ADP算法一样，需要一个初始的可获取的控制策略。受[55]的启发，本文更进一步的假设初始给定的控制策略能使得给定的有dynamic uncertainty的系统稳定。通过[17]和[33]中的设计，这样的假设是切实可行的。第二，通过增加exploration noise，我们可以在满足Assumption 3.1 的同时保持系统的解是有界（bounded）的。
在Assumption 3.2之下，我们可以找到一个compact set ，它是由（8）（9）以及 组成的闭环系统的不变集（invariant set）。此外，我们可以令 包含 。那么用作近似的compact set就可以选为下述形式： 。
Theorem 3.1： 在Assumption 3.1 和3.2之下，对于每个 以及给定的 都存在 使得对于所有 ，若 都有：
证明：见原文附录
Corollary 3.1：（推论） 假设 和 都存在，那么在（假设）Assumption 3.1 和3.2之下，对任意 都存在整数 ，满足对于所有的 ，若 。
证明：通过Theorem 2.1，存在 ，使得
通过Theorem 3.1，可知，存在 以及 ，使得对于所有的 且 ，都有：
至此，推论可用三角不等式证明。
在存在dynamic uncertainty的情况下，我们重新设计近似最优控制策略（approximated optimal control policy）以获得robust stability。所提出的方法是对最优控制理论（optimal control theory）[23]与增益分配技术（gain assignment technique）[18],[33]的集成。首先，让我们做出以下假设（Assumptions）。
Assumption 3.3：存在一个 函数 ，对于 有
此外，假设存在一个常数 使得 是一个正定函数（positive definite function）。
注意，我们也可以找到一个 函数 ，对于所有 有
函数指的是定义域为 ，单调增，且在 处的函数值也为 。
Assumption 3.4: 接下来处理系统方程中未知dynamic且unmeasurable的（8）。假设存在 函数 ， 函数 以及正定函数（Positive Definite） ，满足对于所有的 以及所有的 都有：
由Assumption 3.4可以认为当 作为系统输入时， system 是满足ISS stability的[36],[37]。原文附录有关于ISS的性质回顾。
接下来，考虑如下所示形式的控制策略（control policy）：
其中， 是一个足够大的整数，在（推论）Corollary 3.1中定义，而 是一个平滑的单调非增（nondecreasing）函数，且对于所有的 ，都有 。注意 可被视作approximated optimal control policy 的robust redesign。
如同[17]中一样，我们定义一个 函数 :
此外，定义：
函数复合运算符：
Theorem 3.2 在（假设）Assumptions 3.3 和3.4 之下，设
下述implication对于某常数 成立：
那么，由此，以（8）（9）以及式（31）构成的闭环系统，在原点处渐进稳定。此外，存在 满足 为闭环系统的吸引域的估计值。
证明：见附录
Remark 3.2：在没有dynamic uncertainty的时候（例如： 且没有 -system 的时候），控制策略（31）可以被能最小化下式（36）中的cost的最优控制策略 的估计(approximation) 替换
Remark 3.3: 值得注意的是，式（35）中的常数 可被选为任意大，因此，所提出的控制方案能解决半全局稳定问题[40]。
RADP算法见Algorithm 1
在这部分，文章会将RADP算法拓展到有unmatched dynamic uncertainty的非线性系统问题上。首先，展示将要用到的系统模型：
其中 是可测量并用作feedback control的系统状态量； 以及 的定义和(8)(9)中相同； ， 都是locally Lipschitz函数，是未知的。
Assumption 4.1：存在 函数 以及 使得下列不等式成立：
让我们定义一个虚拟的控制策略（这里应该是借鉴了backstepping的思想） ，这里 的定义和（31）中相同。那么一个state transformation（一个系统状态量）可被表达为 。带入（39）和（40）后，可以得到下式：
其中 ，且 。 以及 可以用下列表达式进行近似拟合
其中， 是一系列某compact set 上线性无关的基函数，该compact set内部包含原点。 ， 以及 都是需要训练得到的常数权重。如同在Dynamic uncertainty相匹配的情形下一样，我们给出下列对于初始的控制策略的假设。
Assumption 4.2：由（38）-（40）以及下式（45）所构成的闭环系统在其探索噪音 (exploration noise)被当作输入时满足ISS稳定性。
在假设4.2下，我们可以为由(38)~(40)和(45)组成的闭环系统找到一个不变集 ，并在该集上逼近未知函数:
接下来，我们给出以下的两阶段学习方案：
1）Phase-One Learning:
和（15）中类似，我们用最小二乘法来求解权重 以及 ，并由此来逼近 -subsystem的虚拟输入 的值
其中 ，而 是一个严格增数列，其中 是一个足够大的整数，并且 是近似误差。
2）Phase-Two Learning：
为了近似未知函数 以及 ，权重常数可通过求解下列最小二乘法获得
其中， 为近似误差。
类似的，和在前一个section中的一样，我们介绍下列几个假设。
Assumption 4.3：存在 满足，对于所有的 都有：
Theorem 4.1 : 若 那么，在（假设）Assumption 4.3之下，我们可以得到：
接下来，我们研究系统（38）-（40）的Robust稳定性。为此，我们设 函数 满足
那么，（假设）Assumption 4.1意味着
其中 。此外，设 ，且
需要注意的是，在（假设）Assumption 3.3和3.4之下，存在 满足 。
控制策略可以用下列表达式近似：
下面，定义近似误差为：
那么，渐近稳定的条件可被总结为以下的Theorem（定理）
Theorem 4.2：在Assumption 3.3 ，3.4以及4.1之下，若：
且对于某常数 ： 那么由（38）-（40）以及（54）构成的闭环系统在原点是渐近稳定的。此外，存在 ，使得
是吸引域的估计值。
证明： 见附录
Remark 4.1 在没有动力学不确定性的时候（dynamic uncertainty），例如 且 -system不存在的时候函数 以及 可被替换为0，系统方程就变成下列形式：
其中 ， ， 。因此，可以得出结论，控制策略 是对于下列cost function的最优控制策略的近似：
其中 , .
Remark 4.2: 如同匹配动力学不确定性（matched dynamic uncertainty）的情况下一样，通过在Theorem 4.2 中选择一个足够大的 ，就可以获得半全局（semigloabal）稳定性。