新浪博客

不确定性环境下维纳模型的随机变分贝叶斯学习

2024-08-02 17:09阅读：

http://blog.sina.cn/dpool/blog/u/1304706164

引用本文

刘切, 李俊豪, 王浩, 曾建学, 柴毅. 不确定性环境下维纳模型的随机变分贝叶斯学习. 自动化学报, 2024, 50(6): 1185−1198 doi: 10.16383/j.aas.c210925
Liu Qie, Li Jun-Hao, Wang Hao, Zeng Jian-Xue, Chai Yi. Stochastic variational Bayesian learning of Wiener model in the presence of uncertainty. Acta Automatica Sinica, 2024, 50(6): 1185−1198 doi: 10.16383/j.aas.c210925
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210925


关键词

非线性系统辨识，随机优化，变分贝叶斯，维纳模型

摘要

多重不确定性环境下的非线性系统辨识是一个开放问题. 贝叶斯学习在描述、处理不确定性方面具有显著优势, 已在线性系统辨识方面得到广泛应用, 但在非线性系统辨识的应用较少, 且面临概率估计复杂、计算量大等难题. 针对上述问题, 以典型维纳(Wiener)非线性过程为对象, 提出基于随机变分贝叶斯的非线性系统辨识方法. 首先对过程噪声、测量噪声以及参数不确定性进行概率描述; 然后利用随机变分贝叶斯方法对模型参数进行后验估计. 在估计过程中, 利用随机优化思想, 仅利用部分中间变量概率信息估计模型参数分布的自然梯度期望, 与利用所有中间变量概率信息估计模型参数比较, 显著降低了计算复杂性. 该方法是首次在系统辨识领域中的应用. 最后, 利用一个仿真实例和一个维纳模型的Benchmark问题, 证明了该方法在对大规模数据下非线性系统辨识的有效性.

文章导读

系统辨识是基于模型的控制系统设计基础, 是现代控制理论主要研究内容. 系统辨识主要目标是利用数学方法从输入输出数据中建立系统的动态模型. 过去几十年中, 国内外研究人员围绕系统辨识的实验设计、算法设计以及收敛性证明等做了大量工作[1-3], 特别是对于线性系统的辨识, 已经有很多成熟的解决方案. 随着系统规模、结构的增加以及对高精准控制的需求, 传统利用线性模型近似描述非线性过程的方法已经不能满足人们对辨识精度的要求. 非线性系统辨识日益成为辨识主要研究方向[4-5]. 由于非线性模型的复杂性、多样性以及模型自身和数据的不确定性, 使得非线性系统辨识异常复杂, 成为一个开放性问题[6]. 本文针对非线性系统辨识过程中数据不确定、模型不确定的问题, 采用贝叶斯学习方法, 提出基于随机变分贝叶斯的一类非线性系统辨识方法, 在提高模型辨识精度情况下, 显著减少了算法的计算量, 为非线性系统辨识提供了一种全新的思路.

对于非线性系统的辨识, 首要问题是选择合适的非线性模型对系统的动态过程进行描述. 一般而言, 并不存在一种通用的非线性模型能够描述所有的非线性过程, 而过于复杂的模型会显著增加后续参数估计的复杂度, 因此选择一个合适的非线性模型来描述非线性过程则至关重要. 常见的用于描述非线性过程的模型包括: 非线性状态空间模型[7]、非线性自回归滑动平均模型[8]和模块化结构模型(Block-oriented model)等[9-10]. 在这些模型中, 模块化结构模型具有简单易实现等优点, 其中包括维纳(Wiener)结构、Hammerstein结构以及Wiener-Hammerstein结构等[11]. 维纳模型是其中的一类基础模型, 已经成功用于描述pH中和过程[12]、蒸馏塔[13]和通信系统等过程[14], 一些文献表明, 它可以用于几乎任何非线性系统[15]. 因此, 本文选择这一基础模型, 研究非线性过程的辨识.

维纳模型的结构示意图如图 1所示, 其由动态线性部分和静态非线性部分组成. 如前所述, 数据不确定性带来的噪声处理是系统辨识的永恒主题. 目前大部分的维纳过程辨识集中在系统测量噪声(如图 1中en所示)的处理, 而忽略过程噪声(如图 1中wn所示)对辨识的影响. 在实际过程中, 中间变量xn也可能受到噪声的干扰; 同时, 在模型中增加过程噪声, 可以提高描述的准确性. 针对维纳模型, Hagenblad等[15]指出, 当测量噪声和过程噪声都存在时, 一些现有的方法无法准确估计出模型参数; 另一方面, 现有的大部分维纳系统辨识中, 均利用高斯模型描述测量噪声. 实际上, 在测量过程中由于传感器异常等原因, 数据可能受到较大扰动, 产生异常数据(奇异点). 此时, 高斯模型不能准确描述数据奇异现象. 数据奇异现象下的系统辨识, 近年来受到广泛关注[16], 但在维纳系统的辨识过程中考虑并不多, 本文在后续内容中将充分讨论这一问题.
不确定性环境下维纳模型的随机变分贝叶斯学习
图 1 维纳模型结构示意图

在对维纳模型的研究方法中, 预测误差方法(Prediction error method, PEM)[17-19] 使用最为广泛, 它通过最小化预测误差拟合输入输出数据, 从而得到系统模型. 该方法原理简单, 是系统辨识的标准方法, 但是在模型噪声较大且出现奇异值的情况下, 该方法很难得到满意的参数估计效果. 极大似然估计(Maximization likelihood estimation, MLE)[15]是另一种系统辨识经典方法, 它通过最大化似然函数获得参数的无偏估计, 是处理强噪声情况下参数估计的有效手段. 文献[15]提出维纳模型的极大似然估计方法. 利用传统的MLE方法进行非线性系统辨识, 由于需要直接计算似然函数, 大量的指数运算和积分运算使得辨识计算量较大; 而在具有隐变量不能直接计算似然函数的情况下, 传统的MLE也不能用于参数估计. 在MLE方法不能使用的情况下, EM (Expectation-maximization)算法通过直接计算隐变量(除观测值外, 所有参数都可以看作隐变量) 的后验分布来极大化全概率似然函数, 从而达到参数估计的目的. 然而, 由于模型中的非线性环节, 很难直接计算隐变量的后验分布, 使得EM

我的更多文章

下载客户端阅读体验更佳

APP专享