连续时间线性随机Markovian跳变系统的在线自适应优化控制算法研究

【摘要】本文研究了一类连续时间线性随机Markovian跳变系统的在线自适应优化控制器设计算法。并提出了一种新的在线解耦技术,即“子系统转换”,用于分离Markovian跳变系统中子系统之间的耦合关系,进而将这种耦合关系表示为一个显性的迭代数学表达式。基于积分强化学习的方法(即,近似动态规划的手段),本文提出了两种新的策略迭代算法用于求解连续时间线性随机Markovian跳变系统的H2/H∞优化控制器设计问题。需要指出的是,这两种新的策略迭代算法是基于“两步迭代”的结构,即“策略评判”和“策略改进”。本文所给出的在线策略迭代算法的最大优势在于,求解对应优化控制器时,仅需要利用系统的部分动态信息,而不需要系统的完整动态信息。而且,与现有的离线计算迭代算法相比,本文中所给出的新的在线策略迭代算法具有更快的收敛速度。本文的主要工作和贡献具体体现在如下五个方面：1.相比较于一般的连续时间线性或者非线性系统,连续时间线性随机Markovian跳变系统有两个组成部分,即跳变的“模态”和连续的“状态”,其中,跳变的“模态”取决于有限状态Markov链,而连续的“状态”则由一个微分方程所决定。连续时间线性随机Markovian跳变系统的变量不仅与连续时间域有关,还依赖于所定义的概率空间。所以,已有的针对连续时间线性或者非线性系统的“近似动态规划”方法,就不可能完全适用。考虑到系统动态信息不完全获知的前提下,求解得到其最优控制器,本文提出了一种新的解耦技术,即“子系统转换”。借助于“并行算法”,利用“子系统”转换技术,将Markovian跳变系统之间的耦合关系被表示为一个显性的等式迭代关系,即“耦合关系改进”。在建立在线自适应优化控制器设计算法的过程中,这个显性的迭代等式起到了非常重要的作用。相关的内容见第二章和第四章。2.在第二章中,研究了连续时间线性随机Markovian跳变系统的在线自适应H2优化控制器的设计算法问题。通过子系统解耦技术,本章节将Markovian跳变系统分离为N个具有耦合关系的子系统。在已知部分动态信息的前提下,应用所给出的在线策略迭代算法求解连续时间耦合代数Riccati方程,并获得最终的依赖于模态的控制器增益序列。本章节不仅证明了算法的收敛性,并通过仿真示例用来验证这个策略迭代算法的有效性和可行性。3.在第三章中,给出了两个计算迭代算法用来求解耦合的对策代数Riccati方程,并求解出连续时间线性随机Markovian跳变系统的H∞控制器。这两个数值迭代算法都是基于Kleinman迭代的框架提出的。首先,本章节给出了“直接并行Kleinman迭代算法”,并证明了其收敛性。随后,通过引入了一个更广义的数值迭代算法,即“广义并行Kleinman迭代算法”,研究了其四种不同情况的迭代算法。最后,数值示例验证了这两个数值迭代算法的有效性。4.在第四章中,提出了一种新的在线策略迭代算法,用于求解连续时间线性随机Markovian跳变系统的H∞优化控制问题。基于第三章的“直接并行Kleinman迭代算法”,并结合“子系统转换”手段,将随机Markovian跳变系统转换为一组拥有相同扰动输入的线性子系统。借助于近似动态规划方法,本章节研究了两执行器零和对策问题,并求解出连续时间耦合对策代数Riccati方程。本章节不仅证明了新的策略迭代算法的收敛性,并通过仿真示例用来验证这个策略迭代算法的有效性和可行性。5.在第五章中,给出了概括总结和前景展望,并指出了研究中有待进一步解决和完善的问题。
【作者】宋军；
【导师】何舒平；
【作者基本信息】安徽大学，模式识别与智能系统，2014，硕士
【关键词】Markovian跳变系统；强化学习；近似动态规划；子系统转换；最小二乘法；在线；

【参考文献】
[1]潘旭.带约束的线性回归模型回归系数的有偏估计[D].渤海大学,应用数学,2014,硕士.
[2]徐世浙.用有限元法计算二维重力场垂直分量及重力位二阶导数[J].石油地球物理勘探,1984,05:468-476.
[3]林阿斌.服务机器人关节变刚度柔顺驱动器研究[D].杭州电子科技大学,机械电子工程,2013,硕士.
[4]吴俊勇,艾洪克,田明杰,张巨瑞,冯宝泉.用于光伏并网的组合级联式功率转换系统复合功率控制策略研究[J].北京交通大学学报,2014,05:90-96+102.
[5]林国彬.CTLA-4基因多态性与胃癌易感性的Meta分析[D].福建医科大学,外科学,2014,硕士.
[6]王成尧,高麟,汪定伟.模糊加工时间单机E/T调度问题的GA算法[J].控制与决策,1998,S1:34-38+43.
[7]孙东平.“一国两制”构想下推进两岸政治对话研究[D].中共广东省委党校,科学社会主义与国际共产主义运动,2013,硕士.
[8]冯妮.锂电池供配电单元设计及关键技术研究[D].中北大学,测试计量技术及仪器,2013,硕士.
[9]何小颖.外国法查明的国际合作机制研究[D].湖南师范大学,国际法学,2013,硕士.
[10]孙立柏.水热法制备纳米CeO_2粒子及其表征[D].北京工业大学,材料学,2004,硕士.
[11]王立舒.黑龙江省水稻决策支持系统总体设计及部分模块功能实现[D].东北农业大学,2003.
[12]刘承昊,王业军.我国中小物流企业运输成本控制策略分析[J].物流技术,2014,03:66-67+70.
[13]蒋琦.《荆棘之城》的空间研究[D].湖南师范大学,英语语言文学,2013,硕士.
[14]许涛.玛曲县高寒人工草地植被群落和土壤特性研究[D].甘肃农业大学,草业科学,2013,硕士.
[15]贾鹤鸣,张利军,程相勤,边信黔,严浙平,周佳加.基于非线性迭代滑模的欠驱动UUV三维航迹跟踪控制[J].自动化学报,2012,02:308-314.
[16]马梦璐.张天翼现代童话的喜剧品质研究[D].沈阳师范大学,中国现当代文学,2014,硕士.
[17]谢泽民.宝钢1、3号烧结机设置余热回收装置[J].钢铁.2003(11)
[18]高立兴.自动化检测软件中检测任务管理策略的研究[D].西安工业大学,计算机系统结构,2014,硕士.
[19]张云蔚.初诊高白细胞急性早幼粒细胞白血病的临床特征及疗效分析[D].吉林大学,临床医学,2014,硕士.
[20]唐凯.空间战场虚拟环境技术研究[D].西北工业大学,武器系统与运用工程,2004,硕士.
[21]朱晨.市政工程施工项目管理团队绩效考核方法研究[D].西南交通大学,项目管理（专业学位）,2013,硕士.
[22]刘然.我国可辨认无形资产会计研究[D].沈阳工业大学,会计学,2003,硕士.
[23]杨书建.电动汽车电池箱动静态特性分析及其结构优化设计[D].湖南大学,机械工程,2012,硕士.
[24]李祥印.信息技术与课程整合中教师角色的定位[D].山东师范大学,教育技术学,2003,硕士.
[25]邢永超.姜寨遗址聚落形态研究[D].山东大学,文物与博物馆学（专业学位）,2013,硕士.
[26]王利洋.地裂缝对高速铁路桥梁影响的模型试验研究[D].长安大学,地质工程,2014,硕士.
[27]王志华.葵花籽饮料的研制以及绿原酸提取工艺的研究[D].天津科技大学,食品科学,2004,硕士.
[28]张晓蓉.安塞剪纸的美学意义对现代图形设计的启迪[D].西安美术学院,艺术设计,2014,硕士.
[29]闫志辉.KRAS，hMSH2，hMLH1基因多态性与肠道肿瘤性息肉及结直肠癌相关性研究[D].第二军医大学,内科学（专业学位）,2013,硕士.
[30]菅利荣,白全礼.粗糙集理论与其他理论的杂合研究[J].郑州航空工业管理学院学报,2005,03:33-38+61.
[31]朱雷.砌体墙板与静压管桩反应分析的支持向量机方法[D].哈尔滨工业大学,固体力学,2013,硕士.
[32]冯迎春.高校后勤餐饮存货管理系统的设计和实现[D].浙江工业大学,2013.
[33]刘军华.论联合国安理会改革[D].湘潭大学,国际关系,2003,硕士.
[34]章五一,陈君.比喻法在高职计算机网络教学中的应用实践[J].辽宁师专学报(社会科学版).2004(03)
[35]胡瑞平.一类非线性Petrovsky方程初边值问题解及性质的研究[D].曲阜师范大学,应用数学,2013,硕士.
[36]张艳玲.E-cadherin、β-catenin及Oct-4、Sox-2表达与胃癌术后复发转移的关系[D].郑州大学,肿瘤学（专业学位）,2013,硕士.
[37]王树林,王贵成,梁彦学,赵海波.HSK工具系统的力学模型及其应用[J].农业机械学报.2003(04)
[38]杨辉.高新技术产业化动力机制研究[D].武汉理工大学,产业经济学,2004,硕士.
[39]刘玉定.基于身份的陷门水银承诺的研究[D].西安电子科技大学,信息安全,2012,硕士.
[40]宋晓薇.土壤源热泵技术在某风电场升压站内应用研究[J].区域供热,2014,05:27-31+43.
[41]梁超.基于LTE的智能车载终端软件系统研究与实现[D].长安大学,计算机应用技术,2014,硕士.
[42]何银环.应用于多视点视频编码的码率控制算法研究[D].南京邮电大学,信号与信息处理,2013,硕士.
[43]肖春梅.网络论坛舆情信息的收集与管理技术研究[D].华侨大学,计算机技术（专业学位）,2013,硕士.
[44]周杨雪.发展海南休闲养老产业的法律问题研究[D].海南大学,经济法学,2012,硕士.
[45]李伟.“孝感雕花剪纸”在高中美术教学中的开发与利用[D].华中师范大学,学科教学,2013,硕士.
[46]刘靖姝.不同焦虑类型高校毕业生职业未决的比较及其与职业决策自我效能感的关系[D].西南大学,发展与教育心理学,2013,硕士.
[47]石殿祥,王正国.角道集上的振幅补偿[J].石油地球物理勘探,1995,S1:68-72+89-185.
[48]于贵芳.山西省低碳经济发展水平评价及对策研究[D].山西财经大学,管理科学与工程,2013,硕士.
[49]刘树伟.对人类中心主义的批判性解读[D].曲阜师范大学,伦理学,2004,硕士.
[50]杜莉梅.市场经济下的政府有效干预研究[D].南京师范大学,行政管理,2012,硕士.