大规模稀疏线性方程组求解的并行GaBP算法研究

【摘要】在对自然科学与社会科学中诸多实际问题进行数值模拟时,最终大都是归结为稀疏线性方程组的求解问题。例如：在结构设计、数值天气预报、油气资源探测、数值风洞、恒星大气分析与核爆模拟等领域,常利用偏微分方程作为数学模型,而在偏微分方程的离散求解中,稀疏线性方程组扮演着十分重要的角色。此外,稀疏线性方程组在数学规划、网络分析、经济分折、离散Markov链等领域中也有着重要的应用。同时,伴随着模拟问题规模的不断增大,稀疏线性方程组求解时间所占的比重也越来越大,在有些应用领域中,其比重已占到了近80%之多。正是由于稀疏线性方程组的求解既特别重要,计算又非常耗时,其计算量常为O(n2)甚至更多,因此众多的科研机构与科学工作者投入了大量的人力和物力来进行研究。特别地,并行计算机系统的出现,各种可扩展并行求解技术的研究更是如火如茶,使得有更多更新的算法层出不穷。目前,采用多核CPU、众核MIC与GPU混合的异构并行计算环境正逐步成为大型并行计算环境的主流,因此,研究适合混合的异构并行计算环境的大规模稀疏线性方程组的高精度、高效、可扩展并行求解算法十分必要。GaussianBeliefPropagation(GaBP)算法是一种针对对称对角占优线性方程组的迭代算法,它是基于递归更新的概率推理算法,具有低计算复杂性和高并行性。正是由于GaBP算法的这两个性质,它很适合用来处理大规模稀疏线性方程组。GaBP算法不同于经典的迭代算法,也不同于Krylov子空间算法,GaBP算法对于对称对角占优线性方程组的求解具有良好的收敛性。通过研究经典GaBP算法,实现了同步和异步GaBP算法程序设计和计算实验,并对结果进行了系统的分析。本文旨在深入研究求解大规模稀疏线性方程组的高性能的GaBP的并行算法,并取得了如下创新性研究成果。首先,研究了求解线性方程组的迭代加速方法和预处理方法,提出了多种的预优处理与迭代加速的GaBP优化算法,迭代加速的GaBP优化算法提高了迭代计算的求解速度,比经典GaBP算法有更快的迭代收敛速度,预优GaBP算法拓展了GaBP算法的适应性,让预优GaBP算法可以适应于不完全对称对角占优的线性方程组的求解：其次,基于并行计算环境,开展并行计算性能研究。其中,研究了各种稀疏矩阵存储方法,深入挖掘GaBP算法的特性,提出了两种的稀疏矩阵存储方法,从而降低算法的空间复杂度,并提高了算法的计算速度；研究了GPU、MIC众核计算机系统下的并行算法的实现和并行优化策略,开发了多核CPU、众核GPU和MIC下的GaBP并行程序,提出了各种并行环境的GaBP并行算法的优化策略和实现方法：研究了多核并行算法的实现和并行优化策略,进一步挖掘GaBP算法的并行特性,提出了动态负载均衡的多核并行GaBP算法,实验结果表明动态负载均衡的多核并行GaBP算法有很好的加速比和更高的执行效率。最后,研究了MPI+OpenMP混合并行算法的实现和并行优化策略,给出了大规模稀疏线性方程组求解的MPI+OpenMP混合GaBP并行算法,针对三对角线性方程组求解下的一般稀疏线性方程组求解的MPI+OpenMP混合编程的GaBP并行算法进行的迭代计算优化和数据通信的优化,给出了三对角线性方程组求解的高可扩展性的MPI+OpenMP混合编程的GaBP优化并行算法,并且对应于三对角线性方程组求解的GaBP并行算法,给出了大规模带状线性方程组求解的MPI+OpenMP混合编程的GaBP并行算法和实现方法。
【作者】郑汉垣；
【导师】张武；
【作者基本信息】上海大学，计算机应用技术，2014，博士
【关键词】大规模稀疏线性方程组；并行GaBP算法；异构并行环境；算法优化；并行性能评估；

【参考文献】
[1]吴鹏.Cessna172R飞机飞行数据采集技术研究[D].中国民用航空飞行学院,载运工具运用工程,2013,硕士.
[2]李宁,王海根,郑洁,袁林江.麦式悬架主销位置对性能影响研究[J].机电工程,2013,10:1199-1202.
[3]杨涛,李朝阳,张际宁.南京市道路与交通流现状、问题及对策[J].城市研究.1999(02)
[4]王仲浩.SCDX新产品开发项目管理流程分析设计[D].电子科技大学,项目管理（专业学位）,2013,硕士.
[5]万里.粗糙脉孢菌木糖代谢途径中关键基因的功能研究[D].天津大学,微生物与生化药学,2013,硕士.
[6]吕栋.GMB公司冷床项目口译实践报告[D].河北师范大学,翻译,2013,硕士.
[7]朱连燕.重复频率高功率微波脉冲大气击穿的理论研究[D].西南交通大学,电磁场与微波技术,2014,硕士.
[8]江雨然.活性粉末混凝土双轴拉压力学性能试验研究[D].北京交通大学,2014.
[9]杨继为.混沌同步及在保密通信中的应用[D].浙江工业大学,通信工程,2004,硕士.
[10]朱雪梅.Android木马攻击与防范技术的研究[D].杭州电子科技大学,信号与信息处理,2014,硕士.
[11]苏军芳.组织运动二尖瓣环位移及应变率成像对急性前壁心肌梗死患者心功能的评价[D].第四军医大学,生物医学工程,2014,硕士.
[12]刘敏娜.低维氧化钼与多级结构Ag/AgC1纳米晶的湿化学制备及光电性能研究[D].郑州大学,材料学,2013,硕士.
[13]吕增辉.安徽省体育专业大学生学习倦怠的调查分析与对策[D].安徽工程大学,体育人文社会学,2012,硕士.
[14]江兴.碳纤维纳米管芯片问世[J].半导体信息,2013,02:13.
[15]黄建辉.入世，中国建设工程质量监督体制改革的研究[D].重庆大学,建筑与土木工程,2003,硕士.
[16]杨铖.改性PBT熔喷无纺布的制备及其表征[D].东华大学,材料工程（专业学位）,2014,硕士.
[17]苏前.新疆罗布麻遗传多样性及其与环境关系研究[D].新疆大学,环境科学,2013,硕士.
[18]刘彤.含有甲醇的乙醇脱水共沸精馏研究[D].天津大学,化学工程,2013,硕士.
[19]舒杨.主基二元法护理服务质量绩效考核模型的构建[D].南方医科大学,护理学,2012,硕士.
[20]马洪宝.初中作文幸福写作体系探究[D].鲁东大学,学科教学（专业学位）,2013,硕士.
[21]尹长春.朝鲜半岛地缘争夺的近代开端[D].上海外国语大学,国际关系,2012,硕士.
[22]张鑫.2205双相不锈钢焊接结构疲劳裂纹扩展速率研究[D].重庆交通大学,机械设计及理论,2012,硕士.
[23]苏思婷.微晶纤维素超分子结构与蛋白质的相互作用及机理研究[D].华南理工大学,粮食、油脂及植物蛋白质工程,2014,硕士.
[24]李莉.微文化背景下大学生思想政治教育问题与对策研究[D].华中师范大学,教育管理,2013,硕士.
[25]李美华.脉冲红外无损检测缺陷深度的有限元模拟及定量分析[D].首都师范大学,光学,2013,硕士.
[26]居加颖.修正SSOR方法解鞍点问题及大型稀疏线性方程组[D].扬州大学,计算数学,2012,硕士.
[27]王小欢.马铃薯试管块茎形成有关的光敏感基因筛选与鉴定[D].华中农业大学,细胞生物学,2014,硕士.
[28]施介华,黄书娟,蒋敏,陈慧敏.DFT和FT-IR相结合研究糠醛与溶剂的相互作用[J].浙江工业大学学报,2014,05:499-503.
[29]宋晓萍,廖明夫.基于Internet的风电场SCADA系统框架设计[J].电力系统自动化,2006,17:89-93.
[30]唐雪梅.TGF-β_1 VEGF在儿童原发性肾病综合征中的表达及其临床意义研究[D].重庆医科大学,儿科学,2004,硕士.
[31]刘杰.基于MCR的无功电压控制系统研究[D].山东大学,电力电子与电力传动,2013,硕士.
[32]吕峰.无人驾驶智能车控制系统的设计研究[D].西安工业大学,控制理论与控制工程,2014,硕士.
[33]孟岳勇.MW级风力发电系统单机电气控制技术研究[D].南京航空航天大学,电力电子与电力传动,2004,硕士.
[34]陶莎,张玉红.基于数据仓库技术的企业信息化评价系统[J].技术经济与管理研究,2005,06:53-54.
[35]陈贤博.基于Web挖掘技术的网络营销决策支持系统研究[D].合肥工业大学,2004.
[36]沈建奇.盾构掘进过程数值模拟方法研究及应用[D].上海交通大学,2009.
[37]赵彦程.美国企业社会责任信息披露发展分析[D].吉林大学,世界经济,2014,硕士.
[38]罗俊.基于超静定拉压杆模型的小跨高比连梁的受力性能分析及设计方法研究[D].重庆大学,结构工程,2014,硕士.
[39]蒙秀锋.广西贺州市农户选择农作物新品种的决策因素分析[D].中国农业大学,种植业,2004,硕士.
[40]杨晓宇.同煤技师学院技能鉴定考务管理系统设计和实现[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[41]雷扬.一种改进的2D-3D医学图像配准算法的设计与实现[D].哈尔滨工业大学,微电子学与固体电子学,2013,硕士.
[42]张律.奥巴马政府强化美日同盟的政策表现及原因分析[D].吉林大学,国际政治,2014,硕士.
[43]傅亮.新型碳纳米传感器及其在重金属检测中的应用研究[D].华南理工大学,2013.
[44]王嘉平.计算机仿真技术在建筑工业中的应用研究[D].东北师范大学,设计艺术学,2012,硕士.
[45]赵龙.Ti：LiNbO_3波导光开关研究[D].浙江大学,微电子与固体电子学,2004,硕士.
[46]程丹.独立董事团队异质性对会计信息质量和企业绩效的影响研究[D].浙江工业大学,会计学,2013,硕士.
[47]林俊荣,张秋生,张金鑫.中国控制权市场的识别效率———基于ＤＥＡ方法[J].北京交通大学学报(社会科学版),2014,04:.
[48]李涛.河北省重要自然湿地退化与关联因子研究[D].河北师范大学,地图学与地理信息系统,2013,硕士.
[49]吴文佳.2型糖尿病患者的肺功能变化与影响因素研究[D].苏州大学,临床医学（专业学位）,2013,硕士.
[50]王谛.面向三维多核微处理器的NoC拓扑结构研究[D].国防科学技术大学,计算机科学与技术,2012,硕士.