混合云环境下科学工作流数据布局研究

【摘要】随着互联网和数据存储技术的发展和普及,数据密集型应用已经广泛的应用于天气预报、天体物理、生物信息等科学计算领域。这种数据密集型应用程序处理的数据量十分巨大,通常达TB甚至PB级,并且应用程序数据之间都存在着一定的关联关系,通过使用工作流技术,能够实现让各种具有复杂计算特性的任务自动化执行,使用工作流技术的数据密集型应用又称为科学工作流。云计算作为典型的应用分布式网络的计算技术之一,能够以相对便宜的软硬件设施为科学工作流应用提供执行所需的存储和计算资源,为其提供一种全新的廉价部署和执行方案。将科学工作流应用部署在云计算环境中,一方面可以节约大量的执行成本,同时也为分布在世界各地通过Internet相互协作的科研人员提供了一种资源共享与合作研究的平台。然而云计算系统在动态的为科学工作流应用提供其执行所需的高性能计算资源和海量存储空间的同时也给用户的隐私保护与信息资产安全带来非常大的冲击与挑战。Gartner在2012年关于云计算的调查结果表明,70%以上接受调查的企业CTO认为近期不考虑应用云计算的主要原因为云计算存在数据安全性与隐私性的保护隐患。此外,数据是有重量的,当用户将数据存在云计算服务商提供的远程服务器中,数据就变得异常繁重而难以迁移,数据迁移成本比存储数据成本昂贵的多。为了适应企业的安全性和迁移需求,云计算演变为公有云、私有云和混合云。公有云具备更好的扩展性和灵活性,适合部署开放性的应用程序；而私有云更加安全而且便于控制,适合部署关键数据和敏感数据。混合云是新的云计算架构,是公有云计算和私有云计算的混合,具备扩展性和安全性双重特性的云计算模式。可以根据不同的应用需求以及成本约束的考虑,灵活的在公共云和私有云之间选择或并用,来构建具有高可用性、动态扩展性、高安全性的计算中心和资源中心,形成混合云的应用模式。公有云是一种将IT的相关资源以服务的方式提供给用户使用,用户通过付费按需获取的计算模式。部署在混合云环境中的科学工作流应用,其执行过程是混合云环境中公有云和私有云协作的过程,该过程中跨数据中心数据移动难以避免,给部署在混合云环境中的科学工作流带来了2个问题：(1)跨数据中心数据移动会产生很长的时间开销；(2)跨数据中心数据移动会产生很高的传输费用。本文针对上述两个问题分别提出了两种不同的数据布局策略。针对传输时间问题,传统数据布局方法采用负载均衡划分模型,划分数据关联矩阵,布局数据集。然而没有考虑平衡负载引起的传输时间开销。我们提出了一种新型的基于数据关联破坏度的划分模型,基于该模型提出了一种优化传输时间的数据布局方法,该方法包含2个算法：初始阶段静态布局算法和运行阶段动态布局算法。实验表明,本文算法能够有效的降低科学工作流执行时跨数据中心数据传输时间。针对传输费用问题,目前学者通常是从单个数据密集型应用的角度研究降低数据传输费用。然而工作流系统一般都包含多个工作流,并且工作流相互之间共享数据。传统单工作流数据布局优化算法对多工作流优化效果有限。我们将从全局的角度建立基于多科学工作流数据关联图的传输费用模型,研究基于二进制粒子群算法BPSO(BinaryParticleSwarmOptimization)的数据布局优化策略,从而减少对云计算传输资源的使用费用。本文通过对混合云计算模式进行模拟,建立混合云数据中心模拟环境,并对本文提出的两种数据布局策略与其相似的数据布局策略分别在数据传输时间,数据传输费用等方面进行对比实验。实验结果显示,与其同类的数据布局策略对比可以发现,本文所提出的两种数据布局策略具有更好的综合性能,不仅对混合云环境下科学工作流的传输时间、传输费用的优化研究具有重要意义,同时也适于混合云环境中的其它数据密集型应用。本文的研究能够大幅度降低云服务商的运行成本,从而为企业提供廉价、安全、高效的计算和存储服务。
【作者】马飞；
【导师】李学俊；
【作者基本信息】安徽大学，计算机软件与理论，2014，硕士
【关键词】科学工作流；混合云计算；数据布局；传输时间；传输费用；聚类算法；粒子群算法；

【参考文献】
[1]张英丽.含Dzyaloshinskii-Moriya相互作用海森堡自旋链中热纠缠性质的研究[D].湖北大学,凝聚态物理,2012,硕士.
[2]朱弘斌.企业资源计划（ERP）成功应用的对策研究[D].河海大学,管理科学与工程,2004,硕士.
[3]张永格.加强高校舆论宣传阵地建设在大学生思想政治教育中的作用研究[D].河北师范大学,马克思主义基本原理,2012,硕士.
[4]杨清忠.邓小平人才理论与西部人才开发研究[D].西南师范大学,2002.
[5]胡琦.掏土法纠偏有限元分析[D].浙江大学,防灾减灾及防护工程,2004,硕士.
[6]翁宜慧,孙志挥,赵传申.基于粗糙集的数据概化算法[J].计算机工程,2003,04:169-170+172.
[7]林赛珍.缺血性卒中急性期的他汀类药物治疗对载脂蛋白的影响[D].福建医科大学,神经病学,2014,硕士.
[8]沈林.外资并购中国上市公司实证研究[D].华东师范大学,世界经济,2004,硕士.
[9]袁林泽.华东地区Q型烟粉虱抗性监测及抗性基因频率检测[D].扬州大学,农药学,2011,硕士.
[10]王佳颖.试论文学翻译中的明晰化[D].上海外国语大学,英语语言文学,2012,硕士.
[11]付丽萍.地方人大预算监督立法体系研究[D].吉林大学,经济法学,2013,硕士.
[12]肖进.稻瘟病菌无毒基因AVR-Pii物理图谱的构建[D].中国农业大学,植物病理学,2004,硕士.
[13]徐晓晴.连锁超市020式体验营销运营模式创新研究[D].大连海事大学,工商管理,2014,硕士.
[14]刘杰.车载柔性机械臂轨迹规划及准静态变形补偿控制[D].吉林大学,模式识别与智能系统,2014,硕士.
[15]韩启纲.模糊控制原理、设计及应用──第8讲　微机化模块化通用模糊控制器硬件及软件[J].冶金自动化,1996,02:51-55.
[16]郭艳玲.航运物流责任综合保险法律问题研究[D].大连海事大学,海商法,2014,硕士.
[17]姜浩斌.湖南省基于需求侧管理的峰谷分时电价政策研究[D].长沙理工大学,企业管理（专业学位）,2012,硕士.
[18]刘云广.基于地面三维激光扫描技术的变形监测数据处理[D].北京建筑大学,地图制图学与地理信息工程,2013,硕士.
[19]俞舟燕.面向野生动物监测的无线多媒体传感器网络节点的设计与研究[D].北京林业大学,机械电子工程,2013,硕士.
[20]林辉.血管瘤组织中TRAIL蛋白及其mRNA的表达和意义[D].广西医科大学,外科,2004,硕士.
[21]单胜辉.我国电信服务业国际竞争力比较及其影响因素分析[D].浙江工业大学,2008.
[22]张以鹏.并购活动中目标企业估价研究[D].大连理工大学,工商管理,2003,硕士.
[23]刘琦.mRECIST标准在评估原发性肝癌治疗疗效肿瘤活性的临床价值[D].南方医科大学,肿瘤学（专业学位）,2014,博士.
[24]施英.茉莉花干综合开发技术研究[D].湖南农业大学,茶学,2004,硕士.
[25]杨颖.高职高专护理专业学生医德教育现状调查及对策研究[D].郑州大学,思想政治教育,2013,硕士.
[26]马昕,孙优贤.由规则归纳系统中发掘感兴趣模式[J].计算机应用,2003,04:26-28.
[27]赵亮.南湾鳙鱼鱼肉品质特性研究[D].西北农林科技大学,食品加工与安全,2012,硕士.
[28]安静静.晚唐五言古诗创作研究[D].华东师范大学,中国古代文学,2013,硕士.
[29]薛慎骁.特大断面公路隧道结构受力特性及稳定性分析研究[D].长安大学,桥梁与隧道工程,2014,硕士.
[30]贾文峥.大型铁路客运站的进路分配问题及缓冲时间研究[D].北京交通大学,2010.
[31]刘鹏.基于B/S模式网络课程在线测试平台的设计与开发[D].内蒙古师范大学,教育技术学,2012,硕士.
[32]邹丽萍.基于虚拟现实的气象灾害场景关键技术研究[D].南京信息工程大学,系统分析与集成,2012,硕士.
[33]张洋洋.苏州园林景观艺术在室内设计中的应用研究[D].西南交通大学,艺术设计,2013,硕士.
[34]闫丽丽.企业社会责任对员工绩效的影响[D].大连理工大学,企业管理,2013,硕士.
[35]欧涛.知识社会视野中的学位制度[D].南京师范大学,高等教育学,2012,硕士.
[36]林中伟.扩展企业资源计划及其若干关键技术研究[D].南京航空航天大学,2004.
[37]蒋鑫.高铁城市范围单侧高层建筑特殊声屏障声学研究[D].西南交通大学,环境工程,2014,硕士.
[38]李银英.基于业主方的政府保障房建设项目全过程管理研究[D].浙江工业大学,2012.
[39]曾冬辉.BTEX降解菌分离纯化鉴定及其固定化载体的研制[D].广东工业大学,环境工程（专业学位）,2014,硕士.
[40]许振国.基于地理信息系统的云南省家鼠鼠疫流行风险评估初探[D].大理学院,流行病与卫生统计学,2013,硕士.
[41]石好果,王军,孙宝京.物、化探技术在潜山勘探中的应用——以车古20潜山为例[J].石油地球物理勘探,2003,02:178-181+220-109.
[42]扎登巴.基于Wi-Fi技术的嵌入式指纹识别系统的研究与实现[D].内蒙古大学,信号与信息处理,2014,硕士.
[43]吴攀峰.六自由度工业机器人的NURBS曲线插补算法的研究[D].浙江工业大学,2013.
[44]郑儒.三维VSP上下行波及多波波场分离方法研究[D].成都理工大学,固体地球物理学,2013,硕士.
[45]李刚夫,史裕全.国产变频异步电动机在高线粗、中、预精轧机中的应用[J].冶金自动化,2002,04:69-70.
[46]李圣陶.茶油中苯并（a）芘溯源及含量控制关键技术研究[D].中南林业科技大学,农产品加工及贮藏工程,2013,硕士.
[47]张霜,张育新,马克明.保护性的蚂蚁-植物相互作用及其调节机制研究综述[J].植物生态学报,2010,11:1344-1353.
[48]李新德,杨伟东,DEZERTJean.一种飞机图像目标多特征信息融合识别方法[J].自动化学报,2012,08:1298-1307.
[49]宋肖娜.北京市利用FDI质量问题研究[D].首都经济贸易大学,国际贸易学,2014,硕士.
[50]许永飞.车载旋转惯导系统定位定向技术研究[D].国防科学技术大学,航空宇航科学与技术,2012,硕士.