云下载系统的理论模型与存储资源分配算法研究

【摘要】文件分发系统是互联网重要的信息传播平台。云计算的出现和云技术的迅猛发展,促成了云下载系统的出现并迅速成为关注的焦点。云下载系统可以提供预约式文件分发服务,用户提出下载请求之后可以离线甚至关机,而不需要一直保持在线,由此节省了大量用户时间；云下载系统可以根据用户需求,按需租用云平台提供的计算、存储和带宽等资源来获取、缓存和向用户返回预约的文件,保证用户文件可用性和取回文件的速率。预约式服务与云平台的结合,赋予了云下载系统以下新特点：增加了系统与用户的交互形式；系统可以统计不同用户的文件预约请求复用文件,减少系统资源开销；系统如何租用和管理云资源,是提高文件分发效率和降低服务成本的关键。但是,现有云下载系统的资源分配策略缺乏对预约式下载服务的深度考虑,会导致存储资源浪费、用户间服务不公平、资源开销大等问题。本文针对这些问题,以云下载系统新特点作为视角,建立了相关理论模型,并设计了优化的资源分配策略,主要工作和创新点如下：(1)针对预约式服务交互过程,本文建立了系统交互模型,从理论上刻画了采用预约式服务的云下载系统运行机制,并提出了系统响应策略(何时通知用户、何时开始获取文件)。首先,分析单个用户下载过程,建立了交互模型量化交互过程中的各时间元素及其关系,并由模型理论分析,推导出用户时间开销和系统存储时间开销。其次,建立了最小化这两个时间开销的多目标优化问题,并分别求解得到最优化用户体验和最小化系统存储开销的系统响应策略。最后,由多目标优化问题的求解得到用户时间开销与系统存储时间开销之间是折中的关系,在此基础上提出了在满足用户服务质量需求的条件下最小化系统存储开销的系统响应策略。(2)针对驱动用户与系统合作的激励问题,本文设计了适用于多用户场景的用户合作激励机制,通过对同一个文件的多个预约请求的汇聚和连续服务实现文件的高效复用。首先,建立了多用户请求云下载的多用户模型,获得不同文件复用情况下的系统服务成本。其次,在用户无私和用户自私两种情况下,分析用户与系统的收益。并针对这两种用户提出了根据用户等待时间和报价提供差分服务的合作机制。最后,通过仿真和理论分析证明了这些机制有效降低了系统获取文件和缓存文件的开销,保证了用户服务的公平性。(3)针对已有的云缓存分配算法没有考虑预约式服务特点的问题,本文提出了存储容量模型,定量地给出了系统需要的云缓存量(即云存储需求下限)。首先,通过对云下载系统中云缓存设计面临问题的深入分析,揭示了用户删除行为与文件有效期是影响系统云缓存占用量的关键因素。其次,通过大规模数据分析和挖掘,发现了云缓存的存储特性(如用户请求数与缓存文件数的关系等)和用户删除文件的规律。最后,建立了存储容量模型。该模型公式化地表示了请求数、文件有效期与系统云缓存量的关系,为云缓存容量规划和文件有效期设计提供了理论依据。与基于真实数据的仿真值进行比较,模型预估的云缓存需求量误差在10%以内。(4)针对云下载系统中存储资源开销和计算资源开销之间的关系,本文在云存储需求下限的基础上建立了系统资源开销模型,提出了云缓存内容管理算法。对大规模商业云下载系统的实际运营数据进行分析,得到系统资源开销模型中的关键参数。由该模型求解获得的云缓存租用量,在满足系统的需求的条件下使云存储和计算资源的开销总和最小。然后,对大规模真实系统中的用户行为数据进.行分析,得到了用户取回行为的特征。在此基础上,提出了一种云缓存内容管理算法(F-LRU)。最后,通过大规模实际数据驱动的仿真试验,结果显示了F-LRU算法的命中率和比特命中率都高于LRU、SIZE算法。
【作者】徐嬴颖；
【导师】陈常嘉；赵永祥；
【作者基本信息】北京交通大学，通信与信息系统，2014，博士
【关键词】文件分发系统；云下载；交互模型；资源分配；系统优化；

【参考文献】
[1]李青振.基于Top-k高维检索算法的海量数据存储及调度方法研究[D].浙江工业大学,计算机软件与理论,2012,硕士.
[2]郭超.沼气发电机组并机控制系统研究[D].北京交通大学,2014.
[3]徐晓娜.动态S~2图及带链规则S~2图的设计[D].浙江工商大学,统计学,2013,硕士.
[4]刘科峰.合肥城区典型景观水体水环境变化特征及评价[D].合肥工业大学,环境科学与工程,2014,硕士.
[5]樊笑辰.顾客心理授权对服务失误归因的影响研究[D].东北大学,企业管理,2010,硕士.
[6]高斌超,杨勇,谢东杰,杨东升.海洋经济背景下浙江中小船舶修造业调研——以舟山船舶制造基地为例[J].高教与经济,2012,02:45-52.
[7]康彩红.CFP汉华易美图片库发展战略研究[D].首都经济贸易大学,工商管理（专业学位）,2013,硕士.
[8]杨晶.高端农产品体验营销策略研究[D].兰州理工大学,企业管理,2014,硕士.
[9]陈明.当代中国社会阶层分化的宪法学思考[D].郑州大学,宪法学与行政法学,2013,硕士.
[10]胡迪.浅析导致辛亥武昌首义爆发的日本因素[D].湖北大学,世界史,2011,硕士.
[11]周平红.GPS高程在市政工程测量中的应用研究[D].广东工业大学,结构工程,2013,硕士.
[12]李斌.Teradata数据仓库在中国邮政的应用前景研究[J].邮政研究,2005,05:20-22.
[13]王亚亚.国际资本流动与“母国偏好”之谜[D].山东大学,金融学,2013,硕士.
[14]郑杰.中国官办型慈善组织法律规制研究[D].西南政法大学,宪法学与行政法学,2012,硕士.
[15]龙胜春,龙军.一种应用于无线传感器网络的数据压缩方法[J].浙江工业大学学报,2014,02:210-213.
[16]朱华.泰国华侨崇圣大学的教学现状与思考[D].吉林大学,汉语国际教育,2013,硕士.
[17]张强.DG-2型铜系金属缓蚀剂的制备及缓蚀性能的测试[D].大连理工大学,电化学,2004,硕士.
[18]陈亮,胡昌华.基于退化建模的可靠性分析研究现状[J].控制与决策,2009,09:1281-1287+1293.
[19]万莉.试论学科教学中的德育渗透[D].华中师范大学,教育管理,2013,硕士.
[20]傅兵.利用钢厂副产煤气资源发展碳一化工[J].酒钢科技.2006(04)
[21]贾明伟.网络环境下通信自由的刑法保护[D].西南政法大学,刑法学（专业学位）,2012,硕士.
[22]李昊龙.多金属氧簇/石墨烯功能复合材料[A].中国化学会、国家自然科学基金委员会.中国化学会第五届全国多酸化学学术研讨会论文摘要集[C].中国化学会、国家自然科学基金委员会:,2013:1.
[23]于秋红.小样本条件下的生物特征识别研究[D].山东大学,计算机应用技术,2013,硕士.
[24]张剑涛.基于人力资本的企业家薪酬分析[D].浙江工业大学,技术经济及管理,2004,硕士.
[25]赵君华.深圳市医务社工与义工“两工联动”模式探析[D].华中科技大学,社会工作,2013,硕士.
[26]杜振华.大力健全城市建设法规系统[J].城市.1994(04)
[27]薛茜.大豆花器官优势表达基因GmMYB181的克隆及功能研究[D].南京农业大学,作物遗传育种,2013,硕士.
[28]蒋磊.双电机驱动雨刮系统控制方法研究[D].哈尔滨工业大学,控制工程,2013,硕士.
[29]樊昆仑.一种基于ARM与RFID技术的停车场控制器的设计[D].大连海事大学,电子与通信工程,2014,硕士.
[30]朱景.山西高平鼓书调查与研究[D].山西师范大学,民俗学,2013,硕士.
[31]胡昌华,王兆强,周志杰,司小胜.一种RVM模糊模型辨识方法及在故障预报中的应用[J].自动化学报,2011,04:503-512.
[32]张捷.ITU-T对ENUM的研究进展[J].电信网技术.2002(01)
[33]管成伟.来源于中国东海的溶藻细菌Bacillus sp.LP-10的溶藻特性及溶藻机制研究[D].厦门大学,微生物学,2014,硕士.
[34]王丽娟.国产溴化丁基橡胶的结构与基本性能及应用研究[D].北京化工大学,材料工程（专业学位）,2013,硕士.
[35]黄丽,蒋练军,熊翠秀,张光富.扶手椅型石墨烯纳米带(AGNRs)电子结构的应力调控[J].中南大学学报(自然科学版),2013,03:1063-1069.
[36]贵体翔.彩色显示技术面面观(2)[J].实用影音技术,2012,12:66-75.
[37]罗越群.基于树核函数的汉语复句关系词特征分析[D].华中师范大学,计算机技术（专业学位）,2014,硕士.
[38]杨颖.战国时期楚漆器中凤鸟形象的审美价值[D].武汉纺织大学,设计艺术学,2013,硕士.
[39]陈倩雯.75V沟槽型功率MOSFET的特性研究[D].西南交通大学,微电子与固体电子学,2013,硕士.
[40]尹可.基于微透镜阵列的多光束共焦成像系统若干问题的研究[D].哈尔滨工业大学,仪器仪表工程,2013,硕士.
[41]王鹏.论辜鸿铭的个性对其翻译实践的影响[D].广西民族大学,外国语言学及应用语言学,2013,硕士.
[42]郭越.基于完全信息重复博弈的无线传感器网络中安全路由算法的研究[D].东北大学,计算机软件与理论,2011,硕士.
[43]韩启纲.模糊控制原理、设计及应用──第3讲　模糊集合论基础（上）[J].冶金自动化,1995,03:43-46.
[44]赵哲.基于关键链技术的EPC进度管理研究[D].河北工程大学,企业管理,2012,硕士.
[45]邓文林.大动态信噪比下的多体制通信信号自动调制识别算法研究[D].哈尔滨工业大学,信息与通信工程,2014,硕士.
[46]李丽华.ARM在耳鸣治疗中的应用[D].大连海事大学,控制工程,2013,硕士.
[47]陈路路.基于负荷预测的集中供热系统能效研究[D].山东建筑大学,供热、供燃气、通风及空调工程,2013,硕士.
[48]孔安安.经筋理论发展源流及特殊筋病的证治考源[D].北京中医药大学,针灸推拿,2013,硕士.
[49]杨梅.桑苏二陈汤治疗痰热内郁型急性咳嗽的临床疗效观察[D].河北医科大学,中医内科学,2014,硕士.
[50]郭丽遐.钱穆教育智慧新探[D].河北大学,教育史,2014,硕士.