ETL数据处理测试框架的研究与设计

【摘要】ETL（Extraction-Transformation-Loading）数据处理测试框架可以实现对ETL数据处理的模拟过程，通过框架测试结果数据与实际ETL处理结果数据进行对比分析，从单条数据的diff（different）到全部数据量的统计，从而达到全方位的对ETL数据处理过程进行测试的目的。ETL数据处理测试框架可以在不了解框架处理细节的前提下，完成对大数据的全面的、可靠的处理任务，同时在各个产品线进行敏捷开发，并在产品快速迭代的情况下，完成对各个产品线的数据回归。ETL数据处理测试框架运行于Hadoop之上，充分利用了Hadoop框架的分布式文件系统以及并行计算的特点；其将ETL过程抽象划分为不同的阶段，各个阶段又被划分为不同的MapReduce任务，交给Hadoop来调度和运行。为了能够保证使用者更加集中到自己的处理逻辑中，ETL数据处理测试框架实现了一套adapter框架，在该框架中只要通过配置mapping文件以及具体的function就可以实现数据的解析。目前框架能够兼容文本日志和PB日志两种日志格式，支持simplemap、union、join三种比较复杂的场景，并且将ETL数据处理流程划分为不同的阶段，可分步运行调试，以达到快速定位问题的目的。通过将处理结果与基础数据进行diff测试，ETL数据处理测试框架将生成测试报告文件，可以直接在hdfs（HadoopDistributedFileSystem）上进行原生结果的展示，也可以以邮件的形式进行推送，或推送到bashboard。ETL数据处理测试框架的环境可以存在于线下测试环境（tunningbox）中，以及线上测试环境（沙盒模型）中，线下可以进行小数据量的常规测试和大数据量的集中测试，沙盒环境则可以进行回归测试。论文的论述还对ETL数据处理测试框架进行了应用说明和功能测试，大量测试用例证明该框架可实现预期的设计目标，并且可以有效地应用于实际生产。论文最后总结了ETL数据处理测试框架所实现的功能，在实现过程中遇到的问题以及对框架改进的展望。
【作者】孙俪源；
【导师】张燕梅；
【作者基本信息】中国地质大学（北京），计算机科学与技术，2014，硕士
【关键词】ETL数据处理；数据仓库；测试；大数据；

【参考文献】
[1]庞晋龙.大型带锥筒形件成形工艺研究[D].中北大学,材料加工工程,2014,硕士.
[2]刘芳亭.完全性前置胎盘52例临床分析[D].吉林大学,临床医学,2013,硕士.
[3]时圣营.沟通在高校网球教学中的应用研究[D].北京体育大学,社会体育指导,2013,硕士.
[4]于莹莹.从单位制到社区制：增进社区发展的一种努力[D].沈阳师范大学,社会工作,2013,硕士.
[5]刘霞.226例大面积烧伤合并吸入性损伤的临床回顾性分析[D].南方医科大学,烧伤外科,2012,硕士.
[6]戴程程.潍坊广丰家具城进销管理系统的设计与实现[D].山东大学,软件工程（专业学位）,2013,硕士.
[7]韩召华.河北省人口老龄化发展趋势研究[D].河北师范大学,地图学与地理信息系统,2012,硕士.
[8]涂承胜,陆玉昌.Web使用挖掘技术研究[J].小型微型计算机系统,2004,07:1177-1184.
[9]牛玉梅.煤矿井下人员考勤系统中的人脸检测[D].太原科技大学,模式识别与智能系统,2014,硕士.
[10]吕鹏.昆明市房地产周期波动实证研究[D].云南财经大学,土地资源管理,2014,硕士.
[11]谢永军.内陆港空箱调运问题研究[D].大连海事大学,物流工程,2013,硕士.
[12]陈莹.白菜类作物黑斑病抗性鉴定与抗病基因QTL定位[D].南京农业大学,蔬菜学,2013,硕士.
[13]刘扬之.订正遍数对小学生知识获得效果的影响[D].山西师范大学,发展与教育心理学,2013,硕士.
[14]周锋.大断面浅埋暗挖隧道施工方法及其稳定性研究[D].西安建筑科技大学,桥梁与隧道工程,2013,硕士.
[15]卜令彩.电热整体催化剂的制备及甲烷催化燃烧性能[D].大连理工大学,化学工程与技术,2013,硕士.
[16]黄佳琦,张强,魏飞.螺旋状碳纳米管[J].化学进展,2009,04:637-643.
[17]陈忻.小动物PET时间获取单元设计及时间校正研究[D].华中科技大学,半导体芯片系统设计与工艺,2013,硕士.
[18]许佳.畜禽加工企业创新对绩效的影响研究[D].南京农业大学,产业经济学,2012,硕士.
[19]陆宇.一类四阶边值问题解的存在性[J].广东工业大学学报,2014,02:70-74.
[20]李欣.赋范空间中广义正交性与内积空间特征的研究[D].黑龙江大学,基础数学,2013,硕士.
[21]辜贵如.斯堪纳机械制造有限公司物流管理研究[D].西南交通大学,物流工程,2013,硕士.
[22]李雪.黑龙江垦区企业财务风险评价及预警研究[D].黑龙江八一农垦大学,会计学,2013,硕士.
[23]师少飞.Ni基催化剂的制备及其甲烷部分氧化/CH_4-CO_2重整耦合制合成气反应性能[D].西北大学,化学工程,2014,硕士.
[24]张鹏坤.植物miRNA预测的初步研究[D].吉林大学,软件工程,2013,硕士.
[25]杨筱燕.上海市环卫行业市场化改革研究[D].上海交通大学,公共管理,2013,硕士.
[26]李春梅,裴志国,杨爽,张淑贞.石墨烯促进对苯二酚氧化降解的研究[A].中国化学会.中国化学会第29届学术年会摘要集——第20分会：环境与健康[C].中国化学会:,2014:1.
[27]杨超.长江上游江津段德感坝河岸带周丛藻类群落结构特征及水质评价[D].西南大学,水产养殖,2014,硕士.
[28]刘斌,席裕庚.基于集结策略的非线性稳定预测控制器[J].控制与决策,2004,11:1232-1236.
[29]武高明.企业信息资源规划及数据流可视工具设计与实现[D].大连理工大学,计算机应用技术,2003,硕士.
[30]董泽坤,李辉,史忠植.多元时间序列中跨事务关联规则分析的高效处理算法[J].计算机科学,2004,03:108-111.
[31]张楠楠,彭芳,徐曼.2014我国军民两用技术与产品发展特点回顾[J].军民两用技术与产品,2015,01:13-17.
[32]张国成.微信的现状和问题研究[D].四川省社会科学院,新闻学,2014,硕士.
[33]李臣霞.基于Sagnac干涉的光纤传感技术在桥梁监测中的研究[D].北京交通大学,2014.
[34]田利云.橄榄石含水、铁弹性性质的第一性原理研究[D].大连理工大学,凝聚态物理,2013,硕士.
[35]唐成虹,杨志宏,宋斌,朱亚军.有源配电网的智能分布式馈线自动化实现方法[J].电力系统自动化,2015,09:101-106.
[36]王曦.优化A创投公司项目投资风险控制体系的研究[D].苏州大学,工商管理（专业学位）,2013,硕士.
[37].2014全国口腔生物医学学术年会通知(第二轮)[J].口腔生物医学,2014,03:118-119.
[38]费立丽.论电子合同案件的司法管辖权[D].华东政法学院,国际法,2003,硕士.
[39]刘恩相.高铁突发事件应急管理相关问题研究[D].西南交通大学,交通运输规划与管理,2013,硕士.
[40]苑靖国.曹妃甸工业区跨纳潮河2号桥桥墩防撞研究[D].大连海事大学,交通运输工程,2014,硕士.
[41]朱伟.减物质设计策略研究[D].浙江大学,设计艺术学,2004,硕士.
[42]张瑞发.某车型制动系统匹配与设计[D].吉林大学,车辆工程,2013,硕士.
[43]姚骏,陈知前,李清,余梦婷,周特,赵磊.不平衡且谐波畸变电网电压下双馈风电系统控制策略[J].电力系统自动化,2014,18:6-12.
[44]唐志勇,何芳,部丽娟,谷铁安,杨大威,傅迎春,谢青季,姚守拙.配位聚合物及其在分析传感方面的应用[J].化学传感器,2013,01:3-11.
[45]董万青.隔药饼灸治疗脾肾阳虚型溃疡性结肠炎的临床观察[D].北京中医药大学,中医外科学,2014,硕士.
[46]龙科宇.微电网经济运行的优化算法研究[D].浙江大学,控制科学与工程,2014,硕士.
[47]聂振.穿膜肽促进β-葡萄糖苷酶/苦杏仁苷酶解前药系统杀伤膀胱癌细胞的初步研究[D].广西医科大学,泌尿外科,2013,硕士.
[48]康英.柠条塔矿井水文地质特征研究[D].西安科技大学,矿产普查与勘探,2014,硕士.
[49]吴燕.福建省医疗卫生信息网络直报系统的设计与实现[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[50]王梅生,李彦平.极大代数意义下矩阵的特征值问题——一类离散事件动态系统运行周期的分析[J].自动化学报,1991,05:582-586.