基于MapReduce的海量点击流信息挖掘研究

【摘要】随着互联网与电子商务的快速发展，网站产生的点击、商品、交易等数据呈现海量数据式增长。淘宝网（taobao.com）中的页面每天点击超过2亿次以上，商品成交超过5000万次/天。巨大的访问量带来了巨大的浏览记录与交易记录，挖掘这些记录中蕴含的用户信息成为时下网站建设者们最迫切的需求。点击流是用户在一个Session会话内点击URL链接而被记录的访问路径，挖掘点击流数据可以发现商品频繁点击序列，并尝试从点击流的角度优化个性化商品推荐算法。MapReduce计算模式是目前主流较为稳定的分布式计算平台，本文充分利用MapReduce在矩阵运算与聚合运算上的优势，改进传统挖掘算法在分布式环境下的数据共享、中间知识集吸收等问题，从而解决海量数据挖掘瓶颈，获得挖掘效率的提升。本文的主要工作和创新点如下：首先，本文使用HDFS构建的数据仓库+MapReduce实现开源分布式数据挖掘框架，采用自定义文本方式存储海量点击数据，使用MapReduce计算模式实现数据集的投影、选择、并、交、叉、连接等数据集操作，进而实现在HDFS中进行数据的清洗与预处理操作。其次，本文提出在MapReduce数据操作基础上使用点击树来还原一个完整Session会话内的用户点击路径，真正反映用户最原始的点击动机。在这基础之上优化原始BIDE频繁序列模式挖掘算法，消除前缀树生长过程中的递归方式，使挖掘任务在2个MapReduce任务内就能完成。最后，本文尝试从点击流数据、用户长期偏好数据多维度优化个性化推荐算法，给出一个基于点击流的ItemCF综合推荐算法应用。算法基于用户点击模式与用户长期偏好特征，引入时间因子到项相似度计算中。最终利用逻辑回归模型综合模式融合多种维度特征，给出商品Top-N推荐值排名，实验结果表明综合推荐算法效果有显著提升。
【作者】冯宗伟；
【导师】胡维华；
【作者基本信息】杭州电子科技大学，计算机应用技术，2014，硕士
【关键词】点击流；频繁序列模式；MapReduce；数据仓库；ItemCF；模式融合；

【参考文献】
[1]周樾.无线设备布置模拟分析系统研究设计[D].电子科技大学,电子与通信工程（专业学位）,2012,硕士.
[2]刘香发.国际金融一体化与经济增长[D].西南民族大学,金融学,2014,硕士.
[3]李健.中日女性作家幻想小说比较研究[D].辽宁大学,比较文学与世界文学,2012,硕士.
[4]芦静.大分子有机硅/磷阻燃剂的设计合成及应用研究[D].南昌航空大学,应用化学,2012,硕士.
[5]王一涵.我国公司资本制度及其完善研究[D].吉林财经大学,法律（专业学位）,2014,硕士.
[6]周文晓.大众视觉消费中的手势传播[D].四川大学,设计艺术学,2003,硕士.
[7]龚河滨.CFRP布加固非延性钢筋混凝土桥墩抗震性能分析[D].西南交通大学,桥梁与隧道工程,2014,硕士.
[8]王飞.基于DSP的反旋舵机控制系统设计[D].南京理工大学,导航、制导与控制,2013,硕士.
[9]张顺.基于改进协同免疫算法的Flow Shop调度问题研究[D].华东理工大学,控制科学与工程,2013,硕士.
[10]马伯娟.论WTO的竞争政策及中国的立场和对策[D].华东政法学院,法律,2004,硕士.
[11]李燕.留守初中生资助领悟与感恩心理关系研究[D].西南大学,特殊教育学,2014,硕士.
[12]容杏苑.径向基函数空间下最小二乘回归中正则化参数的后验方差迭代算法[D].复旦大学,应用数学,2012,硕士.
[13]章成广,王冠贵,黄文新.孔隙地层声波全波测井研究[J].石油地球物理勘探,1991,03:292-304+408.
[14]于佳慧.发展中国家青年教育工作者研讨班会议口译反思报告[D].吉林华桥外国语学院,翻译（专业学位）,2014,硕士.
[15]刘明嵩.鲁迅、沈从文、哈代故乡情结比较研究[D].西安外国语大学,比较文学与世界文学,2014,硕士.
[16]钟婷.篆书字体演变发展的设计学研究[D].湖南师范大学,设计艺术学,2014,硕士.
[17]江宝林,张川,申展,葛家翔,胡运发.基于互关联后继树的Web日志挖掘技术[J].计算机应用与软件,2004,05:9-11+112.
[18]刘宏伟.档案“双套制”管理的研究[D].辽宁大学,档案学,2012,硕士.
[19]吴兆民,高岩.微型轴承噪声的测量[J].轴承.1993(09)
[20]吴敏亚.基于标准的高中物理合作探究学习的策略研究[D].苏州大学,学科教学（专业学位）,2013,硕士.
[21]韩兵兵.振冲器动特性及新型低功率结构研究[D].陕西科技大学,机械制造及其自动化,2013,硕士.
[22]李拥军,高学东.钢铁企业营销分析数据仓库主题、维、粒度的确定方法[J].冶金自动化,2005,05:16-20.
[23]蒋宜睿.反向凹形垫对髋臼假体安放准确性的影响[D].吉林大学,临床医学,2014,硕士.
[24]吴志刚,苏安婕,张和中.基于Web的多学科远程教学平台的设计与实现[J].天津职业技术师范学院学报,2004,01:13-16.
[25]翟美.铝用预焙阳极焙烧炉节能低排放新技术研究[D].湖南大学,材料工程,2013,硕士.
[26]李奇奇.抗日战争时期陕甘宁边区禁毒研究[D].吉林大学,中共党史,2013,硕士.
[27]SaddamSassi.从莎士比亚的《科利奥兰纳斯》和拉辛的《布里塔尼古斯》看女性对权力的渴望[D].北京外国语大学,英语语言文学,2014,硕士.
[28]方奥.基于反求工程的人工骨三维重建研究[D].兰州理工大学,机械制造及其自动化,2014,硕士.
[29]吉洪春.C银行天津分行私人银行业务的战略研究[D].西南交通大学,工商管理（专业学位）,2013,硕士.
[30]李宝栋.电项针治疗突发性聋的疗效及影响其预后部分相关因素的临床研究[D].黑龙江中医药大学,针灸推拿学,2004,硕士.
[31]马海龙.改革开放以来回族传统经堂教育的变迁[D].兰州大学,民族学,2013,硕士.
[32]刘晓庆.MOF/Pt-GO复合材料的制备及其储氢性能研究[D].江苏科技大学,2012.
[33]王斌.试论广电网络企业信息化建设[J].广播与电视技术.2004(03)
[34]齐卫颖.基于网络社会意象的舆情可视化设计研究[D].哈尔滨工业大学,广播电视艺术学,2013,硕士.
[35]宋开峰.新型太阳跟踪装置机构的研究[D].河北工业大学,机械设计及理论,2004,硕士.
[36]陈巍.QAM调制解调器的研究与实现[D].国防科学技术大学,电子与通信工程,2012,硕士.
[37]李朵朵.齿轮传动动态弹流润滑的数值计算模型研究[D].太原理工大学,机械设计及理论,2004,硕士.
[38]张晓宇.图式与象似性在语篇连贯中的关系研究[D].四川外国语大学,外国语言学及应用语言学,2013,硕士.
[39]王琳.《丑女贝蒂》中拒绝语的语用研究[D].河北师范大学,英语语言文学,2014,硕士.
[40]宋艳霞.阿诺德·伯林特审美理论研究[D].山东大学,文艺学,2014,博士.
[41]李小慧.管件校直工艺对截面变形的影响[D].合肥工业大学,机械设计及理论,2013,硕士.
[42]何秀华.我国商业预付卡监管法律问题研究[D].西南大学,民商法学,2014,硕士.
[43]郭丽丽.马克思的异化理论及其在西方的历史演变[D].河北师范大学,马克思主义发展史,2014,硕士.
[44]李全睿.小学科学教学方法现状研究[D].东北师范大学,课程与教学论,2012,硕士.
[45]记者毛黎.美利用电子成像技术分析石墨烯[N].科技日报,2012-11-17002.
[46]杨杰.舞台吊杆同步平滑起吊的控制研究[D].太原科技大学,电力电子与电力传动,2013,硕士.
[47]郭小琳.加权子句型信念集的静态非修正处理方法研究[D].大连海事大学,计算机科学与技术,2013,硕士.
[48]刘巍.多点并行蚁群搜索在多限制动态组播中的应用研究[D].天津大学,电工理论与新技术,2004,硕士.
[49]朱晓萍.有限合伙型私募股权基金监管问题研究[D].华东政法大学,法律（专业学位）,2012,硕士.
[50]邓华君.AlkB和低氧诱导因子-1α在大鼠低氧性肺动脉高压模型肺组织中的表达[D].河北医科大学,内科学,2013,硕士.