基于统计学的个性化推荐算法探究

【摘要】随着互联网的高速发展,信息呈爆炸式地增长,大数据在飞速的发展中,数据挖掘是一个充满活力的研究领域,商业利益的强大驱动力将会不断地促进它的发展,个性化推荐就属于大数据时代数据挖掘应用在互联网方面的重要技术。面对海量数据,推荐系统的产生能实现信息消费者和生产者的双赢。协同过滤算法是个性化推荐中最成功和应用最广泛的算法之一,但它依赖于用户的历史评分数据,所以存在冷启动,数据的稀疏性等问题。大数据新形势下,包括个性化推荐在内的各种数据挖掘算法给统计学带来了机遇和挑战,一方面,数据挖掘的各种算法很多思想都来自于统计学；另一方面,数据挖掘面对统计学表现出了强大的生机。据此,本文探究在数据量比较大的情况下,将统计分析应用到个性化推荐算法中的效果,同时也应用数据挖掘的其他模型,如关联法则,聚类等方法改进模型。本文提出了基于统计学的个性化推荐,主要是利用MATLAB,SAS进行辅助编程,分别实现了描述性统计、多维关联法则、协同过滤的算法进行推荐。对协同过滤模型存在的缺点的改进,针对模型的数据稀缺性和冷启动问题,结合用户的评分和特征信息,提出用一维和二维的统计量改进数据的稀疏度问题,然后利用SQLSERVER2005和EXCEL数据挖掘外接模块对用户建立聚类模型,基于各类的统计分析改进模型,聚类模型不仅能解决数据的稀缺性,而且能克服冷启动问题；最后通过奇异值分解方法改进算法,并由平均绝对误差来衡量各种改进效果。通过对比本文得出结论：根据用户的评分和特征进行统计分析,用分析结果改进协同过滤算法有比较好的效果,结合统计学,数据挖掘的模型对于冷启动问题有较大的改善。本文的实验可以说明统计学的思想在各种复杂的模型中都能得到体现,在未来大数据发展的路上,统计学既要保持其最基础的生命力,同时要加强在其他学科的应用,推进统计方法制度改革,扩展统计学研究具体科学的深度和广度。
【作者】黄秋婷；
【导师】周永强；
【作者基本信息】厦门大学，统计学，2014，硕士
【关键词】统计学；大数据；协同过滤；奇异值分析；聚类；个性化推荐；

【参考文献】
[1]郝怡.宋代帝室中兄终弟及服制研究[D].山西师范大学,专门史,2014,硕士.
[2]卢国兴.河北省重要自然湿地生态需水量研究[D].河北师范大学,地图学与地理信息系统,2012,硕士.
[3]林建华.世界革命视域下共产国际的实践逻辑[J].中国社会科学,2014,08:4-24+204.
[4]王延超.载铂催化剂的制备及其应用于电解水制氢气[D].北京化工大学,2012.
[5]刘士刚,朴顺姬,安卯柱,刘芳.不同类型沙地上差巴嘎蒿细根的分布状态[J].植物生态学报,2003,05:684-689.
[6]杨素,刘锋,梅生伟,章德.基于阻尼比的小干扰安全域多项式近似边界及其可信域[J].电力系统自动化,2012,17:8-14.
[7]王新水.老子“道”论新探[D].苏州大学,马克思主义哲学,2003,硕士.
[8]吴思武.橡胶/纳米碳素复合材料的分散与界面研究[D].华南理工大学,2014.
[9]唐晓君.2型糖尿病危险因素的研究及分子流行病学探讨[D].重庆医科大学,流行病与卫生统计学,2004,硕士.
[10]闫海瑞.常压下利用离子液体制备SiO_2气凝胶的研究[D].大连工业大学,化学工艺,2010,硕士.
[11]王瑞江.烟草物流系统的整合优化研究[D].北京交通大学,2010.
[12]章亮亮.试述我国土地征用补偿制度及完善[D].华东政法学院,宪法学与行政法学,2004,硕士.
[13]李珊珊.山东传统年画中吉祥符号在我的油画创作中的探索[D].山东师范大学,艺术（专业学位）,2013,硕士.
[14]许潇.直流微网的电能质量调控及治理研究[D].北京交通大学,2015.
[15]李秀荣.雍乾嘉时期的胥吏问题研究[D].陕西师范大学,中国古代史,2004,硕士.
[16]周卫.我国地方政府土地财政问题成因及治理思路研究[D].北京交通大学,2015.
[17]于磊.DAZL基因对犊牛支持细胞几种精子发生相关基因表达的影响[D].东北农业大学,动物遗传育种与繁殖,2013,硕士.
[18]陈龙.被征地农民养老保险衔接问题研究[D].华中师范大学,农村与区域发展,2014,硕士.
[19]郭荣新.基于电子健康档案的区域卫生信息平台的研究[D].吉林大学,软件工程,2012,硕士.
[20]刘姝男.人参多糖及其组分抗老年痴呆的有效性研究[D].吉林大学,药理学,2014,硕士.
[21]阮陈孝辉（NguyenTranHieuHuy）.硝基还原酶的资源挖掘及其在芳香羟胺可控合成中的应用研究[D].华东理工大学,生物化工,2014,硕士.
[22]BashkuevYuB,KhaptanovVB,DembelovMG,BoloevVP.用无线电阻抗测深法研究Baikal湖Proval湾的地电结构[J].石油地球物理勘探,2004,S1:149-150.
[23]王莉莉.大直径厚壁压力气瓶淬火过程数值模拟[D].燕山大学,机械设计及理论,2014,硕士.
[24]王宝珍.中日高校思想政治教育比较研究[D].西北师范大学,思想政治教育,2013,硕士.
[25]刘娟.近十届陕西省普通高校田径运动成绩分析与态势研究[D].延安大学,体育教育训练学,2014,硕士.
[26]张业平.连续梁桥结构体系的可靠度研究[D].合肥工业大学,市政工程,2004,硕士.
[27]江梦.基于菲涅尔变换的光学图像加密方法研究[D].燕山大学,电路与系统,2014,硕士.
[28]文江苏.模拟降雨条件下不同土壤容重对土壤侵蚀的影响试验研究[D].江西农业大学,环境科学,2012,硕士.
[29]罗皓斐.纸币清分机图像处理系统的研究[D].浙江大学,2005.
[30]林济铿,李鸿路,罗萍萍,高东亮.统一考虑变电站和网架优化的配电网综合规划[J].电力系统自动化,2006,19:42-46.
[31]曲成惠.应用喷射水流电阻法的几种轧钢仪表[J].冶金自动化,1981,04:35-40.
[32]王庆林.多值射线追踪方法对比研究[D].长安大学,固体地球物理学,2013,硕士.
[33]卢珊.我国附条件不起诉制度完善研究[D].西南交通大学,法律,2013,硕士.
[34]梁炜彤.四白汤对黄褐斑患者血清性激素的影响及其疗效评价[D].广州中医药大学,中医学（专业学位）,2013,硕士.
[35]骆钦华,骆英.中国何时出现杆秤?——《漫话杆秤》之三[J].中国计量.2005(03)
[36]万霖.我国农村合作银行法人治理研究[D].甘肃政法学院,民商法学,2011,硕士.
[37]梅婷.高等职业教育实践课程评价研究[D].浙江工业大学,2009.
[38]薛萌.中国矿业大学高水平男子篮球队调查分析[D].苏州大学,体育教育训练学（专业学位）,2013,硕士.
[39]张玉平.脉冲电沉积技术制备硅烷/氧化石墨烯复合涂层及其电化学性能研究[D].中国海洋大学,2014.
[40]李利仲.内蒙古蒙古族寻常型银屑病与HLA-Cw*0602、-DQB1等位基因的相关性研究[D].内蒙古医科大学,皮肤病与性病学,2013,硕士.
[41]陈斯蕾.如何解决制造企业服务创新的困境：跨界搜索的作用[D].南京大学,企业管理,2013,硕士.
[42]沙剑梅.现代教育技术在高中生物教学形象思维能力培养中的作用研究[D].苏州大学,教育（专业学位）,2014,硕士.
[43]李顺堂.以酿酒酵母为载体的APCs靶向的核酸疫苗的研究[D].湖北大学,细胞生物学,2012,硕士.
[44]陈建光.壳聚糖/氧化石墨烯复合材料结构和性能研究[J].重庆电子工程职业学院学报,2011,01:153-154.
[45]李晴.蔡元培大学管理艺术之研究[D].曲阜师范大学,高等教育学,2013,硕士.
[46]杨柳.基于作业成本法的高校教育成本作业划分研究[D].沈阳理工大学,会计学,2012,硕士.
[47]卢红频.双关语的生成机制[D].四川外国语大学,外国语言学及应用语言学,2013,硕士.
[48]蔡安芸.温针灸治疗神经根型颈椎病疗效观察[D].广州中医药大学,针灸推拿学（专业学位）,2013,硕士.
[49]朱哲元.磁性介孔材料的自组装合成及形貌调控[D].大连理工大学,无机化学,2013,硕士.
[50]刘景超.PPARs基因单体型对C反应蛋白水平的影响以及与肥胖的交互作用[D].苏州大学,流行病与卫生统计学,2012,硕士.