大数据及在当代互联网应用中的研究

【摘要】据Gartner研究表明,每天我们要产生2.5QB的数据,而在目前全世界的所有的数据中,90%的数据是近2年内产生的[1]。这些数据来之与各个不同的地方,例如传感器收集到的天气的数据[2],在社交媒体网站上的帖子[3],数码相片和录像,购物产生的交易数据[4],甚至手机GPS的信号产生的地理数据[5]。那么这些数据就是所谓的大数据。随着全球的企业,政府组织开始认识到大数据的重要性,由机器传感器或者移动设备产生的数据以一个巨大的比例膨胀。有关机构预测在接下来的五年当中,这样的数据会增长超过650%,而这些数据大多都是机器和传感器产生的非结构化的数据。Gartner预测到了2015年,由于业务分析的需要,70%的投资会花在对企业IT信息架构的扩展和标准化,包括对服务器,存储架构,应用软件及服务的需求上面。如今大数据的影响力已经从企业,医疗扩散到了家庭宽带的设置和链接设备上。很快的成为了行业领先的分析数据的工具,比之前的工具更加便捷,而且节约成本。随着近几年来,互联网服务的飞速发展,国内的互联网三大巨头,百度,腾讯,阿里从好几年前就开始引入了大数据进行互联网业务决策。本文在这样的情况下,主要研究几方面的内容1.对大数据的现状和定义进行重新分析,深入了解何为大数据以及如今行业和市场对大数据的理解,再分析了大数据的多个研究方向,更好的了解大数据本身。2.对大数据普及的现状进行分析,阐述了如何对大数据的庞大数据集进行瘦身以及展望大数据市场未来发展的情况。3.从本人工作所涉及到的电子商务大数据预测的情况出发,对基于时间戳的网页点击数据进行预处理和分析,从而可以对业务进行更准确的预测。4.从目前流行的互联网在线社区获取数据,获取通过用户的属性,发现用户的典型行为模式,并且将用户分组,给互联网在线社区提供商进行决策依据。
【作者】林荣耀；
【导师】郭锋；
【作者基本信息】厦门大学，人工智能，2014，硕士
【关键词】大数据；数据仓库；数据精简；时间戳；用户行为模式；

【参考文献】
[1]韩建华.经济适用住房发展分析及其相关政策研究[D].天津大学,管理科学与工程,2004,硕士.
[2]吴文智.纯电动轿车车内声品质预测模型开发研究[D].吉林大学,测试计量技术及仪器,2014,硕士.
[3]王玮.从可比语料中抽取等价实体翻译对的研究[D].哈尔滨工业大学,计算机科学与技术,2014,硕士.
[4]李丽.采空沉降对长输管道应力变形影响研究[D].北京交通大学,地质工程,2013,硕士.
[5]聂荣,潘德惠,钱克明.农业剩余劳动力转移的适度规模及优化控制[J].控制与决策,2005,02:174-178.
[6]王竞妍.再生骨料缺陷对再生混凝土耐久性的影响[D].北京交通大学,2013.
[7]邓雅丽.吡喹酮治疗华支睾吸虫病的临床分析[D].广西医科大学,传染病学（专业学位）,2013,硕士.
[8]陈信钢.文化体制改革视野下统战文化研究[D].福建师范大学,中共党史,2013,硕士.
[9]方红.盐酸贝那普利多晶型的制备及表征研究[D].浙江大学,应用及分析化学,2013,硕士.
[10]卜华文.基于ASA频谱变化的LTE-A协作多点传输集合管理研究[D].安徽大学,通信与信息系统,2014,硕士.
[11]郭聪颖.中美电视相亲节目中“爱”概念隐喻的对比研究[D].山西师范大学,外国语言学及应用语言学,2014,硕士.
[12]王航.不同水平武术运动员的知觉、反应时和动作协调性差异的研究[D].首都体育学院,体育教学,2013,硕士.
[13]滕达.CD40单克隆抗体联合免疫细胞治疗直肠癌的实验研究[D].中国人民解放军医学院,外科学,2013,硕士.
[14]刘瑛.在物理教学中渗透现代高科技知识[J].中学物理,2011,14:41-42.
[15]姚传茂.Kerberos认证系统的研究与改进[D].合肥工业大学,计算机应用技术,2003,硕士.
[16]李永涛.创伤弧菌溶细胞素基因vvhA的克隆和表达[D].浙江大学,病原生物学,2004,硕士.
[17]陈悦,李玲,何秋伶,陈进红,祝水金.镉胁迫对三个棉花品种(系)产量、纤维品质和生理特性的影响[J].棉花学报,2014,06:521-530.
[18]张亚辉.基于ARM的阻抗测量系统的设计[D].西北师范大学,电路与系统,2013,硕士.
[19]朱晓云.Web数据挖掘与个性化信息服务中用户研究[J].情报杂志,2004,02:34-35.
[20]于彩霞.中国经济周期波动的影响因素分析[D].东北师范大学,西方经济学,2012,硕士.
[21]申楠.我国网络舆情监管研究[D].东北大学,行政管理,2010,硕士.
[22]郑俊飞.文本分类特征选择与分类算法的改进[D].西安电子科技大学,计算机软件与理论,2012,硕士.
[23]张师超,张继连,陈峰,倪艾玲.负增量式关联规则更新算法[J].计算机科学,2005,09:153-155+175.
[24]张巧玲.美国大学本科生学术支援研究[D].湖南大学,教育学,2013,硕士.
[25]朱雅娟,阿拉腾宝,董鸣,黄振英.增加水分与养分对克隆植物羊柴自然种群繁殖权衡的影响[J].植物生态学报,2007,04:658-664.
[26]杨敏,郭天琦,嵇舒昕.关于微软、苹果、惠普公司的组织文化差异比较及启示[J].现代物业(中旬刊),2014,06:56-57.
[27]韩涛.音频重采样算法设计与实现[D].西安电子科技大学,通信与信息系统,2010,硕士.
[28]伍杰源.“实货制”的铁路货物运输研究[D].北京交通大学,2013.
[29]朱娟.家蚕山梨醇脱氢酶基因的时空特异表达及启动子特性分析[D].江苏科技大学,特种经济动物饲养,2014,硕士.
[30]王奕.氨基酸类递质与肝郁气滞证失眠的相关性及加味柴胡疏肝散干预研究[D].湖北中医药大学,中医内科学（专业学位）,2013,硕士.
[31]王爽.电影艺术对当代乡土小说的重构[D].西安建筑科技大学,科学技术哲学,2013,硕士.
[32]李杨.面向全自动三维扫描系统的多视角三维数据自动配准和融合技术研究[D].吉林大学,计算机应用技术,2014,硕士.
[33]毛兴江.服务器性能测试与能效研究[D].北京邮电大学,电子与通信工程（专业学位）,2013,硕士.
[34]范风云.儿童文学与审美素质教育初探[D].华中师范大学,学科教学,2013,硕士.
[35]刘剑,谭甜源,乐健.三角波比较法的幅值和相位补偿原理[J].电力系统自动化,2010,16:69-72.
[36]肖会芹,何勇,吴敏,肖伸平.基于T-S模糊模型的采样数据网络控制系统H_∞输出跟踪控制[J].自动化学报.
[37]潘文娇.《洪武正韵译训》的声母体系研究[D].南京大学,外国语言学及应用语言学,2013,硕士.
[38]唐玉春.2-酰基苯并噻唑衍生物和2-膦酰基苯并噻唑衍生物的合成研究[D].郑州大学,有机化学,2013,硕士.
[39]可宗莉.高校教师岗位绩效薪酬制度实施相关问题研究[D].北京交通大学,2007.
[40]郑茜茜,夏博能,沈骏,吴晓琴,沈建福.聚酰胺色谱法分离油茶蒲提取物中抑制5α-还原酶的活性部位[J].食品科学,2014,13:20-25.
[41]苏珊.城市滨水型绿道规划设计研究[D].华中科技大学,风景园林,2013,硕士.
[42]黄梅.企业合并价差问题研究[D].清华大学,会计学,2003,硕士.
[43]黄妮娜.基于CORBA的分布式流量管理系统的设计与实现[D].华中科技大学,通信与信息系统,2013,硕士.
[44]常海峰.我国社会保障制度的发展与改革探析[D].吉林大学,国民经济学,2004,硕士.
[45]凌凤俊.谷蛋白影响非肥胖性糖尿病小鼠糖尿病的发生及其肠道菌群的研究[D].中国农业大学,临床兽医,2004,硕士.
[46]刘伟颖.助行腿串联弹性驱动器的系统设计[D].哈尔滨工业大学,机械电子工程,2014,硕士.
[47]李恬静.小学心理健康教育家校合作研究[D].河北大学,教育管理,2013,硕士.
[48]张歆.基于博弈论的中小型家族企业职业经理人管理机制设计研究[D].长安大学,结构工程,2014,硕士.
[49]王平平.胡尖山地区长2以上油层组成藏规律研究及有利区预测[D].西安科技大学,地质工程,2013,硕士.
[50]邱城波.基于传递函数的片上变压器及HEMT器件建模[D].杭州电子科技大学,微电子学与固体电子学,2013,硕士.