【摘要】如今数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB).EB(1024PB-1EB)乃至ZB(1024EB=1ZB)级别。爆炸式的数据增长给传统服务器集群性能带来严峻的挑战,传统数据挖掘算法已经无法高效的从数据海洋中挖掘出知识。云计算使计算分布在大量的计算机上,该计算模式非常适合处理大数据,能够有效地解决传统计算模式的性能瓶颈。Hadoop是一个开放源代码的分布 […]

【摘要】随着Hadoop技术的发展,从最初为Google、Facebook等公司解决海量数据的存储问题,到现在被越来越多企业用来处理大数据,企业已经建设好的传统数据仓库地位受到了挑战。本文重点研究Hadoop与传统数据仓库(如无特殊说明,本文提及的传统数据仓库皆指单节点的关系型数据仓库)如何进行协作、分工,进行数据采集、传输、存储、处理等工作。在已有传统数据仓库的基础上提供Hadoop的支持,弥补 […]

【摘要】“海洋环境信息可视化”是海洋公益项目的重要课题之一（海洋环境信息可视化是指将原始的数据转换成可供用户直观分析的图像或图形，以可视的方式展现给用户）。近年来，伴随着科学计算技术和海洋观测技术的进步与发展，海洋环境信息的数据量呈爆炸式增长，对于大规模可视化的任务，单机计算机已经远远达不到要求。随着hadoop的日益发展，越来越多的项目开始使用hadoop作为并行计算平台。所以，将hadoop应 […]