【摘要】ETL（Extraction-Transformation-Loading）数据处理测试框架可以实现对ETL数据处理的模拟过程，通过框架测试结果数据与实际ETL处理结果数据进行对比分析，从单条数据的diff（different）到全部数据量的统计，从而达到全方位的对ETL数据处理过程进行测试的目的。ETL数据处理测试框架可以在不了解框架处理细节的前提下，完成对大数据的全面的、可靠的处理任务 […]

【摘要】规则引擎作为人工智能领域中一种经典的知识表示和推理方法,在学术界和工业界得到了广泛的研究和使用。近年来云大数据的流行为规则引擎提供了更为广阔的应用空间,但同时也带来了严峻挑战。当问题规模变大时,规则引擎快速降低的计算效率使其很难处理好大规模的数据。虽然一直以来有很多的研究工作试图提高规则引擎处理大规模数据的能力,但都有各自的问题,包括提升效果并不理想、实现方法受限不具有一般性等。在借鉴前人 […]

【摘要】时至今日,随着各项科学技术的飞速发展,大数据处理的需求日益增长。hadoopmap/reduce作为一个并行数据处理框架,被越来越多的应用到分布式数据处理当中。map/reduce是一个高效的,可扩展的,高容错的并行编程模型,并且十分易于使用。连接操作作为数据处理中一种十分重要的操作,在传统数据库中已经得到了很多的研究,由于map/reduce自身框架的原因,它并不能很好地支持连接操作。如 […]

【摘要】进入新世纪以来,以物联网、云计算为代表的先进信息技术迅猛发展,信息技术已经成为推动社会变革、人类生活方式转变的重要力量,信息化技术在国民经济各个领域得到了广泛运用,国家十分重视各行业信息化发展和建设。本文研究的基本思路是：本文通过文献、各种规定以及他人的研究的基础上,再通过将档案学、信息技术学的自然科学和服务路径、政策、协调机制和利益博弈的社会科学交叉渗透,并借鉴西方国家尤其是美国的先进经 […]

【摘要】以大数据为代表的新兴移动互联网技术正在影响着消费者和企业需求，通过间接和直接影响着两种方式对金融业产生巨大冲击。在新兴技术影响下，金融业未来的产业格局在重构，包括商业银行在内的金融机构将不仅面临产业内的竞争者，也面临着跨界的潜在竞争者。金融业面临众多前所未有的跨界竞争对手，市场格局、业务流程将发生巨大改变，企业更替兴衰。大数据的概念是如何兴起的，大数据技术对金融业、对商业银行将产生什么样的 […]

【摘要】云计算的出现为计算机的发展提出了一个新的发展方向,云计算可以有效的整合空闲的资源,并使之合理的分配。云计算的出现也是一次重要的技术革新,但是云计算的出现在方便了人们生活的同时,也带来了一些数据安全的风险。如果不能很快消除这些隐患,它将很快成为制约云计算发展的绊脚石。现有的云的功能或者说可以为人们提供的服务可以划分为三种：设备即服务laas、平台即服务Paas和软件即服务Saas。云存储按照 […]

【摘要】随着经济全球化和资本市场的逐步开放，我国的证券市场得到了很大的发展。证券作为一种特殊的商品，由于其虚拟性和特殊的效用和需求特性，使得证券市场存在很多的违法违规行为。建立一套开发先进的、实时的、快速响应的证券市场交易异常事件监测系统，是对证券市场监管、保证市场正常运行的前提。证券市场是个典型的“大数据”市场，具有数据量大、数据结构复杂、流动速度快、价值密度低等特点，此外，证券市场交易监测还需 […]

【摘要】目前针对大数据的研究很多，但大多都是从信息学的角度加以研究，相关的安全问题也是从纯粹的技术安全角度进行探索，从法律制度层面对大数据的规制相对比较空白。我国现有刑法体系是传统工业社会的刑法模式，随着计算机犯罪和网络技术的发展，通过对一些新的现实问题的局部调整，并以相关的司法解释进行补充，对于各类新类型技术犯罪已经形成了较为严密的刑法制裁体系，一直在紧随社会现实变化而更新完善。但是，面对新一轮 […]

【摘要】短期负荷预测作为能量管理系统的重要组成部分,预测误差的大小直接影响电网运行的安全性和经济性。在智能电网建设的大背景下,大规模电网互联以及数据采集成本的降低,可获取的数据类型愈加丰富,智能电网中的大数据趋势日益明显。针对供电区域辽阔的大电网,不同区域负荷特征各异,受外部因素影响规律不同。集中式负荷预测方法难以准确把握各区域的负荷变化规律,且对海量数据挖掘分析能力有限。因此,本文提出基于大数据 […]

【摘要】大数据时代的到来,中小企业尤其是中小科技公司的市场营销策略需调整才能与之相适应,同时需要重塑企业架构,以能把握方兴未艾的大数据趋势带来的新商业机会。市场营销策略计划的制定是不断对企业内外条件变化进行动态平衡的过程,是一个创造和反复的过程,在综合考虑外部市场机会及内部资源状况等因素的基础上,选择企业的目标市场,制定相应的市场营销策略组合,并予以有效实施和控制的过程。当企业外部环境尤其是所从事 […]