数据虚拟化：从“收集”到“连接”的革命

1.数据虚拟化的诞生

在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。

与此同时，“久经沙场”的数据仓库不再一统江湖，而以流、批处理、AI、数据探索、MapReduce等为代表的应用势头迅猛。数据已经渗透到每一个行业领域，逐渐成为重要的生产要素，这迫使大数据技术必须面对新的现实：数据规模越来越大，数据复杂度越来越高，数据多样性越来越丰富，数据安全要求越来越严格。

传统的数据集成技术正面临着严峻的挑战：应用各自为政，数仓互不相通，数据存放的格式和数据安全的管理都是烟囱式模型，无法跨业务集成和使用。在这种情况下，数据的可获得性往往通过ETL来实现，这就造成了业务系统集成工作量巨大、安全系数低等多种困境。数据孤岛现象突出，资源无法共享，利用率低。对于客户或者应用而言，亟需数据融合，整合资源，消除数据孤岛，从而满足业务发展需求

数据虚拟化技术应运而生，它可以屏蔽数据的格式、地域、系统等属性，最终为用户呈现出统一的视图。数据虚拟化能够统一管理全域数据，并通过按需读取所需数据的方式，实现数据的快速融合分析和可信管理。数据虚拟化不再是仅做数据的收集器，而是会走向数据连接，消灭数据烟囱。

目前从业界来看，数据虚拟化技术在未来将拥有非常好的前景。Gartner认为在2019年数据虚拟化将节省40%的数据集成成本，并预测到2020年将有50%的组织和企业采用数据虚拟化作为他们的数据集成技术，到2022年这个数据将变为60%（Gartner Market Guide for Data Virtualization，16 November 2018）。

Source: Gartner (September 2018)

根据Gartner的预测，在不远的未来，将会有越来越多的企业通过引入数据虚拟化技术来应对和解决他们的大数据业务需求；与此同时多个研究分析机构或媒体对于数据虚拟化市场也持看好姿态，均预测在未来几年数据虚拟化的市场将呈现非常可观的增长趋势。

2.数据虚拟化的价值

传统的大数据分析技术如ETL，更多的是以“数据收集”为法则，来实现对数据的处理并提供给上层应用进行分析。但在当前大数据领域的新局势之下，客户或者应用需要耗费大量的ETL开销后才能使用数据，同时还要面对ETL本身非常复杂的开发过程。

与传统ETL不同，数据虚拟化旨在实现从“收集”到“连接”的革命，通过连接数据实现数据全域统一管理。数据虚拟化具有为用户提供实时获取全面数据信息的能力，包括数据接入、数据治理、数据分析、数据检索、数据追溯、数据云化等，这些能力使得当下很多行业的复杂数据服务场景都能够被有效地应对并执行。

人们对于海量数据的运用预示着新一波生产率增长和消费者盈余浪潮的到来，因此在提供诸多数据服务能力的同时，数据虚拟化最终将为用户带来一系列的价值：

增加业务用户的生产能力和效率升2倍以上；

减少开发资源，降低开发成本一半以上；

实时响应，更快的数据访问过程，相对ETL提升30%以上；

3. HetuEngine——华为数据虚拟化引擎

HetuEngine，是华为打造的数据虚拟化引擎，具备数据虚拟化关键技术能力，能够协助用户打破数据壁垒，消灭数据烟囱，实现全域统一元数据和安全权限的统一管理，支撑端到端数据管理，快速实现数据价值。

河图引擎HetuEngine命名源自“大禹得河图后始见清明”；河图寓意是华为做好数据湖基础设施，让“大禹”（合作伙伴和客户）拿着开山斧，定海神针易于挖掘，治理数据，快速释放数据价值。HetuEngine的理念与数据虚拟化技术一脉相承，核心在于连接数据而非仅仅是收集数据，它提供了一个接口、一份数据、一个目录和统一安全等一系列的数据服务能力，

未来，华为将继续围绕“支撑端到端数据管理，快速实现数据价值”的理念，持续构筑数据虚拟化技术生态，不断为客户提供优秀的数据虚拟化解决方案。

大数据

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。