探索BI系统搭建的必要性与AI技术的应用潜力
888
2022-05-29
前言
既然是初识GaussDB DWS,那就要首先介绍一下什么是GaussDB DWS。 这要先说DWS,全称为Data Warehouse Service,即数据仓库服务,这是一种基于公有云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,依托云服务的兴起而逐步发展壮大,广泛应用于金融、车联网、政企、电商、能源、电信等多个领域,已连续两年入选Gartner发布的数据管理解决方案魔力象限,相比传统数据仓库,性价比提升数倍,具备大规模扩展能力和企业级可靠性(参考自华为官方数据仓库服务DWS文档)。
那什么又是GaussDB DWS?是华为云国产数据仓库产品,华为倾力打造的一款尖刀产品,已历经十年磨炼,是业界领先的企业级云分布式数据仓库服务,2017~2019连续三年Gartner象限中国厂商No.1(参考华为云官方微博7月1日发布内容),它基于华为自主研发的融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。来看看官方文档中公布的DWS产品发展动态:
可以看到,短短两年时间,DWS经过了快速迭代发展,发展势头强劲。
正文
产品架构
华为云DWS是基于Shared-nothing分布式架构,具备MPP大规模并行处理引擎,由众多拥有独立且互不共享系统资源的逻辑节点组成,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。大体架构如图(图片来自官方文档),主要面向的是需要处理海量数据分析的场景:
其本身基于云端,拥有云服务的优势,作为数据仓库,还有很多其他优势,对于解决超大规模数据处理和管理很有帮助,具体优势为(以下参考自官方文档):
1. 易用性
基于数据库服务,打造一站式服务,无缝衔接各个过程,对传统MySQL、Oracle等兼容良好,支持一键迁移,十分方便快捷,极大降低了学习成本。相信这是华为结合行业使用中的痛点和难点,基于自身多年积累的经验量身打造的,而且华为的产品感觉一向封装良好,提供简洁的调用接口,很少需要用户去操作具体细节。
2. 高性能
全并行云化分布式设计,多线程并行运行,支持行列混合存储,最大程度发挥硬件性能,提高硬件利用率,将效率展现到极致。关于性能这一点,我在华为云的ModelArts中是有体会的,在训练模型的时候,强大的CPU和GPU加持对训练加速很有帮助,而且华为云的云硬盘真的是性能不错,比如NoteBook默认挂载的云硬盘,云硬盘要承受大量持续的读写,可能还有删除操作,应该也是长时间通电使用,这对硬盘损耗还是较大的,但使用中感觉云硬盘速度还是挺不错的,训练中没有拖CPU或GPU的后腿,当然这和整个算法流程设计也有关。
虽然这个ModelArts与这里的DWS关系不大,但是,通过ModelArts不妥协的高性能硬件配置,也能反映华为云的决心,相信DWS的硬件配置和软件协同也是业界一流的。
3. 易扩展
这一点就是云服务的优势了,按需拓展,根据实际业务情况,定制化配置资源,这真是人性化设计,相比于传统的购买硬件建设本地数据库,DWS可以根据业务要求,快速反应,准确出击。此外,根据官方文档介绍,扩容过程中支持数据增、删、改、查,及DDL操作(Drop/Truncate/Alter table),表级别在线扩容技术,扩容期间业务不中断、无感知。
这真是太棒了,不知不觉间,在不影响业务的情况下,很方便就能实现资源拓展,这在过去的传统数据库中应该是很难的。因为有云,华为云,这一切简单起来了。
4. 高可靠
稳定压倒一切,特别是对于企业用户来说,如果因为系统不稳定,导致云端业务故障,甚至宕机,这不仅给客户带来很大影响,更给自身带来巨大经济损失和信誉损失。DWS通过分布式事务,主备备份保证,自动数据全量、增量备份,加密,全方位确保数据安全可靠。
5. 低成本
DWS按实际使用量和使用时长计费,以实际消耗资源为准,用多少花多少。同时,这无需在前期投入较多固定成本,完全可以从低规格的数据仓库实例起步,以后随时根据业务情况弹性伸缩所需资源,按需开支,减少因业务需要可能带来的硬件设备采购的成本。
同时,DWS数据仓库服务提供了专业高效的服务管理控制平台,让用户自助完成数据仓库的管理与维护,系统可用性高。用户可以快速创建数据仓库服务集群并开展业务,与华为云其他产品和服务实现高效联动,比如可实现从对象存储服务OBS中导入数据,打造完善生态圈,在文档中提供了创建集群、连接集群并从OBS导入样例数据的操作指导,帮助用户快速上手数据仓库服务,很贴心。
最后,奉上文档链接,供大家参考:https://support.huaweicloud.com/wtsnew-dws/index.html
GaussDB数据库 GaussDB
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。