探索BI系统搭建的必要性与AI技术的应用潜力
732
2022-05-28
公司简介:北京柏睿数据技术股份有限公司(简称:柏睿数据)是一家以数据库为核心的“Data+AI”数据智能基础软件公司和国家级专精特新小巨人企业,瞄准、突破核心基础关键技术,构建完全自主研发的新一代全内存分布式数据库RapidsDB和人工智能等智能数据算力产品体系,为政府及国民产业数字化转型升级赋能。
LOGO:
方案概述:
方案概述及价值
随着大数据云时代的来临,用户需要处理的数据量呈爆炸式增长。基于传统磁盘的数据仓库受限于磁盘读写速度,面临着数据存不下、查不出、扩容难、云环境运行不友好的痛点。
柏睿实时云数仓服务,基于柏睿数据公司自研的新一代分布式内存数据库技术,为用户提供云原生的数据仓库(DWS)服务,具备极速多表关联查询能力,兼容MySQL协议,每个用户资源独立部署,微服务弹性伸缩架构,为BI等分析业务带来强劲的发动机!
解决方案架构图
柏睿数据与中原鲲鹏创新中心联手,结合华为云GaussDB数据库,共同完成实时云数仓系统在华为云上的方案构建。双方技术团队针对系统功能、性能、安全方面进行了多场景化测试,并获得沃土云创Enabled认证。
实时云数仓对外提供三个接口:
系统管理员:为系统管理员提供WEB页面,负责与云厂商API对接,实现数据库集群建立、删除等功能所需的云资源调度。
DBA自助门户:每个集群都有独立的数据库管理Portal云主机,实现管理与业务分离。为用户的数据库管理员提供自助操作数据库集群,数据库集群的自动化处理等功能。
SQL应用程序接口:底层基于柏睿数据全内存分布式数据库,通过数据库网关为应用程序提供兼容MySQL协议的数据库服务。每个数据库集群,都使用独立的云资源部署,以保证集群的数据安全与性能稳定。
下图是实时云数仓使用500G TPC-H测试数据,与其他云数仓产品使用同等规格云主机环境下,比较顺序执行22条TPC-H语句的总时间结果。
应用案例
案例1
某国内四大银行之一的普惠金融业务,原系统使用国际商用数据库产品+分布式搜索分析引擎,具有如下不足:
不支持大数据量表中文本字段的模糊查询
不支持客户标签表200多个字段中的自由组合查询
不兼容标准SQL语句且不支持多表关联查询
学习成本高且效率低
柏睿数据全内存分布式数据库按客户的金融级要求,通过了如下测试场景:
全中文关键字业务查询、多表联合查询、并发查询、节点整体故障、某一存储节点故障、主节点故障、备份与恢复用户收益
柏睿数据全内存分布式数据库承载的普惠金融业务已同时服务超过5个省份,为用户带来如下收益:
低延迟:五表联合查询分析秒级响应
高并发:800并发查询秒级响应,性能随集群的扩展而线性提升
通用性:兼容SQL语句,支持中文关键字
高吞吐:可承载大量的用户操作海量数据
案例2
某部委数据快速分析平台,每月流入数据量庞大,需要从中获取有价值的数据来支持精准化的扶贫、助残等工作,数据与数据之间的关联关系错综复杂,使得计算任务进行得非常艰难,给该部委工作人员带来了巨大的压力。
柏睿数据通过自研的全内存分布式数据库,为用户构建了快速数据分析平台,将原先需要数天处理的数据任务加速到分钟级完成,不仅提升了数据处理能力,还帮助完善数据算法,提升数据结果的精准度。
相较于传统商业数据库,柏睿数据全内存分布式数据库将业务查询速度提高了8-19倍。
免费测试
截至4月底,柏睿数据在华为云中准备了一个最小规模集群,仅包含一台4vCPU 16G内存 100G SSD云硬盘的计算节点,并内置10G TPC-H数据,提供4个免费测试名额,让用户直观感受到实时云数仓产品的极致分析速度。如感兴趣,请发邮件申请。
虽然这个测试环境只有一个4C16G计算节点,但得益于柏睿数据自研的新一代内存数据库技术,该测试环境顺序执行22条语句3次后的平均执行时间只有1174ms,而且最高支持5并发同时测试TPC-H语句而没有错误!
下图是测试环境的拓扑图:
证书展示:
了解更多:
伙伴官网
http://www.boraydata.com/
伙伴联系方式
jeslyn.guo@boraydata.com
友情链接:
开发者技术支持社区:https://bbs.huaweicloud.com/forum/forumdisplay-fid-1175-orderby-lastpost.html
博客主页专区:https://bbs.huaweicloud.com/community/usersnew/id_1612437390514409
技术支持提单平台:https://support.developer.huaweicloud.com/feedback/#/
上云必读 分布式 数据库
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。