【鲲鹏经典直播征文】+【BoostKit分布式存储】讲解业界形势、开源使能、基础及关键应用加速特性

一 BoostKit分布式存储简介

1.1 鲲鹏应用使能套件BoostKit，释放倍级性能优势

硬件是我们算力的一个原始供给，基础软件才是算力的一个应用，使能则是行业价值的一个实现，充分释放硬件的算力潜能，实现应用软件的极致性能，是当前业界面临的主要挑战之一。鲲鹏应用使能套件，能够提供全站优化的应用加速能力，释放倍级的一个性能优势帮助。客户和合作伙伴，行业创新鲲鹏BoostKit是一系列加速软件加速特性和加速算法的能力集合，包含三个层次的对海和相关的能力。

应用加速：应用性能倍级优势，提供基础加速软件包（机器学习、图算法，云手机指令流）。

基础加速：性能超越业界水平（NUMA优化，KAE加速库、IO智能预取）。

开源使能：开源软件可用、好用（高性能Hadoop、MySQL、Ceph软件等）。

1.2 面向八大场景，提供场景化BoostKit

鲲鹏应用BoostKit，为合作伙伴提供丰富的场景化特性，提升核心应用性能。

大数据：数据吞吐量提升20%

分布式存储：性能IOPS提升20%

数据库：OLAP性能提升20%，OLTP性能提升15%

虚拟化：虚拟性能提升20%

ARM原生：云手机密度50%

Web/CDN：RSA加解密性能提升35%

NFV：并发回话数提升10%

HPC：支持32万核调度系统利用率90%。

1.3 存储市场发展趋势：分布式存储份额持续增长

据IDC发布的2020年前三个季度的中国存储市场统计数据，SDS替代传统存储的步伐加快

1.4 存储技术趋势：闪存化、云化和数据价值挖掘

a.数据存储性能要求：

从机械硬盘道闪存盘，

• 性能1000倍提升

• 总体拥有成本极降低

b.存储资源共享

从集中式架构道分布式云架构

• 从两节点到数千节点

• 新业务上线由月道天

c.数据价值挖掘需求

从数据孤岛道数据湖

• 用用性能倍增

• 数据分析效率提升

1.5 存储技术架构演进：从集中式到分布式

• 集中式存储：

• 包含核机头（控制器）、磁盘阵列（JBOD）核交换机、管理设备

• 数据统一通过存储系统机头入口

• 分布式存储：

• Mon服务维护存储系统的硬件逻辑关系；OSD服务实现对磁盘管理；

• 通过映射关系计算其要写入数据的位置，客户端直接与存储节点通信，实现无中心节点和避免性能瓶颈。

1.6 鲲鹏Boostkit分布式存储能同时满足各种类形业务需求。

a.全闪存存储场景

适用于频繁访问的在线类数据，存储性能要求高。

b.均衡型存储场景

适用于介于热数据和冷数据之间

c.容量型存储场景

不经常访问的离线类数据，比如北方和归档数据

1.7 鲲鹏BoostKit分布式存储全景图：数据访问更快、存储更高效

• 极致性能：多源数据协同分析、提升运营效率全闪低时延访问数据

• 海量存储：数据整合，跨部门共享、共同需要百PB级存储池

• 高性价比：企业运营成本高企每TB存储成本持续优化

• 读写时延<150us：全局分布式cache技术，PB级分布式内存池，延迟时延<150uus

• 存储“容量”提升1倍：高性能EC（4+2）技术，相比三副本方案，存储有效容量提升1倍

• 压缩率提升30%：高效压缩技术，数据压缩率提升30%，存得更多.

二 BoostKit分布式存储开源使能

2.1 鲲鹏分布式存储生态：开源软件和国产主流商用软件支持

开源生态：ceph开源社区支持ARM架构并提供相应的二进制软件包

ceph社区已经接纳MD5/Zlib压缩特性，ceph16.2.x及之后发行版鲲鹏硬件压缩加速特性。

2.2 某银行项目：构建金融行业大容量分布式存储集群

首个国产化金融存储集群，支撑金融生产数据实时存储和备份，构建PB级存储容量，系统功耗降低20%。

2.3 运营商项目：基于鲲鹏构建新一代公有云存储资源池

x000+台TaiShan服务器存储资源池部署，完成xx大云分布式存储软件的鲲鹏迁移，块存储性能持平，文件存储性能提升10%。

三 BoostKit分布式存储基础加速

3.1 鲲鹏性能优化十板斧，释放鲲鹏硬件算力

• 优化网卡性能，卸载CPU压力

• 硬件协同，优化代码

• 提升CPU利用率，优化内存配置

• IO数据读写优化，降低CPU等待时延

3.2 BoostKit基础加速库：支撑3种、7类加速库，KAE和HW265加速性能超越业界

• ARM支撑加速库：开源社区提供ARM支持的计算库，在鲲鹏平台完成验证

• 基于鲲鹏指令的加速库：基于鲲鹏指令深度优化的加速库，并向开源社区开放

• 基于KAE加速库：基于鲲鹏硬件加速引起加速库，提供领先业界性能加速能力。

3.3 全闪存块存储场景：鲲鹏920 5250比Cascade 6248性能高20%+

全闪存小数块存储场景下，IO并发要求高，传统平台存在CPU性能瓶颈

4KB数据块读写IO测试，鲲鹏比X86平台高。

3.4 全闪存块存储场景：低时延性能表现鲲鹏具有同等优势

3.5 均衡型存储场景：IO直通特性，性能提升15%以上

3.6 均衡/容量型场景：发挥硬件加速引擎优势，鲲鹏存储+压缩性能提高14%+

3.7 均衡型存储场景：智能存取特性，块存储业务吮吸读512K以下IO性能提升20%+

四 BoostKit分布式存储应用加速

均衡型存储场景：KPS Zip特性，压缩率提升25%，带宽性能提升10%+

均衡型存储场景：高性能EC计算，同等磁盘容量，多存一倍数据，性能损耗小于80%

五 总结

鲲鹏Boostkit分布式存储基于鲲鹏服务器进行了大量的性能及有效容量优化的工作，为存储行业提供了一种有竞争力的解决方案。

【鲲鹏经典直播，让技术燃起新火花】活动链接：https://bbs.huaweicloud.com/forum/thread-144291-1-1.html

分布式 鲲鹏

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。