海量智能存储系统,打造新基建数字底座

网友投稿 489 2023-04-28

海量智能存储系统,打造新基建数字底座

一、数字化基础设施产生海量数据,存储产业面临巨大机会

数据不仅总量巨大,增长速度也十分惊人,一家智能化的医院每天可以生成3TB数据,一座智能工厂每天生成1PB数据,一座智慧城市每天产生的数据量是250PB。新基建将加速企业的数字化转型,大量新的硬件与应用带来数据量快速增长的同时,也让数据类型越来越多样化。生产、采集和保存尽可能多的数据,用于全量分析以洞察先机已成为企业的共识。海量数据蕴含巨大的价值,给存储系统带来了前所未有的机会和挑战。

二、量变引发质变,海量数据的管理日益复杂

随着网络边缘设备增多、数据规模增长,数据的分布、流动和处理的模式在发生变化,企业计算架构随着技术和业务需求的更新也在不断演进,新的问题逐渐浮现。

数据的时间价值凸显

数据随时间不断产生,同时在智能应用中持续迭代计算,从物联网获取的数据更附带了鲜明的时序属性。在任何时刻,近期产生的数据和频繁参与计算的基础数据相对更有价值,数据在不同历史阶段的使用频次不同,而总量巨大的数据必然需要占用宝贵的存储空间,因此高性能存储保存高价值数据、常规存储保存中等价值数据、高性价比存储空间保存低价值数据并综合考虑数据的传输成本是合理的介质资源分配逻辑,数据在不同介质之间的存储、流转和生命周期管理是未来管理者的基础需求。

混合云存储的数据自由流动

为适应竞争激烈的市场环境,企业在努力缩短与客户的距离,大量业务向互联网化和敏捷化的方向演进,逐渐形成了在公有云部署敏捷业务、在私有云存储核心数据的局面,这种公共云和私有云共存的形态在未来很长时间都会是常态。因此,如何实现公共云和私有云之间数据的自由流动,如何做到业务无感知,用户不需要关注数据的位置,实现数据的融合、自由迁移和安全合规非常重要。

云边协同的数据管理

简化管理应对数据中心架构变革

企业计算架构处于全方位的变革中,传统计算能力让位于虚拟化、云化、容器化和智能化,单一的文件存储和块存储正在被经济高效的软件定义存储替代。数据中心架构变革处在新旧转换期,软件定义存储呼啸而来,传统存储仍有存在价值,二者的统一管理将有效降低数据中心的建设和运维成本。

三、为海量数据而生的智能存储

不同类型的基础技术和业务需求导致了存储对数据感知能力的差异。块存储广泛应用于业务专有系统中,这类系统要求很高的随机读写性能,因此块存储有较强的I/O感知能力,对不同大小数据块(如4KB/8KB/16KB)读写能够感知和加速读写。文件存储通常要兼顾多个应用和更多用户访问,以文件为单位的读写使得文件存储在一定程度上可以感知内容,对不同类型的文件(如文档、图片、音频、视频)读写有对应的优化手段。

四、全新的数据模式需要多元化的数据管理

因为数据规模的增长、数据来源的泛化、应用的容器化,应用和数据的分布呈多元化发展,需要有丰富的策略管理日益复杂的数据分布和流动模式。

全生命周期自动化管理

数据的迁移管理目前主要依靠人力完成,运维人员的经验决定了管理的质量,数据的容量决定了迁移的效率。智能存储根据数据访问频率以及对数据内容和上层应用的感知,通过策略自动化管理热温冷数据的流动,解放人力简化运维。比如在医院的PACS影像系统中,近期影像存放在高性能介质,三个月以上的中期影像数据存放在低成本介质,一年以上的影像自动归档到蓝光存储或公有云平台长期保存,兼顾性能和成本需求,数据分层效率提升十倍,而且显著降低管理难度。

混合云存储的统一管理

出于安全和成本的考量,企业往往将敏捷业务部署在公有云,同时将重要数据存放在私有云,以兼顾业务灵活和数据安全。企业存储需要和公有云存储结合起来,提供业务无感知的数据融合和流动。杉岩数据和阿里云在这个领域开展了非常有益的合作,作为国内第一家支持阿里云OSS云存储服务的企业存储厂商,企业客户将可以实现应用和数据的灵活部署,应用部署地点和数据存储空间不再相互制约,满足“敏捷-安全-成本”的混合云存储需求。

总部与分支机构间的数据汇聚和分发

云边协同的数据管理能力对存储系统支撑总部与分支机构间的数据汇聚和分发至关重要。跨地域的机构内数据访问,需要在较低的网络带宽条件下实现较高的读写性能、跨区域的统一文件视图和异地容灾能力。为了在相互矛盾的条件下满足上述需求,企业智能存储需要提供一个数据同步和分发架构,在存储层面实现跨区域集群数据的统一命名空间和数据流动,通过双活架构提供数据灾难恢复能力,通过CDN实现总部中心节点的数据分发,通过分支机构的数据就近写入实现总部的数据自动汇聚,并通过跨区域的数据调度简化应用层数据共享的复杂性。

传统存储和软件定义存储的统一管理

随着企业数据中心架构整体转向软件定义,必须考虑新旧设备综合利用的需求,软件定义存储的部署越来越多,与此同时传统存储也将长期存在并在其生命周期中继续发挥作用,通过对异构存储的统一管理整合现有设备资源可有效保护既有投资。杉岩数据已经支持对文件存储设备的纳管,对块存储设备的纳管也将根据客户和合作伙伴的需求陆续提供。

海量智能存储系统,打造新基建数字底座

五、双擎驱动:存储核心引擎 + 智能数据处理引擎

高效支撑海量数据的智能存储,既要立足当下,更要面向未来。杉岩数据敏锐地洞察到高效存储海量小文件(小于500KB)是很多对象存储客户的核心需求,长时间写入以数十亿计的小文件很容易引发性能降级,在存储容量利用率较高的时候下降幅度尤为明显,杉岩数据存储核心引擎通过在分布式负载管理、元数据加速、文件合并读写等关键技术的长期投入实现了百亿级小文件的性能高度稳定,已经达到超越行业30%的水准。

六、海量智能存储打造新基建数字底座

新基建为中国的产业升级清晰地指明了方向,数字化基础设施的广泛建设以及随之产生的新型应用需求将带来了数据爆发式的增长,海量数据蕴含巨大的价值,在带来更多机遇的同时,也给传统的IT基础设施带来了前所未有的挑战,更多样化的数据模式、日益复杂的数据管理以及高效的数据利用对存储提出了更高的要求,建设新一代海量智能存储成为解决这些数据应用问题的关键,智能存储必将成为新基建的坚实数字底座。         fqj

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:光弘科技:三期厂房满产可达5000万台整机
下一篇:薄膜瑕疵检测设备可代替人工并提高检测效率
相关文章