华为云GaussDB(for Influx)揭密第六期——数据分级存储

网友投稿 495 2022-05-29

“只存储这些数据一年就要花费200多万?”

面对老板的质疑,小王又重新讲解了一遍评估方案。为了支撑生产分析和系统运维,一个设备就需要几十个检测点数据,所有设备24小时不断采集数据,一天的数据量就会达到TB级,这些数据至少存储2年,再加上高可用的3副本,总的数据量会达到PB级。

小王又展示了当前云厂商存储价格和性能对比的调研结果:

不同存储其性能差异很大。例如NVME盘的吞吐量是SATA盘的7倍,IOPS超过了20倍,当然对应的成本也高出10倍左右。根据测试评估,低成本的存储性能无法满足大量数据的写入和实时业务的监控,只得使用性能高的SSD盘,因此导致存储的成本提高。

成本提高,老板自然不满意。那如何才能既满足性能需求,又能控制成本呢?小王想,“实际上,不是所有的数据处理都需要很高的性能,如果把价值高的数据放在高性能磁盘上满足业务需求,价值低的数据放在低成本磁盘上降低成本,这样不就既能满足需求,又能降低成本了么?”

不过,想法很美好,现实很残酷,要实现这个方案,小王面临着更多的难题:

(1)怎么在一套系统中既能使用高性能存储,又能使用低成本存储?

(2)怎么区分高价值数据?

(3)高价值数据变成低价值数据后怎么自动转储?

(4)当前业务改造量要尽量少。

01 GaussDB(for Influx)解决方案

企业的数字化转型,数据是基础。为了能实时掌握设备、系统状态,需要采集大量的数据并进行实时处理。这些数据都属于时序数据,带有明显的特点,如时间戳、更新少、数据源唯一等。除了数据本身的特点,在业务应用上还具有如下特点:

随着时间的推移,其被查询和分析的概率越来越低。

随着时间的推移,对数据分析的实时性要求越来越低。

随着时间的推移,数据的精度要求越来越低。

数据只保留一段时间,到期后会删除。

01 GaussDB(for Influx)解决方案

随着时间的推移,其被查询和分析的概率越来越低。

随着时间的推移,对数据分析的实时性要求越来越低。

随着时间的推移,数据的精度要求越来越低。

数据只保留一段时间,到期后会删除。

02 GaussDB(for Influx)冷热存储的使用

2.2 设置冷数据规则

//在db名为mydb上创建名为myrp的RP,显示指定WARM DURATION为6d,表示6天前的数据是冷数据。 create retention policy myrp on mydb duration 30d replication 1 warm duration 6d shard duration 3d //在db名为mydb上创建名为myrp的RP,没有指定WARM DURATION,表示没有冷数据。 create retention policy myrp on mydb duration 30d replication 1 shard duration 3d //创建名为mydb的db,并带有名为myrp的RP,显示指定WARM DURATION为3d,表示3天前的数据是冷数据。 create database mydb with duration 6d warm duration 3d name myrp //修改WARM DURATION为7d,表示7天前的数据是冷数据。 alter retention policy myrp on mydb warm duration 7d

2.3 使用效果验证

> show shards name: hsdb id database retention_policy shard_group start_time end_time expiry_time owners tier -- -------- ---------------- ----------- ---------- -------- ----------- ------ ---- 5 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 4 cold 6 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 5 moving 7 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 6 warm 8 hsdb myrp 2 2019-08-12T00:00:00Z2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 7

03 总结

04 结束

华为云GaussDB(for Influx)揭密第六期——数据分级存储

GaussDB数据库 上云必读 云数据库 GaussDB(for Influx) 数据库

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:MRS Pulsar:下一代分布式消息流平台全新发布!
下一篇:三步搭建自己的Google搜索引擎
相关文章