kafka减容磁盘raid组

一.问题描述

Kafka减容磁盘raid组,比如从3组raid减容到1组。

二.思路分析

1.减容 broker？ 否  兼容磁盘，不是减容broker

2.实例 退服？ 否

3.单磁盘partition得考虑下

四.解决方法

理论上要把减容磁盘的数据迁移到其他节点或减容节点的非减容磁盘上，去掉磁盘raid组后改manager数据存放目录。

五.问题总结

操作风险：

①在重建过程中，硬盘驱动器的压力会更大（频繁使用）

②对于较大的阵列，双驱动器故障将成为一个严重的风险。

③如果计算机突然断电，对RAID阵列的写操作可能会中断（raid5 写漏洞）。

这可能会导致对RAID阵列的部分写入，使其处于不一致的状态。

六.博文参考:

①https://www.orchome.com/2004 （文章 讨论了 kafka集群 raid5的必要性）

个人观点：非常 有必要 。原因如下：

（1）单盘数据热点问题（n块磁盘 n-1块坏盘） 不能不重视

（2）raid5(硬件备份) 副本冗余机制（软件备份） 两种备份不冲突

（3）RAID5坏一块盘业务不感知（3副本 必然 跨机架，raid5 可能 不跨机架）

②https://www.cnblogs.com/sddai/p/8647795.html （文章 讨论了 磁盘 IOPS 和 吞吐量 相关指标）

个人观点：raid5 可以实现 高IOPS, 这也是 kafka 集群 最需要 的。

③https://blog.csdn.net/louisjh/article/details/87708844 （文章 讨论了 多副本机制，纠删码 和 raid5）

个人观点：传统的 用raid5  大数据用多副本  hadoop3.0引入纠删码

一般采用专门硬件的存储厂商，还是喜欢采用传统的RAID或者改进后的RAID方式。如果是SDS的软件厂商，不需要采用专门的硬件，而是采用普通存储服务器，一般就采用块级多副本技术，如VMWARE的VSAN、华为的Fusionstorage、IBM的XIV，信核的容错池和华云网际的FusionStor都是这个例子。

Kafka

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。