【大数据上云】如何迁移MRS Kafka集群的master节点ZK实例到core节点

如何迁移MRS Kafka集群的master节点ZK实例到core节点

1.1       背景

1.     MRS的kafka集群部署依赖zk，zk集群默认是部署3个节点，其中两个节点在master上，1个节点会随机选择一个core节点，部署方式如下：

说明：master节点的zk，数据存储在了数据盘，core节点的zk数据存储在了系统盘

2.   在默认情况下，如果客户选择了BMS规格资源，core节点是裸金属服务器，master节点选择了c6的虚机规格，那么会存在两个zk节点的数据存储在EVS的高I/O盘上。

3.  这样的部署会导致两个zk使用的是虚机EVS，走了虚拟共享存储网络，但是由于虚拟存储网络存在IOPS的冲高和带宽争抢等问题，相对物理网络，稳定性相对较低，会影响zk服务的长期稳定性。

1.2       优化措施

针对现有的kafka集群，将master节点的zk实例迁移到core节点，所有zk节点均部署在物理机上，保证zk数据的访问和操作都走物理网络，增强集群稳定性。

如下：

1.3       操作指导

1.3.1       先放开实例添加能力

1)    登录到主master节点，在manager页面的主机列表显示实心星星的节点：

2)    登录到主master节点后台执行如下命令：

vi /opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB-INF/classes/config/web_security.properties

su omm

sh /opt/Bigdata/om-0.0.1/sbin/restart-oms.sh

1.3.2       重启恢复后，登录MRS manager界面，在core节点添加zk实例

注意：添加实例后，会出现原有的实例配置过期，先不重启

1.3.3       删除原有master实例

1.3.4       需要重启所有ZooKeeper，刷新配置

1.3.5       滚动重启broker实例，刷新配置：

1.3.6       集群最后状态，服务全部正常，无告警：

1.4       测试验证

根据指导操作后，测试验证新部署的节点上zk的数据可以正常写入，且所有上层业务均正常。

1.5       约束说明

1） 操作过程会重启zookeeper和broker服务，可能会导致存在短时间的服务中断，业务影响，需要与业务方一起评估。

2） 如果业务方有直接访问zk，需要更新客户端的zk的ip地址信息，影响需要与业务方一起评估。

mrs 大数据 EI企业智能

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。