RocketMQ 集群踩坑记

集群节点进程神秘消失

接到告警和运维反馈，一个 RocketMQ 的节点不见了。此类现象在以前从未发生过，消失肯定有原因，开始查找日志，从集群的 broker.log、stats.log、storeerror.log、store.log、watermark.log 到系统的 message 日志没发现错误日志。集群流量出入在正常水位、CPU 使用率、CPU Load、磁盘 IO、内存、带宽等无明显变化。

继续查原因，最终通过 history 查看了历史运维操作。发现运维同学在启动 Broker 时没有在后台启动，而是在当前 Session 中直接启动了。

sh bin/mqbroker -c conf/broker-a.conf

问题即出现在此命令，当 session 过期时 Broker 节点也就退出了。

标准化运维操作，对运维的每次操作进行评审，将标准化的操作实现自动化运维就更好了。

正确启动 Broker 方式：

nohup sh bin/mqbroker -c conf/broker-a.conf &

Master 节点 CPU 莫名飙高

RocketMQ 主节点 CPU 频繁飙高后回落，业务发送超时严重，由于两个从节点部署在同一个机器上，从节点还出现了直接挂掉的情况。

主节点 CPU 毛刺截图：

运维

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。