Storm集群的监控与管理

Storm集群的监控与管理

主机信息监控:

对主机信息进行监控

Ganglia分布式监控系统：CPU负载、内存负载、硬盘利用率、I/O负载、网络流量等等（开源）

Zabbix:进程监控，当发现Nimbus、supervisor等进程挂掉后，可以重启并报警（开源）

日志监控:

对nimbus和supervisor进程进行监控

当任务失败时，可以通过输出Debug级日志，查看相关日志文件（nimbus.log, supervisor.log , worker.log …)，定位具体的失败原因。

日志等级（从低往高）：

TRACE,

DEBUG,

INFO,

WARN,

ERROR,

FATAL

下图是nimbus上的日志:

下图是supervisor上的日志:

可以通过日期找到相应的日志文件，然后排查问题。

Storm UI

也可以通过storm ui的web页面查看当前任务的状态，前面有描述。

HTTP 任务调度

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。