Kafka CPU使用率排查思路及解决方案

网友投稿 1235 2022-05-28

一、CPU使用率高的一般排查思路

1) top命令排查CPU使用率高的进程

2) su - omm切换到omm用户,jstack -l 进程pid>>文件路径

3) top -H -p 进程pid 查看CPU使用率高

4) “printf "%x\n" 线程号”将上一步中CPU高的线程号转换成16进制

5) 在jstack文件中搜索上一步中的16进制信息查看具体的线程

二、 Kafka CPU使用率高的常见原因及解决方案

1.     集群规划不合理

a)    命令grep -c processor /proc/cpuinfo 查看CPU核数,df -h命令查看Kafka磁盘挂载情况,建议每台机器最大挂盘数量 <= processor / 2。挂载过多磁盘也可能导致CPU繁忙。

b)    Kafka配置中查看num.io.threads、num.network.threads、num.replica.fetchers配置,num.io.threads和num.network.threads配置一般建议磁盘个数的倍数,但不能超过CPU核数。num.replica.fetchers配置一般建议不超过5,同步线程数过多也会造成CPU繁忙。

c)    分区设置不合理:分区一般设置为节点个数的倍数,如果分区设置不合理,所有的生产和消费都集中在某个节点上,也可能导致CPU高。

2.     操作系统句柄数过高

a)    查看操作系统句柄数:cat /var/log/osinfo/statistics/file-nr.txt

b)    统计各进程打开句柄数:lsof -n|awk '{print }'|sort|uniq -c|sort -nr

c)    查看进程使用句柄数:lsof -p 进程pid | wc -l

如果句柄数高,排查使用句柄数高的进程是否有句柄泄漏;排查操作系统日志,查看是否存在TCP内存溢出等。

3.     根据CPU使用率高的线程具体排查

a)    使用C++客户端,版本不兼容,kafka-request.log日志中大量获取全部topic元数据的信息:

Jstack信息中查找CPU高的线程,线程都在获取元数据信息:

Kafka CPU使用率高排查思路及解决方案

Request日志开debug后,大量获取全部Topic元数据信息,且耗时很长。

CPU长时间频繁处理元数据请求导致CPU升高。

b)    使用Logstash版本过低,与Kafka高版本服务端不兼容:

Kafka服务端对部分topic加权限后,21005端口访问未加权限的topic,kafka-authorizer.log日志中大量请求Deny的日志

CPU频繁处理deny请求导致CPU异常升高。

c)    Sssd异常

使用id -Gn名称返回结果异常为sssd服务有问题

kafka-authorizer.log日志为大量打印某用户不属于kafka组或者kafkaadmin组

服务器的kafka无法正常鉴权,导致用户频繁访问此服务器,cpu异常升高

Kafka

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:训练V2自定义镜像迁移手册
下一篇:《Word/Excel/PPT 2019完全自学教程 : 视频讲解版 》 —2 文本的输入与处理
相关文章