一个HBase偶现Get慢查询responseTooSlow的分析定位

现象： 某集群出现的Get的慢查询，偶然出现，一旦出现时间会在3分钟以上，一般hbase的get在20ms以内，集群明显存出现了问题。

定位：

此时RS的日志里面没有更多的日志，需要打开trace日志才能定位问题

1.在日志里继续搜索，查询row=401d54b8de049e2c5adcbc62f66a1c1d:3，搜索到其中一条日志包含callId: 8315573

2.根据callId: 8315573,搜索日志，可以看到的整个rpc持续了3分钟，确定了此次rpc出现的问题

3.根据RpcServer.FifoWFPBQ.default.handler=19,queue=19,port=16020去搜索，确定对应时间范围handler处理的过程，通过下面日志可以确定，读取block花费了3分钟

4，后续定位就是在HDFS处读取block慢，这块排查HDFS，后发现这RS节点对应的其中一个本地磁盘坏了，需要退服DataNode更换磁盘

EI企业智能 智能数据 HBase 表格存储服务 CloudTable

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。