[大数据]记录一次死锁问题排查

1、问题概述

业务流程

1、从kafka消费数据。
2、业务解析，组装数据。
3、将组装好的数据，使用bulkProcessor.add(indexRequest)，异步批量提交数据到ES。
?

问题描述

kafka消费延迟监控报警，发现某个topic消费延迟持续增长，我们查看日志的时候，发现服务消费该topic消息的日志信息没有。分析ES的ECS的服务器情况，发现插入消息的总量陡降低。如下：

线程jstack信息

第一步查看进程 ps aux |grep java

第二步查看当前进程CPU占用情况top -Hp pid，发现线程资源占用都很平均

第三步打印查看当前进程jstack分析，jstack 29192 > 1.text

直接搜索BulkProcessor关键字，发现大量相关线程处于WAITING(parking)阻塞状态，- parking to wait for <0x00

开通VIP 解锁文章