[大数据]谈一谈开发中kafka生产问题和kafka避免消息积压策略

1、生产问题：之前在某行担任java开发时，做的是一个买单吧APP，这个APP主要是促进某行的客户用其信用卡进行消费，用户用信用卡消费后可以来买单吧APP进行抽奖，普通信用卡每天可以抽奖3次，生肖卡每天可以抽奖6次，具体不说业务了，银行的业务都很复杂的，问题是：消费者用信用卡消费了，却没有加上抽奖次数。

2、导致的结果：通过grafana监测发现生产消费的信息存在挤压，消费者的消费能力弱，被剔除群组。

3、出现的原因主要分为以下几点：

3.1、消费者里的业务代码扩增，导致消费者在两次poll期间不能处理掉业务，最后提交偏移量失败，报commitException.....

3.2、我们的消费下游topic只有一个partition,没有很好的运用kafka的高吞吐、高性能这一优点。

3.3、下游接受到消息后只开了一个单线程去处理数据。

4、解决问题方法：

4.1、在消费者下游新增了一个分区，用来分担单分区的压力。

4.2、启用线程池去处理上游推送的信息。

4.3、消费者业务代码里需要和第三方系统(智能头条)进行交互，原先的做法是一条数据就往智能头条推送一笔，假设每次与智能头条进行交互建立网络开销时间0.01s,那500条的数据量的时间就是0.01*500，优化策略：我们在数据量达到500条的时候，才推送智能头条。

5、以下分享常用解决消息堆积问题的策略：

5.1、每个topic多设置分区数，提高并行消费得力度。

5.2、消费线程每次拉取的消息数可以适当调大，但是不能超过两次POLL默认配置的时间5秒，因为超过5秒，kafka就会触发rebalance，会认为这个消费者消费能力不足，把消费者提出消费组。

5.3、消费者提交偏移量改为自动提交。

5.4、合理的运用线程池去提高消费者处理消息的效率。