订阅主题:
以正则方式订阅,如果后续有新增的符合正则规则的也会加入消费
指定订阅某个topic分区
按partition进行消费
offset 消费者提交的offset,是当前读到的offset+1,代表下一次需要拉取的position的位置
提交方式(enable.auto.commit)默认是自动提交,提交周期是有auto.commit.interval.ms控制,默认5秒
指定offset进行消费: 当创建一个消费者组消费topic时,如果消费组是一个全新的或者当前消费者组在__consumer_offsets中保存的offset因为过期被删除,即无可消费的offset,亦或者offset设置的参数值越界,则会触发auto.offset.reset的参数,默认是latest,代表数据从最新的消费位置开始读取数据,如果设置为earliest,则从头开始消费数据
消费的优先级 __consumer_offsets存在offset>设置了auto.offset.rest的参数
如果需要追前消费或者回溯消费可以采用kafkaConsumer.seek()方法 如果需要从某个时间点开始消费,可以采用kafkaConsumer.offsetsForTime()
多线程消费数据
如果poll拉取的频率较少,可以考虑在处理数据时,开多个子线程提高处理数据的效率
|