[大数据]kafka-?产者发送消息的基本实现

目录

• 生产者代码基本实现
• 生产者ack的配置
• 消息发送的缓冲区机制

1、生产者代码基本实现

<dependency>
    <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
    <version>2.4.1</version>
</dependency>

public class myProducer {

        private final static String TOPIC_NAME = "myTopic";
        public static void main(String[] args) throws ExecutionException, InterruptedException {
            Properties props = new Properties();
            props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
                    "192.168.72.128:9092,192.168.72.128:9093,192.168.72.128:9094");

            //把发送的key从字符串序列化为字节数组
            props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
                    StringSerializer.class.getName());
            //把发送消息value从字符串序列化为字节数组
            props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
                    StringSerializer.class.getName());
            Producer<String, String> producer = new KafkaProducer<String,String>(props);
            
            for (int i = 0; i < 10l ;i++){
            
                Order order = new Order((long) i, i);
                
                ProducerRecord<String, String> producerRecord = new ProducerRecord<String, String>(TOPIC_NAME , order.getOrderId().toString(), JSON.toJSONString(order));

                //1、同步发送消息
                //等待消息发送成功的同步阻塞?法
               RecordMetadata metadata = producer.send(producerRecord).get();
                //=====阻塞=======
                System.out.println("同步?式发送消息结果：" + "topic-" + metadata.topic() + "|partition-" + metadata.partition() + "|offset-" + metadata.offset());

                //2、异步回调?式发送消息
                producer.send(producerRecord, new Callback() {
                    public void onCompletion(RecordMetadata metadata, Exception
                            exception) {
                        if (exception != null) {
                            System.err.println("发送消息失败：" + exception.getStackTrace());
                        }
                        if (metadata != null) {
                            System.out.println("异步?式发送消息结果：" + "topic-" + metadata.topic() + "|partition-" + metadata.partition() + "|offset-" + metadata.offset());
                        }
                    }
                });
            }

        }
}

2、生产者ack的配置

props.put(ProducerConfig.ACKS_CONFIG, "1");
 /*
 发送失败会重试，默认重试间隔100ms，重试能保证消息发送的可靠性，
 但是也可能造成消息重复发送，?如?络抖动。
 所以需要在接收者那边做好消息接收的幂等性处理
 */
props.put(ProducerConfig.RETRIES_CONFIG, 3);
//重试间隔设置
props.put(ProducerConfig.RETRY_BACKOFF_MS_CONFIG, 300);

在同步发消息的场景下：?产者发动broker上后，ack会有3种不同的选择:

（1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下?条消息。性能最?，但是最容易丢消息。
（2）acks=1： ?少要等待leader已经成功将数据写?本地log，但是不需要等待所有follower是否成功写?。就可以继续发送下?条消息。这种情况下，如果follower没有成功备份数据，?此时leader?挂掉，则消息会丢失。
（3）acks=-1或all： 需要等待 min.insync.replicas(默认为1，推荐配置?于等于2) 这个参数配置的副本个数都成功写??志，这种策略会保证只要有?个备份存活就不会丢失数据。这是最强的数据保证。?般除?是?融级别，或跟钱打交道的场景才会使?这种配置。

注：ack小细节

1、发送会默认会重试3次，每次间隔100ms
2、发送的消息会先进?到本地缓冲区（默认32mb），kakfa会跑?个线程，该线程去缓冲区中取16k的数据，发送到kafka，如果到10毫秒数据没取满16k，也会发送?次。



3、消息发送的缓冲区机制

1、kafka默认会创建?个消息缓冲区，用来存放要发送的消息，默认大小是32m。

props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);

2、kafka本地线程会去缓冲区中?次拉16k的数据，批量发送到broker。

props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384); 

3、如果线程拉不到16k的数据，间隔10ms也会将已拉到的数据发到broker。

props.put(ProducerConfig.LINGER_MS_CONFIG, 10);