[大数据]一文读懂Kafka认证集群搭建

安装包准备

下载安装包到目标目录，用tar zxvf命令解压

认证配置文件

进入kafka安装包根目录的config文件夹下，创建kafka_server_jaas.conf和kafka_zoo_jaas.conf两个文件

• 创建文件 kafka_zoo_jaas.conf

Server{
        org.apache.zookeeper.server.auth.DigestLoginModule required
        username="[YOUR NAME]"
        password="[YOUR PWD]"
        user_[YOUR NAME]="[YOUR PWD]";
};

本段防止有的人不替换[YOUR NAME]和[YOUR PWD]，啊？不会真的有人不换吧，换成自己想起的用户名和密码，例如. [YOUR NAME]=hanmeimei，[YOUR PWD]=123456

Server{
        org.apache.kafka.common.security.scram.ScramLoginModule required
        username="hanmeimei"
        password="123456"
        user_hanmeimei="123456";
};

• 创建文件 kafka_server_jaas.conf

Client{
        org.apache.zookeeper.server.auth.DigestLoginModule required
        username="[YOUR NAME]"
        password="[YOUR PWD]";
};

KafkaServer{
        org.apache.kafka.common.security.scram.ScramLoginModule required
        username="[YOUR NAME]"
        password="[YOUR PWD]"
        user_[YOUR NAME]="[YOUR PWD]";
};

这里选用的是org.apache.kafka.common.security.scram.ScramLoginModule加密方式，对应的就是SHA-256，根据需要可以选择其它的加密方式

启动zookeeper

• 修改配置文件config/zookeeper.properties

# 改成自己想设置的数据存储路径
dataDir=[ZOOKEEPER DATA PATH]
# 改成未占用的端口
clientPort=2185

# 增加加密认证配置
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000
zookeeper.sasl.client=true

• 修改启动文件bin/zookeeper-server-start.sh

# 增加本行
export KAFKA_OPTS=" -Djava.security.auth.login.config=[KAFKA安装路径]/config/kafka_zoo_jaas.conf"

exec $base_dir/kafka-run-class.sh $EXTRA_ARGS org.apache.zookeeper.server.quorum.QuorumPeerMain "$@"

• 创建zookeeper配置的数据存储路径：mkdir -p [ZOOKEEPER DATA PATH]，然后到bin目录下尝试启动

# 启动验证脚本
./zookeeper-server-start.sh ../config/zookeeper.properties
# 上一个验证没问题 ctrl+c 后用这个脚本后台启动运行
nohup ./zookeeper-server-start.sh ../config/zookeeper.properties 1>/dev/null 2>&1 &

启动kafka集群

• 修改config/server.properties

# 设置0.0.0.0表示绑定所有网卡ip，端口可以自定义，这里用9092做例子
listeners=SASL_PLAINTEXT://0.0.0.0:9092

# 暴露给外部的访问ip端口，例如服务器有内网IP和公网IP，这个就配置公网IP，客户端访问就通过这个来访问
advertised.listeners=SASL_PLAINTEXT://[暴露的IP]:9092

# 增加加密协议配置
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=SCRAM-SHA-256
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256

# 配置kafka日志路径
log.dirs=/data/kafka/logs

zookeeper.connect=127.0.0.1:2185

上面的advertised.listeners配置很重要，例如我们在云服务器上搭建Kafka集群，如果不配置这个直接通过公网IP+端口是不能正常访问Kafka的，一定要配置这个属性才能正常访问。同理docker环境部署的Kafka也需要这个属性配置

• [ ]复制两个config/server.properties做集群配置（本教程是单机模拟）

cp config/server.properties config/server-cluster-1.properties
cp config/server.properties config/server-cluster-2.properties

• 修改配置文件server-cluster-1.properties（只列出了需要修改的部分）

# 单机模拟修改端口为另外一个，日志路径也换了一个
broker.id=1
listeners=SASL_PLAINTEXT://0.0.0.0:9093
advertised.listeners=SASL_PLAINTEXT://[暴露的IP]:9093
log.dirs=/data/kafka/logs-1

• 修改配置文件server-cluster-2.properties（只列出了需要修改的部分）

# 单机模拟修改端口为另外一个，日志路径也换了一个
broker.id=2
listeners=SASL_PLAINTEXT://0.0.0.0:9094
advertised.listeners=SASL_PLAINTEXT://[暴露的IP]:9094
log.dirs=/data/kafka/logs-2

• 修改启动脚本bin/kafka-server-start.sh

# 增加本行认证配置
export KAFKA_OPTS=" -Djava.security.auth.login.config=[KAFKA安装路径]/config/kafka_server_jaas.conf"

exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"

• 尝试到bin目录下启动kafka集群

# 增加权限认证配置，其中`123456`就是上面设置的密码，`hanmeimei`就是设置的用户名
./kafka-configs.sh --zookeeper 127.0.0.1:2185 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=123456],SCRAM-SHA-512=[password=123456]' --entity-type users --entity-name hanmeimei

# 尝试启动
nohup ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &
nohup ./kafka-server-start.sh ../config/server-cluster-1.properties 1>/dev/null 2>&1 &
nohup ./kafka-server-start.sh ../config/server-cluster-2.properties 1>/dev/null 2>&1 &

执行命令ps -ef|grep kafka，发现有4个进程，分别是zookeeper，3个kafka服务说明启动成功

验证

Topic验证

• 创建Topic

./kafka-topics.sh --create --zookeeper 127.0.0.1:2185 --replication-factor 1 --partitions 1 --topic centerm-cluster-topic

看到打印Created topic centerm-cluster-topic.说明配置正确

生产者验证

• 修改config/producer.properties

# 修改服务集群地址端口
bootstrap.servers=[暴露IP]:9092,[暴露IP]:9093,[暴露IP]:9094

# 增加认证配置
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="[YOUR NAME]" password="[YOUR PWD]";
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256

• 生产消息验证

./kafka-console-producer.sh --bootstrap-server [暴露IP]:9092,[暴露IP]:9093,[暴露IP]:9094 --topic centerm-cluster-topic --producer.config ../config/producer.properties

没有报错，并且出现输入控制台表示配置启动成功了，随便输入一些信息，接着验证消费者

消费者验证

• 修改config/consumer.properties

# 修改服务集群地址端口
bootstrap.servers=[暴露IP]:9092,[暴露IP]:9093,[暴露IP]:9094

# 增加认证配置
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="[YOUR NAME]" password="[YOUR PWD]";
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256

• 消费消息验证

./kafka-console-consumer.sh --bootstrap-server [暴露IP]:9092,[暴露IP]:9093,[暴露IP]:9094 --topic centerm-cluster-topic --consumer.config ../config/consumer.properties --from-beginning

如果能收到刚刚发送的消息验证成功

关注博主即可阅读全文