kafka2.8单机的安装以及配置
1. 下载
- kafka2.8安装地址
- 下载如图所示的两个安装包中任意一个
- kafka2.8中内置了zookeeper,不需要额外再下载zookeeper。
2. 安装
- 放到任意位置,我这里是/data/kafka
- 将tgz包解压:tar zxvf kafka-2.8.0-src.tgz /data/kafka
3. 配置
- 解压完成后进入config包中,配置文件
- 主要配置server.properties以及zookeeper.properties.
server.properties配置参数
参数 | 配置 | 说明 |
---|
broker.id | broker.id=1 | 搭建集群各个节点的id要不同 | listeners | listeners=PLAINTEXT://127.0.0.1:9092 | 监听地址,从这个地址获取消息 | socket.send.buffer.bytes | socket.send.buffer.bytes=102400 | 发送消息的大小,我这里是默认 | log.dirs | log.dirs=/data/kafka/kafka-logs | kafka存放日志的地址 | num.partitions | num.partitions=1 | 每个topic的默认分区数 | offsets.topic.replication.factor | 3 | 消息备份,官方推荐3 | transaction.state.log.replication.factor | 3 | 消息备份,官方推荐3 | transaction.state.log.min.isr | 3 | 消息备份,官方推荐3 | zookeeper.connect | localhost:2181/kafka | zookeeper的链接地址,集群的话可以配置多个 |
zookeeper.properties配置参数
参数 | 配置 | 说明 |
---|
dataDir | data/kafka/kafka_2.8/bin | 数据节点地址,在kafka配置的bin包 |
4. 遇到的问题
1. Kafka: 找不到或无法加载主类 kafka.Kafka
2. java.net.UnknownHostException: bogon: bogon: 系统错误
- 主机映射出问题了,一般在**/etc/hosts**中修改主机映射
127.0.0.1 bogon localhost.localdomain localhost
3. doesn’t match stored clusterId Some(PSukxbtYScqbBlpCUn6xnQ) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
- 找到kafka-logs文件中将meta.prperties删除
5.启动服务
bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties
在启动后两者都会有消息提示,没有则启动失败,要检查一下启动路径是否错误。
|