IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 2021-08-26 -> 正文阅读

[大数据]2021-08-26

kafka集成kerberos -cdh6.3.2
1.Kafka配置修改
1)设置kafka安全身份验证
在kafka的配置中搜索 kerberos.auth.enable 并将其勾选
2)设置kafka认证方式
在kafka设置中搜索security.inter.broker.protoco 修改为 SASL_PLAINTEXT
3)配置kafka.properties
在kafka的配置页面中 搜索 kafka.properties 的 kafka broker高级配置代码段(安全阀) 其值添加如下内容:
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
super.users=User:kafka;User:admin;
4)kafka支持命令行的kinit操作
vi /etc/kafka/conf/kafka_client/kafka_client_jaas.conf

KafkaServer {
   com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
   keyTab="/opt/software/kerberos/kafka.keytab"
   principal="kafka@HADOOP.COM";
};
KafkaClient {
   com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=false
   useTicketCache=true
    renewTicket=true;
};
Client {
 com.sun.security.auth.module.Krb5LoginModule required
 useKeyTab=true
 keyTab="/opt/software/kerberos/kafka.keytab"
 storeKey=true
 useTicketCache=false
 principal="kafka@HADOOP.COM";
};

vi /etc/kafka/conf/kafka_client/config.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

vi kafka-run-class.sh

搜索 :/JVM 
在KAFKA_JVM_PERFORMANCE_OPTS中
添加:
-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/etc/kafka/conf/kafka_client/kafka_client_jaas.conf

验证:

创建生产者
kafka-console-producer --broker-list cdh01:9092 --topic test1 --producer.config /etc/kafka/conf/kafka_client/producer.properties

创建消费者
kafka-console-consumer  --bootstrap-server cdh01:9092,cdh02:9092,cdh03:9092 --topic test_0825  --from-beginning --consumer.config  /etc/kafka/conf/kafka_client/config.properties
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-27 11:55:47  更:2021-08-27 11:58:24 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 17:11:41-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码