IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 使用Ansible安装Kafka集群 -> 正文阅读

[大数据]使用Ansible安装Kafka集群

1.解压Kafka
把kafka的tgz文件解压放在/app下

- name: unarchive kafka
  unarchive:
        src: kafka_{{KafkaVersion}}.tgz
        dest: /app
        copy: yes
        keep_newer: yes
        owner: mcloud
        group: mcloud
  tags:
        - unarchive_kafka

2.创建 zk/data 以及 /datalog 路径

- name: mkdir
  file: path={{ item }} state=directory recurse=yes owner=mcloud group=mcloud mode=0755
  with_items:
        - "/app/kafka_{{KafkaVersion}}/zk/data"
        - "/app/kafka_{{KafkaVersion}}/datalog"
  tags:
        - mkdir

3.把zookeeper.properties放在kafka的config目录

- name: template zookeeper.properties
  template:
        src: zookeeper.properties
        dest: "{{ KafkaConfDir }}"
        owner: mcloud
        group: mcloud
        mode: 0644
        backup: yes
        force: yes
  tags:
        - template_zookeeper

4.把kafka-server-start.sh放在kafka的bin目录

- name: template kafka ops
  template:
        src:  kafka-server-start.sh
        dest: "/app/kafka_{{KafkaVersion}}/bin/kafka-server-start.sh"
        owner: mcloud
        group: mcloud
        mode: 0755
        force: yes
  tags:
        - template_kafka

5.把变量的zoo_id写到kafka的zk/data/myid

- name: write myid file
  shell: echo "{{zoo_id}}" > "{{ZkDataDir}}"/myid
  tags:
        - write_myid_file

- name: touch myid
  file: path={{ ZkDataDir }}/myid state=file owner=mcloud group=mcloud mode=0644
  tags:
        - touch_myid

6.把server.properties放到kafka的config目录

- name: template server.properties
  template:
        src: server.properties
        dest: "{{ KafkaConfDir }}"
        owner: mcloud
        group: mcloud
        mode: 0644
        backup: yes
        force: yes
  tags:
        - template_server

7.把kafka-run-class.sh放到kafka的config目录

- name: template kafka-run-class.sh
  template:
        src: kafka-run-class.sh
        dest: "{{ KafkaConfDir }}"
        owner: mcloud
        group: mcloud
        mode: 0755
        backup: yes
        force: yes
  tags:
        - template_run-class

8.把kafka.service/zk.service放到systemd的启动目录

- name: copy kafka.service
  become: yes
  become_user: root
  become_method: su
  template:
    src: kafka.service
    dest: /usr/lib/systemd/system/kafka.service
    owner: root
    group: root
    mode: 0644
    backup: no
    force: yes
  tags:
    - copy_kafka_service

9.systemctl enable zk.service/kafka.service

- name: enable kafka.service
  become: yes
  become_user: root
  become_method: su
  command: /usr/bin/systemctl enable kafka.service
  ignore_errors: True
  tags:
    - enable_kafka_service

10.systemctl restart zk.service/kafka.service

- name: restart kafka.service
  become: yes
  become_user: root
  become_method: su
  command: /usr/bin/systemctl restart kafka.service
  async: 45
  tags:
    - restart_kafka

分享下kafka.service文件

[Unit]
Description=kafka_2.12-2.8.0
After=syslog.target network.target remote-fs.target nss-lookup.target zk.service

[Service]
Environment="JAVA_HOME=/app/jdk1.8.0_92" 
Environment="JMX_PORT=9999"
User=mcloud
Group=mcloud
Type=simple
ExecStart=/usr/bin/sh /app/kafka_2.12-2.8.0/bin/kafka-server-start.sh /app/kafka_2.12-2.8.0/config/server.properties
PrivateTmp=true
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=kafka_2.12-2.8.0
Restart=always
RestartSec=30
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity


[Install]
WantedBy=multi-user.target

zk.service

[Unit]
Description=zk_{{KafkaVersion}}
After=syslog.target network.target remote-fs.target nss-lookup.target
Before=kafka.service

[Service]
Environment="JAVA_HOME=/app/jdk1.8.0_92"
User=mcloud
Group=mcloud
Type=simple
ExecStart=/usr/bin/sh /app/kafka_{{KafkaVersion}}/bin/zookeeper-server-start.sh /app/kafka_{{KafkaVersion}}/config/zookeeper.properties
PrivateTmp=true
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=zk_{{KafkaVersion}}
Restart=always
RestartSec=30
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity

[Install]
WantedBy=multi-user.target
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-27 11:55:47  更:2021-08-27 11:56:33 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 16:43:25-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码