IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> flume的conf启停脚本(消费端) -> 正文阅读

[大数据]flume的conf启停脚本(消费端)

启动flume的conf命令复杂难记?

启动flume的conf命令占用窗口?

一个脚本帮你搞定

只需一条命令实现功能。

一、前期准备(为了更多的脚本准备)

创建/sh/bin文件夹

mkdir sh

设置环境变量

vi ~/.bash_profile
  
#加入以下内容
#群起脚本环境变量
PATH=$PATH:/root/sh/bin
 
vi ~/.bashrc
 
#加入以下内容
#群起脚本环境变量
PATH=$PATH:/root/sh/bin
 
 
export PATH
#修改成自己的jdk路径
export JAVA_HOME=/training/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin

环境变量生效

source ~/.bash_profile
source ~/.bashrc

二、脚本实现

进入/sh/bin编写jar包

vi f2.sh

#! /bin/bash

case $1 in
"start"){
        for i in hadoop04
        do
                echo "=========启动 $i 消费flume========"
                ssh $i "nohup /training/apache-flume-1.9.0-bin/bin/flume-ng agent --conf-file /training/apache-flume-1.9.0-bin/conf/kafka-flume-hdfs.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/training/apache-flume-1.9.0-bin/log2.txt   2>&1 &"
        done
};;
"stop"){
        for i in hadoop104
        do
                echo "==========停止 $i 消费flume=========="
                ssh $i "ps -ef | awk 'kafka-flume-hdfs.conf/ && !/awk/{print \$2}' | xargs kill -9"
        done

};;
esac

给执行权限

chmod 777 f1.sh

?f2.sh start 开启

f2.sh stop 消费

注解:

nohup:将脚本放置后台运行;

/training/apache-flume-1.9.0-bin/bin/flume-ng:我的flume的flume-ng路径;

--conf-file /training/apache-flume-1.9.0-bin/conf/kafka-flume-hdfs.conf:我的conf文件路径;

Dflume.root.logger=INFO,LOGFILE >/training/apache-flume-1.9.0-bin/log2.txt:脚本执行情况的日志路径和日志名;

2>&1 &:不在控制台输出;

ps -ef | awk '/.conf/ && !/awk/{print \$2}:获取conf文件执行产生的进程id;

xargs kill -9:杀死该进程。
?

本文参考网络资料写成,资料太多已找不到来源!如有错误,恳请大佬指正!



flume的conf文件启停脚本(生产者)_一个人的牛牛的博客-CSDN博客

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-21 19:02:54  更:2022-05-21 19:04:21 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 19:45:59-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码