IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 集群中文件分发脚本、同步操作脚本、zookeeper群起群停脚本、kafka群起脚本 -> 正文阅读

[大数据]集群中文件分发脚本、同步操作脚本、zookeeper群起群停脚本、kafka群起脚本

昨晚承诺今晚上给大家写一篇博文教一下向我一样刚入门大数据的同学如何能够使用脚本方便我们的学习,方便我们对集群的使用。虽然今天刚外出学习回来比较累,但是依然还是要实现自己说的话,希望我们大家都可以在学习的进程不断坚持。获取到更多的专业知识,未来有更好的就业机会和选择!

我这里的方法主要是针对集群的使用:hadoop集群 、spark集群、kafka集群、zookeeper集群,,脚本编写在/root/bin/目录下 编写完后保存,然后对文件进行赋权限 chmod u+x 文件名

目录

准备工作

  • 三台主机:ethan001 ethan002 ethan003(以自己的命名为主)

  • 集群的主机间配置好免密登录

  • 在/etc/目录下的profile文件中配置好安装的软件的环境变量
    vi /etc/profile
    以下配置联系自己的实际安装位置,我这里只是给大家做个展示效果
    在这里插入图片描述

  • 在/root/目录下创建一个bin目录
    mkdir bin
    在这里插入图片描述

  • 在/root/目录下的.bashrc文件的最后加入让环境变量生效的指令
    vi .bashrc
    加入下面内容:
    source /etc/profile
    在这里插入图片描述

脚本应用

注意:以下脚本都创建在前面创建的/root/bin/目录下,并且编写完脚本后要进行赋权限才能使用!!!

1. 分发脚本(xsync)

**含义**:
>在集群中使用"脚本+文件/目录名",可以将此文件/目录分发到集群中的另外两台节点对应的目录下

**脚本内容**:
```java
#!/bin/bash
#校验参数是否合法
if(($#==0))
then
        echo 请输入要分发的文件!
        exit;
fi
#获取分发文件的绝对路径
dirpath=$(cd `dirname $1`; pwd -P)
filename=`basename $1`

echo 要分发的文件的路径是:$dirpath/$filename

#循环执行rsync分发文件到集群的每条机器
for i in ethan001 ethan002 ethan003 
do
        echo ---------------------$i---------------------
        rsync -rvlt $dirpath/$filename  root@$i:$dirpath
done

```
**使用方法**:
将文件he分发到另外两台节点对应的/root/目录下![在这里插入图片描述](https://img-blog.csdnimg.cn/672185d9481846988b8cb353ad3b60c3.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pWw5o2u5piv5Liq5a6d,size_20,color_FFFFFF,t_70,g_se,x_16)

2. 同步操作脚本(xcall)

含义

在集群中使用"脚本+命令",可以让集群中的三台节点同时执行同一个命令。

脚本内容

#!/bin/bash
#在集群的所有机器上批量执行同一条命令
if(($#==0))
then
        echo 请输入您要操作的命令!
        exit
fi

echo 要执行的命令是$*

#循环执行此命令
for i in ethan001 ethan002 ethan003 
do
        echo ---------------------$i-----------------
        ssh $i $*
done

使用方法
对三台节点执行同一个命令(jps)示例
在这里插入图片描述

3. zookeeper群起脚本(myzk)

含义

在集群中使用"脚本",可以让集群中的三台节点同时启动zookeeper服务。

脚本内容

for i in ethan001 ethan002 ethan003
do
echo "========== $i =========="
ssh $i '/opt/module/zookeeper-3.4.5/bin/zkServer.sh start'
echo $?
done

使用方法
直接使用myzk

4. zookeeper群停脚本(myzkstop)

含义

在集群中使用"脚本",可以让集群中的三台节点同时关闭zookeeper服务。

脚本内容

for i in ethan001 ethan002 ethan003
do
echo "========== $i =========="
ssh $i '/opt/module/zookeeper-3.4.5/bin/zkServer.sh stop'
echo $?
done

使用方法
直接输入myzkstop

5. kafka群起脚本

含义

在集群中使用"脚本",可以让集群中的三台节点同时启动kafka服务。

脚本内容

for i in ethan001 ethan002 ethan003
do
echo "========== $i =========="
ssh $i '/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties'
echo $?
done	

使用方法
直接输入mykf

由于时间比较短,如果您使用有错误存在请在评论区留下你的评论,我会以最快的速度进行更改
感谢一键三连的伙伴,,一起加油!一起交流学习,共同进步!


  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-05 12:06:24  更:2021-12-05 12:06:47 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 10:44:05-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码