IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> docker之大数据平台搭建 -> 正文阅读

[大数据]docker之大数据平台搭建

docker环境安装

安装docker

博主使用的是centos7,docker支持centos7和8,其他系统安装参照
https://www.runoob.com/docker/ubuntu-docker-install.html
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

或者国内 daocloud 一键安装命令:
curl -sSL https://get.daocloud.io/docker | sh

docker镜像

博主采用centos7
其他版本见docker仓库:https://hub.docker.com/_/centos?tab=tags
docker pull centos:centos7

虚拟网络设置

首先创建一个虚拟网络,subnet表示网段的CIDR格式的子网
docker network create --subnet 172.20.0.0/24 myip
查看虚拟网络配置详情
docker network inspect myip

启动和运行容器

特别注意privileged参数,docker容器存在限制,这个参数是开启用户在这个容器中可以使用特权
// master
docker run -itd --hostname master -n master --network myip --ip 172.20.0.11 --privileged
centos:centos7
// slave1
docker run -itd --hostname slave1-n slave1--network myip --ip 172.20.0.12 --privileged
centos:centos7
// slave2
docker run -itd --hostname slave2-n slave2--network myip --ip 172.20.0.13 --privileged
centos:centos7
// 启动容器
docker start master slave1 slave2
// 进入容器
docker exec -it master bash

hadoop-HA搭建配置

centos初始化配置

1.ssh服务下载
2.vim下载
3.配置三台主机免密

hadoop-HA配置

详情见我的gitee仓库,还有很多工具仓库欢迎收藏
https://gitee.com/dong-kunhang/conf/tree/master/hadoop

启动集群

1.启动zk zkServer.sh start 
2.hadoop-daemon.sh start journalnode
3.hdfs namenode -format  /hadoop-daemon.sh start namenode
4.hdfs namenode -bootstrapStandby /hadoop-daemon.sh start namenode
5.强制手动激活 hdfs haadmin -transitionToActive --forcemanual nn1
6.获取状态 hdfs haadmin -getServiceState nn1 standby
7.hdfs zkfc -formatZK
8.hadoop-daemon.sh start zkfc
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-07 11:15:14  更:2022-05-07 11:16:28 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 1:30:55-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码