前言
根据2022全国职业技能大赛大数据技术与应用赛项赛题进行整理，如果有错误指出请提出改正，谢谢！
资料
赛程文件
链接：https://pan.baidu.com/s/1TAygWqDkYOW9TDn-3HnHzA?
提取码：yikm?
ubantu镜像
链接：https://pan.baidu.com/s/14A2gsG857p8PO3NpiOcEnQ?
提取码：yikm?
平台搭建组件包
链接：https://pan.baidu.com/s/1vNBF0JTKo2g5IpweyyM9Cw?
提取码：yikm?
前提条件
竞赛内容
竞赛软件环境
技能要求
依据大数据平台的技术特点独立解压、安装、配置。对不同的组件 4 进行文件参数配置，日志查看、状态查看、服务启动、组件部署等。
赛题及解析
大数据平台搭建（容器环境）
环境说明
服务端登录地址详见各模块服务端说明。
补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；
相关软件安装包在宿主机的/opt目录下，请选择对应的安装包进行 安装，用不到的可忽略；
所有模块中应用命令必须采用绝对路径；
从本地仓库中拉取镜像，并启动3个容器
进入Master节点的方式为
docker exec –it master /bin/bash进入Slave1节点的方式为
docker exec –it slave1 /bin/bash 进入Slave2节点的方式为
docker exec –it slave2 /bin/bash同时将/opt目录下的所有安装包移动到3个容器节点中。
前期准备
在ubantu中安装docker ce
1.安装一些必要的系统工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
安装gpg证书并写入阿里源 docker ce镜像信息
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
?更新安装docker ce
sudo apt-get -y updatesudo apt-get -y install docker-ce
?查看docker ce 版本
docker version
?启动docker服务
sudo service docker startdocker默认是只有root才能执行Docker命令，因此我们还需要添加用户权限：
创建docker用户组：
sudo groupadd docker添加当前用户到Docker用户组：
sudo gpasswd -a $USER docker更新用户组：
newgrp docker
创建docker虚拟机的时候，注意需要让虚拟机使用静态ip, docker设置固定ip地址，步骤如下
1. (在主机)创建网络
docker network create --subnet=172.18.0.0/16 ??mynetwork
docker network ls
2. (在主机)创建虚拟机
docker run -itd --name staticIp-privileged --net mynetwork --ip 172.18.0.2 --privileged=true centos:7 /sbin/init
docker ps -a
??
3. (在主机)登录虚拟机（用docker方式）
docker exec -it staticIp-privileged /bin/bash
进入docker虚拟机后，centos7默认很多软件没有安装，需要自己手动安装软件
yum install net-tools openssh-server openssh-clients initscripts vim -y 等待安装完毕后开启ssh服务
vim /etc/ssh/sshd_config?
?
?开启ssh服务
systemctl start sshd.service
systemctl status sshd.service
?设置密码
passwd
4. ?(在主机)登录虚拟机（用ssh方式）
ssh root@172.18.0.2
5. ?安装大数据环境的软件
?将主机中的软件安装包传入ubantu宿主机
使用xshell连接ubantu
?
?连接失败?
原因：ubuntu没有安装ssh远程连接服务
?解决方法：安装ssh远程连接服务
sudo apt-get install openssh-server
?再次尝试成功
?打开xftp传输文件
报错
?解决方法：修改权限 假设要上传的目录是/opt?它的权限应该是777
sudo chmod 777 /opt??
重新打开xftp再次尝试成功
将ubantu宿主机中的安装包传输镜像文件中
docker cp /opt/package/ staticIp-privileged:/opt
6. ?(在主机)将docker虚拟机/docker容器 保存为 ?docker镜像文件Filex
docker stop staticIp-privileged
docker images
docker commit -m "first docker" staticIp-privileged centos:hadoop
docker images
7. ?(在主机)使用docker镜像文件filex,创建虚拟机master,slave1,salve2。
docker ps -a
docker run -itd --name master --net mynetwork --ip 172.18.0.10 --privileged=true centos:hadoop /sbin/init
docker run -itd --name slave1 --net mynetwork --ip 172.18.0.11 --privileged=true centos:hadoop /sbin/init
docker run -itd --name slave2 --net mynetwork --ip 172.18.0.12 --privileged=true centos:hadoop /sbin/init
docker ps -a
至此容器镜像配置完毕，准备工作完毕！