一,安装VM和centos? 1.安装vm15蓝屏 ?(版本和电脑不兼容) ? ? ? ? 下载vm16 2.centos,单独放在一个文件夹中 二,修改主机名,IP,映射 1.hostname ?(hostnamectl ?set-hostname ?主机名) 2.vi /etc/hostname(重启) (二)IP修改:vi /etc/sysconfig/network-scripts/ifcfg-ens33 1.修改为静态获取IP BOOTPROTO="static" 2.添加IP地址 IPADDR=192.168.1.100 3.添加网关 GATEWAY=192.168.1.2 4.添加子网掩码 NETMASK=255.255.255.0 5.添加域名解析器 DNS1=192.168.1.2 (三)映射 vi /etc/hosts 三,网络配置 1.虚拟机 2.windows电脑(遇到电脑没有vmnet8的下载CCleaner,清理注册表,重置虚拟机网络) 3.调整防火墙(建议关闭防火墙-1.查看防火墙状态systemctl status firewalld-2.关闭防火墙systemctl stop firewalld-3.开机防火墙不启动systemctl disable firewalld 4.ping IP地址{1.ping外部IP网址。2.ping 百度网址 5.重启网络:service network restart 四,链接moba 五,jdk、hadoop部署 1.在opt下面创建software,module两个文件夹 2.安装jdk 3.安装hadoop 4.伪分布部署 5.克隆虚拟机 6.完全分布式部署(1.免密2.修改环境变量 3.(修改配置文件-hadoop-env.sh ?hdfa-site.xml ?yarn-site.xml ?mapred-site.xml)4.集群分发scp-r谁 用户名主机名: 地址 ?5.格式化namenode(rm -rf data ?rm -rf logs)hdfs namenode -format ?6.单启,群启) 六,hive配置 1.安装mysql(下载 mysql linux安装包,将其上传到linux下/opt/softwarey中,解压到/opt/module/下:tar-xf 要解压的文件-C 到哪 。安装对应的rpm文件:1.删除原来的mysql 2.测验虚拟机是否能够上网,获取插件:yum install-y libaio 3.依次执行命令 4.切换到/var/lib/mysql/ 并删除所有的文件:rm-rf * 5.初始化mysql:mysqld --initialize --user=mysql 6.查看生成的随机密码:cat/var/log/mysqld.log 7.启动mysql服务:systemctl start mysqld 8.登录mysql数据库:mysql -uroot -p ? Enter password:输入临时生成密码 ) 2.安装hive(下载安装包:apache-hive-3.1.2-bin.tar.gz 上传至linux系统/opt/software/路径 2.解压软件: tar -zxvf apache-hive-3.1.2-bin.tar.gz-C/opt/module/ 3.添加系统环境变量:vi /etc/profile 重置环境配置:source /etc/profile 4.修改hive环境变量:cd /opt/module/apache-3.1.2-bin/bin/ 编辑hive-config.sh文件:vi hive-config.sh 5.在/opt/module/apache-3.1.2-bin/conf/创建hive-site.xml配置文件:vi hive-site.xml 6.修改Hive配置文件,找到相应的位置进行修改 7.上传mysql驱动包到/opt/module/apache-3.1.2-bin/lib/文件夹下解压后在里面获取jar包 8.确保mysql里面有名称为hive的数据库 9.初始化元数据库:schematool -dbtype mysql -iniSchema 10.确保Hadoop启动 11.启动hive:hive 12.检测是否启动成功:show databases) 3.修改配置环境 4.启动 七,zookeeper集体部署 1.解压cd /opt/module/ ? tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz 2.创建数据文件和目录文件 在zookeeper的跟目录下创建两个文件夹data和log(cd /opt/module/apache-zookeeper-3.5.5-bin/ ? ?mkdir data ?mkdir log) 3.拷贝配置文件(cd /opt/module/apache-zookeeper-3.5.5-bin/conf/cp zoo_sample.cfg zoo.cfg) 4.创建服务器myid在data目录下创建myid的文件。里面的值可以给个任意的值,和上述服务器起server.x对应:cd /opt/module/apache-zookeeper-3.5.5-bin/data/touch myid 5.集群拷贝:scp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop101:/opt/module/apache-zookeeper-3.5.5-binscp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop102:/opt/module/apache-zookeeper-3.5.5-bin 6.集群myid更改 7.启动集群
|