IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hadoop笔记配置到zookeeper大致部署 -> 正文阅读

[大数据]Hadoop笔记配置到zookeeper大致部署

一,安装VM和centos?
1.安装vm15蓝屏 ?(版本和电脑不兼容)
? ? ? ? 下载vm16
2.centos,单独放在一个文件夹中
二,修改主机名,IP,映射
1.hostname ?(hostnamectl ?set-hostname ?主机名)
2.vi /etc/hostname(重启)
(二)IP修改:vi /etc/sysconfig/network-scripts/ifcfg-ens33
1.修改为静态获取IP
BOOTPROTO="static"
2.添加IP地址
IPADDR=192.168.1.100
3.添加网关
GATEWAY=192.168.1.2
4.添加子网掩码
NETMASK=255.255.255.0
5.添加域名解析器
DNS1=192.168.1.2
(三)映射
vi /etc/hosts
三,网络配置
1.虚拟机
2.windows电脑(遇到电脑没有vmnet8的下载CCleaner,清理注册表,重置虚拟机网络)
3.调整防火墙(建议关闭防火墙-1.查看防火墙状态systemctl status firewalld-2.关闭防火墙systemctl stop firewalld-3.开机防火墙不启动systemctl disable firewalld
4.ping IP地址{1.ping外部IP网址。2.ping 百度网址
5.重启网络:service network restart
四,链接moba
五,jdk、hadoop部署
1.在opt下面创建software,module两个文件夹
2.安装jdk
3.安装hadoop
4.伪分布部署
5.克隆虚拟机
6.完全分布式部署(1.免密2.修改环境变量 3.(修改配置文件-hadoop-env.sh ?hdfa-site.xml ?yarn-site.xml ?mapred-site.xml)4.集群分发scp-r谁 用户名主机名: 地址 ?5.格式化namenode(rm -rf data ?rm -rf logs)hdfs namenode -format ?6.单启,群启)
六,hive配置
1.安装mysql(下载 mysql linux安装包,将其上传到linux下/opt/softwarey中,解压到/opt/module/下:tar-xf 要解压的文件-C 到哪 。安装对应的rpm文件:1.删除原来的mysql 2.测验虚拟机是否能够上网,获取插件:yum install-y libaio 3.依次执行命令 4.切换到/var/lib/mysql/ 并删除所有的文件:rm-rf * 5.初始化mysql:mysqld --initialize --user=mysql 6.查看生成的随机密码:cat/var/log/mysqld.log 7.启动mysql服务:systemctl start mysqld 8.登录mysql数据库:mysql -uroot -p ? Enter password:输入临时生成密码 )
2.安装hive(下载安装包:apache-hive-3.1.2-bin.tar.gz 上传至linux系统/opt/software/路径 2.解压软件: tar -zxvf apache-hive-3.1.2-bin.tar.gz-C/opt/module/ 3.添加系统环境变量:vi /etc/profile 重置环境配置:source /etc/profile 4.修改hive环境变量:cd /opt/module/apache-3.1.2-bin/bin/ 编辑hive-config.sh文件:vi hive-config.sh 5.在/opt/module/apache-3.1.2-bin/conf/创建hive-site.xml配置文件:vi hive-site.xml 6.修改Hive配置文件,找到相应的位置进行修改 7.上传mysql驱动包到/opt/module/apache-3.1.2-bin/lib/文件夹下解压后在里面获取jar包 8.确保mysql里面有名称为hive的数据库 9.初始化元数据库:schematool -dbtype mysql -iniSchema 10.确保Hadoop启动 11.启动hive:hive 12.检测是否启动成功:show databases)
3.修改配置环境
4.启动
七,zookeeper集体部署
1.解压cd /opt/module/ ? tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz
2.创建数据文件和目录文件 在zookeeper的跟目录下创建两个文件夹data和log(cd /opt/module/apache-zookeeper-3.5.5-bin/ ? ?mkdir data ?mkdir log)
3.拷贝配置文件(cd /opt/module/apache-zookeeper-3.5.5-bin/conf/cp zoo_sample.cfg zoo.cfg)
4.创建服务器myid在data目录下创建myid的文件。里面的值可以给个任意的值,和上述服务器起server.x对应:cd /opt/module/apache-zookeeper-3.5.5-bin/data/touch myid
5.集群拷贝:scp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop101:/opt/module/apache-zookeeper-3.5.5-binscp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop102:/opt/module/apache-zookeeper-3.5.5-bin
6.集群myid更改
7.启动集群

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-15 18:21:59  更:2021-12-15 18:23:20 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 11:40:35-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码