IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 第三周 hadoop伪分布 -> 正文阅读

[大数据]第三周 hadoop伪分布

前半段参照这个(7条消息) Hadoop单机/伪分布式集群搭建(新手向)_jessicaiu的博客-CSDN博客_hadoop伪集群单机

(7条消息) Hadoop 伪分布式搭建(超详细)_Mask的博客-CSDN博客_hadoop伪分布式搭建

1、创建hadoop用户:

?新建用户用于hadoop使用:

(1)打开终端,输入命令su,回车,输入root的密码以root用户登录,并创建名为hadoop的新用户:

useradd -m Hadoop -s /bin/bash

(2)修改用户密码:

passwd hadoop

(3)为使用方便,给hadoop用户提升权限,否则hadoop用户在使用sudo命令时会报出:hadoop不在sudoers文件中。此事将被报告;

a. 切换到root用户,查看/etc/sudoers文件权限,默认权限为只读

? ? ? ?

b. 修改/etc/sudoers文件权限为读写权限:chmod 777 /etc/sudoers

?c. 修改/etc/sudoers文件内容,执行visudo或者vim /etc/sudoers

?

d. 保存退出,恢复/etc/sudoers文件的访问权限为440;

(4)切换至hadoop用户;

JDK配置

先解压再配置

?

tar -zxvf jdk-8u171-linux-x64.tar.gz

vim /etc/profile

?

设置好后检验一下是否正确,输出一下内容则设置正确:

Hadoop安装配置
188? tar -zxvf hadoop-3.2.2.tar.gz?
? 189 ?ll
? 190 ?mv hadoop-3.2.2 hadoop
? 191 ?vim /etc/profile
? 192 ?. /etc/profile
? 193 ?hadoop version
? 194 ?cd hadoop/etc/hadoop/
? 195 ?ll
? 196 ?cd
? 197 ?ssh-keygen -t rsa
? 198 ?ssh-copy-id hadoop1
? 199 ?ssh hadoop1
? 200 ?cd /opt/hadoop/etc/hadoop/

201 ?ll
? 202 ?vim workers?
? 203 ?vim hadoop-env.sh?
? 204 ?vim mapred-env.sh?
? 205 ?vim yarn-env.sh?
? 206 ?vim core-site.xml?
? 207 ?cat core-site.xml?
? 208 ?vim hdfs-site.xml?
? 209 ?vim mapred-site.xml?
? 210 ?vim yarn-site.xml?
? 211 ?cd
? 212 ?vim /etc/hosts
? 213 ?hdfs namenode -format
? 214 ?/opt/hadoop/sbin/start-all.sh?
? 215 ?cd /opt/hadoop/etc/hadoop/
? 216 ?vim hadoop-env.sh?
? 217 ?cd ..
? 218 ?sbin/stop-all.sh?
? 219 ?cd
? 220 ?/opt/hadoop/sbin/start-all.sh?
? 221 ?jps
? 222 ?ip addr
? 223 ?jps

?

?

?

?

查看WebUI界面

http://192.168.253.128:50070 访问 hdfs


http://192.168.253.128:8088 访问 yarn

?

?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-16 11:48:52  更:2021-08-16 11:50:55 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 12:55:20-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码