IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> HDFS单节点配置(以主节点为例) -> 正文阅读

[大数据]HDFS单节点配置(以主节点为例)

一、 纵向配置

如果使用root账户配置全部用户的环境变量,则修改配置文件:

/ect/profile

如果使用用户TJY配置环境变量,则修改配置文件:

cd /home/TJY

vim .bashrc

增加如下内容:

#Hadoop

export HADOOP_HOME=/home/TJY/hadoop-2.7.6

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

? /*/home/TJY/hadoop-2.7.6 为具体安装路径*/

路径生成:

source .bashrc

检验:

hadoop

如下图所示,则安装成功:

二、横向配置

进入$/HADOOP_HOME/etc/hadoop目录:

cd hadoop/hadoop-2.7.6/etc/hadoop

完成该目录下的四个配置文件

a.?配置core-site.xml?

vim?core-site.xml

增加如下内容:

<configuration>

<property>

? ? ? ? <name>fs.defaultFS</name>

? ? ? ? <value>hdfs://westgisB040:8020</value>

? </property>

</configuration>

/*此处wetgisB040为NameNode的机器名,8020为RPC通讯端口*/

b.配置hdfs-site.xml

vim?hdfs-site.xml

更改如下内容:

<configuration>

? <property>

? ? ? ? <name>dfs.replication</name>

? ? ? ? <value>3</value>

? </property>

<property>

? ? ? <name>dfs.namenode.name.dir</name>

? ? ? ? <value>/home/TJY/hdfs/name</value>

? </property>

<property>

? ? ? ? <name>dfs.datanode.data.dir</name>

? ? ? ? <value>/home/TJY/hdfs/data</value>? ?

? </property>

</configuration>

/*注意<configuration></configuration>为头尾默认提示,全部复制进来时要删掉原有*/

/*此处dfs.replation为数据的备份个数,一般情况为3*/

/*此处/home/TJY/hdfs/name为元数据在NameNode本地存储路径,需手动创建*/

/*此处/home/TJY/hdfs/data为实际数据在DataNode本地存储路径,需手动创建*/

c.配置hadoop-env.sh

vim hadoop-env.sh

在文件最后增加JAVA_HOME:

export JAVA_HOME=/home/TJY/jdk/jdk1.8.0_271

d.?配置slaves

vim slaves

删除文件中?localhost?,然后将HDFS集群所有的DataNode机器名,每行一个,形式如下:

westgisB0XX

westgisB0XX

westgisB0XX

westgisB0XX

三、复制主节点配置到所有从节点

首先,将NameNode上相关文件拷贝到所有的DataNode节点,具体有:

  • 环境变量配置文件.bashrc
  • $/HADOOP_HOME/etc/hadoop目录下的四个配置文件

语句参考:

## 文件目录拷贝
scp -r /home/TJY/hdfs TJY@10.103.105.41:/home/TJY


##? 安装目录拷贝
scp -r /home/TJY/hadoop/hadoop-2.7.6 TJY@10.103.105.41:/home/TJY/hadoop

四、集群的初始化与启动

? ? /*操作全部在namenode节点上进行*/

?a.格式化HDFS

hadoop namenode -format

? ? /*每次更改namenode相关配置时都要进行*/??

?b.启动HDFS

$HADOOP_HOME/sbin/start-dfs.sh

?c. 查看java进程

jps

/*namenode和datanode都可查看*/

d.停止HDFS

$HADOOP_HOME/sbin/stop-dfs.sh
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-09-29 10:21:27  更:2021-09-29 10:21:57 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/27 14:49:29-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码