IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓ 		图片批量下载器
↓批量下载图片,美女图库↓ 		图片自动播放器
↓图片自动播放器↓ 		一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> hadoop伪分布式搭建 -> 正文阅读

[大数据]hadoop伪分布式搭建

上传hadoop的tar包和jdk的rpm包

hadoop-2.6.5.tar.gz

jdkxxx.rpm

安装jdk并配置环境变量

rpm ?-ivh ?jdk.rpm

vim ?/etc/profile

export ?JAVA_HOME=/usr/java/default

export ?PATH=$PATH:$JAVA_HOME/bin

关闭vim

执行

source ?/etc/profile ?或者 ?. ?/etc/profile

配置免密钥

ssh-keygen ?-t ?dsa ?-P ?'' ?-f ?~/.ssh/id_dsa

cat ?~/.ssh/id_dsa.pub ?> ?~/.ssh/authorized_keys

解压hadoop-2.6.5.tar.gz到/opt目录

tar??-zxf ?hadoop-2.6.5.tar.gz ?-C ?/opt

添加环境变量

将HADOOP_HOME以及HADOOP_HOME/bin和HADOOP_HOME/sbin添加到环境变量

vim /etc/profile

export HADOOP_HOME=/opt/hadoop-2.6.5

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

hadoop-env.sh配置

$HADOOP_HOME/etc/hadoop

由于通过SSH远程启动进程的时候默认不会加载/etc/profile设置，JAVA_HOME变量就加载不到，需要手动指定。

export ?JAVA_HOME=/usr/java/jdk1.8.0_221-amd64

core-site.xml

<configuration>

??<!-- 指定访问HDFS的时候路径的默认前缀 ?/ ?hdfs://node1:9000/ -->

??<property>

<name>fs.defaultFS</name>

<value>hdfs://node1:9000</value>

??</property>

??<!-- 指定hadoop的临时目录位置，它会给namenode、secondarynamenode以及datanode的存储目录指定前缀 -->

??<property>

<name>hadoop.tmp.dir</name>

<value>/var/bjsxt/hadoop/pseudo</value>

??</property>

</configuration>

hdfs-site.xml

<configuration>

??<!-- 指定block副本数 -->

??<property>

<name>dfs.replication</name>

<value>1</value>

??</property>

??<!-- 指定secondarynamenode所在的位置 -->

??<property>

<name>dfs.namenode.secondary.http-address</name>

<value>node1:50090</value>

??</property>

</configuration>

slaves

DataNode所在的节点

node1

格式化

hdfs ?namenode ?-format

启动

start-dfs.sh

查看进程

jps

上传文件

生成本地文件：

for i in `seq 100000`; do echo "hello word $i" >> hello.txt; done

hdfs dfs -D dfs.blocksize=1048576 -D dfs.replication=1 -put hello.txt /

关闭

stop-dfs.sh
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技：还在苦于ETL？Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch：如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-07-30 12:48:25  更:2021-07-30 12:50:15 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/4 11:30:40-

图片自动播放器
↓图片自动播放器↓ 		TxT小说阅读器
↓语音阅读,小说下载,古典文学↓ 		一键清除垃圾
↓轻轻一点,清除系统垃圾↓ 		图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码