[大数据]（centos）伪分布式hadoop安装

首先：安装ssh

cd  ~/.ssh/                          # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t  rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys   # 加入授权 

1. 安装JDK

百度网盘下载链接：jdk-8u77-linux-x64.tar.gz.
提取码：72un
当然其他版本也是可以的（JDK8）

下载上传/opt/目录下并解压缩到/usr/local下
tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/local/

2. 配置JDK环境变量

上面命令使用vi编辑器（查看vi编辑器使用方法）打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：/usr/local/jdk1.8.0_77 表示java的安装目录（根据自己的安装目录确定）
vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_77
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$PATH:$JAVA_HOME/bin:$PATH

:wq!
source /etc/profice

3. 查看环境
   java -version表示安装成功
4. 下载和配置Hadoop环境
   官网下载hadoop-2.7.7.tar.gz到自己想安装hadoop的目录例如（/usr/local/hadoop）（其余版本也可以）
   百度网盘下载链接：https://pan.baidu.com/s/1pngxgv6N3ILCYX7uzemxbw .
   提取码：utjr

下载上传到/opt/目录解压缩到/usr/local/下
tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 解压缩后hadoop文件夹下的 etc/hadoop/ 中（例如刚解压缩的位置为/usr/local/hadoop 则配置文件在/usr/local/hadoop/etc/hadoop/），伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

5. 配置hadoop环境变量
   vi /etc/profile

export HADOOP_HOME=/usr/local/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile //刷新环境配置

6. 查看hadoop环境
   hadoop version
   
   cd /usr/local/hadoop-2.7.7/etc/hadoop/

修改配置文件 core-site.xml

在<configuration></configuration>添加如下内容
vi core-site.xml

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop-2.7.7/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

修改配置文件 hdfs-site.xml：

dfs.replication 里面的值1表示保留一个副本 因为伪分布只有一个数据节点 file:/usr/local/hadoop/tmp/dfs/name 表示存放名字节点的文件夹（根据自己的实际情况填写，本例中是/usr/local/hadoop-2.7.7/tmp/dfs/name）由于hadoop解压缩没有该文件夹因此先在hadoop建立目录 mkdir tmp

        mkdir  dfs  
        mkdir  dfs/name
        mkdir  dfs/data

vi hdfs-site.xml

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-2.7.7/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop-2.7.7/dfs/data</value>
    </property>

7. hadoop目录下 配置etc/hadoop/hadoop-env.sh

在里面找到“export JAVA_HOME=${JAVA_HOME}”这行，然后，把它修改成JAVA安装路径的具体地址，比如，

vi hadoop-env.sh 
export JAVA_HOME=/usr/local/jdk1.8.0_77  

8. 启动

hdfs namenode -format
start-all.sh

9. 使用jps命令查看是否启动成功（有secondarynamenode namenode 和datanode表示成
   
   最后查看文件系统的基本信息和统计信息

hdfs dfsadmin -report

这样就能能成功部署hadoop伪分布式环境了。

扩展：

dfsadmin是一个多任务的工具，我们可以使用它来获取HDFS的状态信息，以及在HDFS上执行的一系列管理操作。
调用方式

例如：hadoop dfsadmin -report
dfsadmin命令详解

-report：查看文件系统的基本信息和统计信息。

-safeadmin enter | leave | get | wait：安全模式命令。安全模式是NameNode的一种状态，在这种状态下，NameNode不接受对名字空间的更改（只读）；不复制或删除块。NameNode在启动时自动进入安全模式，当配置块的最小百分数满足最小副本数的条件时，会自动离开安全模式。enter是进入，leave是离开。

-refreshNodes：重新读取hosts和exclude文件，使新的节点或需要退出集群的节点能够被NameNode重新识别。这个命令在新增节点或注销节点时用到。

-finalizeUpgrade：终结HDFS的升级操作。DataNode删除前一个版本的工作目录，之后NameNode也这样做。

-upgradeProgress status | details | force：请求当前系统的升级状态 | 升级状态的细节 | 强制升级操作

-metasave filename: 保存NameNode的主要数据结构到hadoop.log.dir属性指定的目录下的 文件中。

-setQuota ……： 为每个目录设定配额。目录配额是一个长整形整数，强制设定目录树下的名字个数。

-clrQuota ……: 为每个目录清除配额设定。

-help : 这个命令就不多说了。