[大数据]在hadoop中伪分布式部署的命令与步骤

HDFS是进行存储的，YARN是进行调度的。

第一步先切换到hadoop下面的etc（配置文件都在etc下面）

命令：cd /etc

然后在hadoop中配置core-site.xml

命令：Vi core-site.xml? 进入后把下面的代码粘贴进去?

指定HDFS中namenode的地址。将命令放到configuration标签中

<configuration>

<!-- 指定HDFS中NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

????<value>hdfs://hadoop100:9820</value>

</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

????????<name>hadoop.tmp.dir</name>

????????<value>/opt/module/hadoop-3.1.3/data/tmp</value>

</property>

</configuration>

第二步：在hadoop中配置hdfs-site.xml

命令：vi hdfs-site.xml? ?下面的是代码

在configuration中指定HDFS的数量

<configuration>

<!-- 指定HDFS副本的数量 -->

<property>

????????<name>dfs.replication</name>

????????<value>1</value>

</property>

</configuration>

第四步：格式化NameNode（第一次启动时格式化，以后就不要总格式化）

格式化命令：hdfs namenode –format

第六步：启动namenode ?????????

命令：hdfs ?- -daemon ?start ?namenode

第七步：启动datanode

命令：hdfs ?--daemon start datanode

第八步：配置yarn-site.xml

命令：vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- Reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!-- 指定YARN的ResourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop100</value>

</property>

?<property>

??<name>yarn.nodemanager.env-whitelist</name> ???????<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

?</property>

</configuration>

第九步：配置mapred-site.xml

命令：[root@hadoop100 hadoop]# vi mapred-site.xml

<configuration>

<!-- 指定MR运行在YARN上 -->

<property>

????????????????<name>mapreduce.framework.name</name>

????????????????<value>yarn</value>

</property>

</configuration>

第十步：启动resourcemanager

命令：[root@hadoop100 hadoop]# yarn --daemon start resourcemanager

十一步：启动nodemanager

命令：[root@hadoop100 hadoop]# yarn --daemon start nodemanager

十二步：Jsp查看java进程

命令：jsp

十三步：在HDFS中创建文件夹/user/input

命令：hdfs dfs -mkdir -p /user/input

十四步：将文件上传到HDFS

命令：hdfs ?dfs ?–put 要上传的文件名 上传的地址

案例:?hdfs??dfs??-put??wcinput/wc.input???/user/input/

十五步：查看hdfs的文件目录

命令：Hdfs dfs –ls 文件路径 ??

注意，这里面的根目录不是linux的根目录

案例：hdfs dfs -ls /user/input/

十六步：查看hdfs中文件内容

命令：hdfs dfs –cat?文件名

案例：hdfs dfs -cat /user/input/wc.inpu

最后执行文件

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar?wordcount?