前言：
随着大数据平台的不断发展，我们对hadoop使用也越来越多。同时hadoop许多命令在使用时会产生遗忘和参数选择的问题出现。本文将hadoop平台上的hdfs与yarn常用命令进行汇总解释。
一? hdfs基本语法
hadoop中hdfs命令格式分为两种，一种为hadoop fs 具体命令或者是 hdfs dfs 具体命令。两种格式都能够实现对hdfs进行操作，且实现效果是完全相同。
二? hdfs常用命令
2.1 文件的上传与下载
文件的上传与下载
| 命令 | 解释 | 示例 | | -moveFromLocal | 从本地剪切到HDFS文件系统 | hadoop fs? -moveFromLocal dir1 dir2 | | -copyFromLocal | 从本地拷贝（复制）到HDFS文件系统 | hadoop fs? -copyFromLocal dir1 dir2 | | -put | 从本地拷贝（复制）到HDFS文件系统 | hadoop fs -put dir1 dir2 | | -appendToFile | 追加一个文件到已经存在的文件末尾 | hadoop fs -appendToFile dir1 dir2 | | -copyToLocal | 从HDFS下载文件到本地系统 | hadoop fs -copyToLocal dir1 dir2 | | -get | 从HDFS下载文件到本地系统 | hadoop fs -get dir1 dir2 |
2.2 HDFS对文件直接操作
文件直接操作
| 命令 | 解释 | 示例 | | -ls | 显示目录信息 | hadoop fs -ls dir1 | | -cat | 显示文件内容 | hadoop fs -cat dir1 | | -chgrp，-chomd，-chown | 修改文件权限（与liunx 系统使用方式一样） | hadoop fs -chmod 777 | | -mkdir | 创建路径 | hadoop fs -mkdir dir1 | | -cp | 从一个位置复制文件到另一个位置 | hadoop fs -cp dir1 dir2 | | -mv | 在HDFS目录中移动文件 | hadoop fs -mv dir1 dir2 | | -tail | 显示一个文件的末尾 1kb的数据 | hadoop fs -tail dir1 | | -rm | 删除文件或文件夹 | hadoop fs -rm dir1 | | -rm -r | 递归删除目录及目录里面的内容 | hadoop fs -rm -r dir1 | | -du | 统计文件夹的大小信息 | hadoop fs -du dir1 | | -setrep | 设置HDFS中文件的副本数量 | hadoop fs -setrep 10 dir1 |
二? ?Yarn常用命令
????????Yarn状态的查询，可以在对应的客户端页面进行查看，还可以通过命令操作，常用命令如下所示。
2.1 yarn application 查看任务
yarn application 查看任务命令
| 命令 | 解释 | | yarn application -list | 列出所有的Application | | yarn application -list -appStates 状态有（ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED） | 根据Application状态进行过滤展示 | | yarn application -kill <ApplicationId> | 根据applicationid号kill掉application |
2.2 yarn logs查看日志
yarn logs查看日志
| 命令 | 解释 | | yarn logs -applicationId <ApplicationId> | 查看对应的application日志 | | yarn logs -applicationId <ApplicationId> -containerId <ContainerId> | 查看对应container日志 |
2.3?yarn applicationattempt查看尝试运行的任务
yarn applicationattempt查看尝试运行的任务
| 命令 | 解释 | | yarn applicationattempt -list <ApplicationId> | 列出所有Application尝试的列表 | | yarn applicationattempt -status <ApplicationAttemptId> | 打印ApplicationAttemp状态 |
2.4? yarn container查看容器
yarn container查看容器
| 命令 | 解释 | | yarn container -list <ApplicationAttemptId> | 列出所有Container | | yarn container -status <ContainerId> | 打印Container状态 |
2.5??yarn node查看节点状态
yarn node查看节点状态
| 命令 | 解释 | | yarn node -list -all | 列出所有节点信息 |
2.6??yarn rmadmin更新配置?yarn queue查看队列
| 命令 | 解释 | | yarn rmadmin -refreshQueues | 加载队列配置 | | yarn queue -status <QueueName> | 打印队列信息 |
yarn的主要使用还是在客户端页面8088对其进行直接操作。
hdfs文件系统很多命令与liunx命令的使用方式相同，可以在客户端进行操作也可以在命令行进行操作。
|