用法
1.hadoop xxx
- hadoop fs命令可用于其他文件系统，不止是hdfs文件系统内
- 也就是说该命令的使用范围更广，可以用于HDFS、Local FS等不同的文件系统
2.hdfs xxx
- hdfs dfs命令只用于hdfs文件系统
命令
1.用户命令
- fsck：磁盘检查
- dfs：这个命令很重要，单独讲
- version：版本
- classpath：类路径
- jar
- job：运行mapreduce任务
2.管理命令
- namenode -format：格式化namenode
- secondarynamenode：运行secondarynamenode
- namenode：运行namenode
- journalnode：运行journalnode
- zkfc：故障迁移
- dfsadmin：登录DFS客户端
- datanode：运行datanode
- haadmin：登录DFS HA客户端
- balancer：run a cluster balancing utility
- daemonlog
- jobtracker
3.其他运维命令
- 不重要，先不展示了，需要思维导图内有，也可以百度
用户命令之dfs
1.查看文件结构
- 没有cd命令：hdfs dfs -cd /
- 查看hdfs根目录下文件：hdfs dfs -ls /
- 查看hdfs某个目录下的所有文件：hdfs dfs -ls -R /
2.创建文件
- 在根目录下创建文件：hdfs dfs -mkdir /test
- 递归创建多级目录：hdfs dfs -mkdir -p /test/test1/…
3.移动文件
- 本地文件移动上传hdfs某个目录：hdfs dfs -moveFromLocal /本地文件 /hdfs文件
- hdfs文件移动到本地
hdfs dfs -moveToLocal /hdfs文件/ /本地目录/
- hdfs内部进行文件移动：hdfs dfs -mv /hdfs文件1 /hdfs文件2
4.上传文件
- 本地文件放到hdfs某个目录：hdfs dfs -put /本地文件/ /hdfs目录/
5.下载文件
- 将hdfs文件下载到linux本地
hadoop dfs -get /hdfs文件/
6.文件内容
- 如果数据量比较大，不能使用
- 查看hello.txt文件内容：hdfs dfs -cat /test/hello.txt
- 查看文件末尾，一直等待查看：hdfs dfs -tail -f /path
- 查看文件的大小：hdfs dfs -du -h /path
- 追加一个或者多个文件到hdfs指定文件中：hdfs dfs -appendToFile /test/aa.txt /bb.txt /test/hello.txt
7.复制文件
- 本地文件复制到hdfs某个目录
hdfs dfs -copyFromLocal /本地文件 /hdfs文件
- hdfs文件复制到本地
hdfs dfs -copyToLocal /hdfs文件/ /本地目录/
- hdfs间文件拷贝，可以覆盖，可以保留原有权限信息
8.删除文件
- 删除文件或者目录：hdfs dfs -rmr /test/a
- 这样做其实并没有真正删除文件，只是将文件放到了回收站(/user/root/.Trash/Current)中 ; 每一个用户都有一个回收站
文件永久删除
- 回收站自动清理：fs.trash.interval 1440
- 手动删除回收站：hdfs dfs -rmr /user/root/.Trash/Current
- 强制删除：dfs -rmr -skipTrash /a
9.安全模式
- 查看当前hadoop安全模式的开关状态
hdfs dfsadmin -safemode get
- 打开安全模式
hdfs dfsadmin -safemode enter
- 离开安全模式
hdfs dfsadmin -safemode leave