基本语法
hadoop fs +具体命令 hdfs dfs +具体命令
上传
1)-moveFromLocal:从本地剪切粘贴到 HDFS
$ hadoop fs -moveFromLocal ./xxx.txt/xx
当前目录下的txt文件上传到xx目录下,当前目录下的txt文件被剪贴
2)-copyFromLocal:从本地文件系统中拷贝文件到 HDFS 路径去
$ hadoop fs -copyFromLocal xxx.txt /xx
当前目录下的txt文件上传到xx目录下,当前目录下的txt文件依然存在
3)-put:等同于 copyFromLocal,生产环境更习惯用 put
$ hadoop fs -put ./xxx.txt /xx
4)-appendToFile:追加一个文件到已经存在的文件末尾
$ hadoop fs -appendToFile abc.txt /xx/xxx.txt
下载
1)-copyToLocal:从 HDFS 拷贝到本地
$ hadoop fs -copyToLocal /xx/xxx.txt ./
2)-get:等同于 copyToLocal,生产环境更习惯用 get
$ hadoop fs -get /xx/xxx.txt ./xx2.txt
HDFS 直接操作
1)-ls: 显示目录信息
$ hadoop fs -ls /xx
2)-cat:显示文件内容
$ hadoop fs -cat /xx/xxx.txt
3)-chgrp、-chmod、-chown:Linux 文件系统中的用法一样,修改文件所属权限
$ hadoop fs -chmod 666 /xx/xxx.txt $ hadoop fs -chown a:a /xx/xxx.txt
chmod [option] filename/dirname 注意:执行者必须是属主或root用户; ①、字母形式命令 给谁设置: u:表示属主owner(user) g:表示属组(group) o:表示others,给其他用户设置权限 a:表示all,给所有人(包含ugo部分)设置权限 如果在设置权限的时候不指定给谁设置,则默认给所有用户设置
权限字符: r:读 w:写 x:执行 -:表示没有权限
权限分配方式: +:表示给具体的用户新增权限(相对当前) -:表示删除用户的权限(相对当前) =:表示将权限设置成具体的值(注重结果)【赋值】
②、数字形式命令 读:r 4 写:w 2 执行:x 1 没有任何权限:0 对应—
例如:需要属主全部权限;属组读加执行权限;other只读权限; 属主权限 = 全部权限 = 读 + 写 +执行 = 4 + 2 + 1 = 7 属组权限 = 读权限 + 执行权限 = 4 + 1 = 5 other用户权限 = 读权限 = 4 最终得出的结果是754
chown (change owner) 作用:改变文件或目录的属主和属组; chown [-R] newuser dirname 注意: ①改文件不用加选项-R,该目录需要加选项-R; ②执行者必须为root;owner身份没有权限(其他人不想你随便把文件归给他); chown user:group filename 把文件的属主和属组改为user,group chown user filename 把文件的属主改为user chown :group filename 把文件的属组改为group chown user: filename 自动继承user这个用户所有的组
4)-mkdir:创建路径
$ hadoop fs -mkdir /
5)-cp:从 HDFS 的一个路径拷贝到 HDFS 的另一个路径
$ hadoop fs -cp /xx/xxx.txt /xx2
6)-mv:在 HDFS 目录中移动文件
$ hadoop fs -mv /xx/xxx.txt /xx2
7)-tail:显示一个文件的末尾 1kb 的数据
$ hadoop fs -tail /xx/xxx.txt
8)-rm:删除文件或文件夹
$ hadoop fs -rm /xx/xxx.txt
9)-rm -r:递归删除目录及目录里面内容
$ hadoop fs -rm -r /xx
10)-du 统计文件夹的大小信息 $ hadoop fs -du -s -h /jinguo $ hadoop fs -du -h /jinguo 说明:13 表示文件大小;39 表示 13*3 个副本
|