IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hadoop HDFS Shell操作 -> 正文阅读

[大数据]Hadoop HDFS Shell操作

基本语法

hadoop fs +具体命令
hdfs dfs +具体命令

上传

1)-moveFromLocal:从本地剪切粘贴到 HDFS

$ hadoop fs -moveFromLocal ./xxx.txt/xx

当前目录下的txt文件上传到xx目录下,当前目录下的txt文件被剪贴

2)-copyFromLocal:从本地文件系统中拷贝文件到 HDFS 路径去

$ hadoop fs -copyFromLocal xxx.txt /xx

当前目录下的txt文件上传到xx目录下,当前目录下的txt文件依然存在

3)-put:等同于 copyFromLocal,生产环境更习惯用 put

$ hadoop fs -put ./xxx.txt /xx

4)-appendToFile:追加一个文件到已经存在的文件末尾

$ hadoop fs -appendToFile abc.txt /xx/xxx.txt

下载

1)-copyToLocal:从 HDFS 拷贝到本地

$ hadoop fs -copyToLocal /xx/xxx.txt ./

2)-get:等同于 copyToLocal,生产环境更习惯用 get

$ hadoop fs -get /xx/xxx.txt ./xx2.txt

HDFS 直接操作

1)-ls: 显示目录信息

$ hadoop fs -ls /xx

2)-cat:显示文件内容

$ hadoop fs -cat /xx/xxx.txt

3)-chgrp、-chmod、-chown:Linux 文件系统中的用法一样,修改文件所属权限

$ hadoop fs -chmod 666 /xx/xxx.txt
$ hadoop fs -chown a:a /xx/xxx.txt

chmod [option] filename/dirname
注意:执行者必须是属主或root用户;
①、字母形式命令
给谁设置:
u:表示属主owner(user)
g:表示属组(group)
o:表示others,给其他用户设置权限
a:表示all,给所有人(包含ugo部分)设置权限
如果在设置权限的时候不指定给谁设置,则默认给所有用户设置

权限字符:
r:读
w:写
x:执行
-:表示没有权限

权限分配方式:
+:表示给具体的用户新增权限(相对当前)
-:表示删除用户的权限(相对当前)
=:表示将权限设置成具体的值(注重结果)【赋值】

②、数字形式命令
读:r 4
写:w 2
执行:x 1
没有任何权限:0 对应—

例如:需要属主全部权限;属组读加执行权限;other只读权限;
属主权限 = 全部权限 = 读 + 写 +执行 = 4 + 2 + 1 = 7
属组权限 = 读权限 + 执行权限 = 4 + 1 = 5
other用户权限 = 读权限 = 4
最终得出的结果是754

chown (change owner)
作用:改变文件或目录的属主和属组;
chown [-R] newuser dirname
注意:
①改文件不用加选项-R,该目录需要加选项-R;
②执行者必须为root;owner身份没有权限(其他人不想你随便把文件归给他);
chown user:group filename 把文件的属主和属组改为user,group
chown user filename 把文件的属主改为user
chown :group filename 把文件的属组改为group
chown user: filename 自动继承user这个用户所有的组

4)-mkdir:创建路径

$ hadoop fs -mkdir /

5)-cp:从 HDFS 的一个路径拷贝到 HDFS 的另一个路径

$ hadoop fs -cp /xx/xxx.txt /xx2

6)-mv:在 HDFS 目录中移动文件

$ hadoop fs -mv /xx/xxx.txt /xx2

7)-tail:显示一个文件的末尾 1kb 的数据

$ hadoop fs -tail /xx/xxx.txt

8)-rm:删除文件或文件夹

$ hadoop fs -rm /xx/xxx.txt

9)-rm -r:递归删除目录及目录里面内容

$ hadoop fs -rm -r /xx

10)-du 统计文件夹的大小信息
$ hadoop fs -du -s -h /jinguo
$ hadoop fs -du -h /jinguo
说明:13 表示文件大小;39 表示 13*3 个副本在这里插入图片描述

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-04 11:16:50  更:2021-08-04 11:19:11 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/17 17:19:02-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码