[大数据]大数据常用操作指令

vi编辑器

常用语法

1）yy （功能描述：复制光标当前一行）

y数字y （功能描述：复制一段(从第几行到第几行)）

2）p （功能描述：箭头移动到目的行粘贴）

3）u （功能描述：撤销上一步）

4）dd （功能描述：删除光标当前行）

d数字d （功能描述：删除光标(含)后多少行）

5）x （功能描述：删除一个字母，相当于del）

X （功能描述：删除一个字母，相当于Backspace）

6）yw （功能描述：复制一个词）

7）dw （功能描述：删除一个词）

8）shift+^ （功能描述：移动到行头）

9）shift+$ （功能描述：移动到行尾）

10）1+shift+g （功能描述：移动到页头，数字）

11）shift+g （功能描述：移动到页尾）

12）数字N+shift+g （功能描述：移动到目标行）

1）进入编辑模式

（1）i 当前光标前

（2）a 当前光标后

（3）o 当前光标行的下一行

2）退出编辑模式

按『Esc』键

常用语法

1）基本语法

（1）: 选项

选项：

w 保存

q 退出

！ 感叹号强制执行

（2）/ 查找，/被查找词，n是查找下一个，shift+n是往上查找

（3）? 查找，?被查找词，n是查找上一个，shift+n是往下查找

2）案例

:wq! 强制保存退出

正确的关机流程为：sync > shutdown > reboot > halt

a) 基本语法：

（1）sync （功能描述：将数据由内存同步到硬盘中）

（2）shutdown [选项] 时间

? 选项：

? -h：关机

? -r：重启

（3）halt （功能描述：关闭系统，等同于shutdown –h now 和 poweroff）

（4）reboot （功能描述：就是重启，等同于 shutdown –r now）

b) 案例

（1）将数据由内存同步到硬盘中

? #sync

（2）计算机将在10分钟后关机，并且会显示在登录用户的当前屏幕中

? #shutdown –h 10

‘This server will shutdown after 10 mins’

（3）立马关机

? # shutdown –h now

（4）系统立马重启

? # shutdown –r now

（5）重启（等同于 shutdown –r now）

? # reboot

（6）关机（等同于shutdown –h now 和 poweroff）

? #halt

、Linux常用命令

1) 帮助命令

a) man 获得帮助信息

#man ls

b) help 获得shell内置命令的帮助信息

#help cd

2) 文件目录类命令

a) pwd 显示当前工作目录的绝对路径

#pwd

b) ls 列出目录的内容

选项：

-a ：全部的文件，连同隐藏档( 开头为 . 的文件) 一起列出来(常用)

-l ：长数据串列出，包含文件的属性与权限等等数据；(常用)

每行列出的信息依次是： 文件类型与权限 链接数 文件属主 文件属组 文件大小用byte来表示 建立或最近修改的时间 名字

# ls -al

c) mkdir 创建一个新的目录

mkdir [-p] 要创建的目录

#mkdir test

#mkdir -p user/root

d) rmdir 删除一个空的目录

#mkdir test

#rmdir test

e) touch 创建空文件

#touch test.java

f) cd 切换目录

（1）cd 绝对路径

（2）cd 相对路径

（3）cd ~或者cd （功能描述：回到自己的家目录）

（4）cd - （功能描述：回到上一次所在目录）

（5）cd … （功能描述：回到当前目录的上一级目录）

使用绝对路径切换到root目录

#cd /root

使用相对路径切换到root目录

#cd ./root/

表示回到自己的家目录，亦即是 /root 这个目录

#cd ~

cd- 回到上一次所在目录

#cd -

表示回到当前目录的上一级目录，亦即是 /root 的上一级目录的意思；

#cd …

g) cp 复制文件或目录

复制文件

#cp test.java test

递归复制整个文件夹

#cp -r test test1

h) 移除文件或目录

l 删除空目录

#rmdir test

l 递归删除目录中所有内容

#rm -rf test1

i) mv 移动文件与目录或重命名

l 重命名

#mv test.java test1.java

l 移动文件或目录

#mv test1.java test1

j) cat 查看文件内容

# cat test.txt

k) more 查看文件内容

查看文件内容，一页一页的显示文件内容。

#more test1.java

l) less 查看文件内容

less 的作用与 more 十分相似，都可以用来浏览文字档案的内容，不同的是 less 允许使用[pageup] [pagedown]往回滚动。

#less test1.java

m) echo 命令

echo $SHELL

n) history查看所敲命令历史

#history

3) 时间日期类命令

a) 4.5.3.1 date显示当前时间

#date

b) date设置系统时间

l 基本语法：

date -s 字符串时间

#date -s “2019-10-19 10:52:18”

4) 用户管理类命令

a) useradd 添加新用户

#user hadoop

b) passwd 设置用户密码

#passwd hadoop

c) id 判断用户是否存在

#id hadoop

d) su 切换用户

#su hadoop

e) userdel 删除用户

（1）删除用户但保存用户主目录

#userdel hadoop

（2）删除用户和用户主目录，都删除

#userdel –r hadoop

f) who 查看登录用户信息

1）基本语法

（1）whoami （功能描述：显示自身用户名称）

（2）who am i （功能描述：显示登录用户的用户名）

（3）who （功能描述：看当前有哪些用户登录到了本台机器上）

g) tar解压

tar打包

1）基本语法：

tar+参数+XXX.tar.gz+将要打包进去的内容

（功能描述：打包目录，压缩后的文件格式.tar.gz）

参数：

-c 产生.tar打包文件

-v 显示详细信息

-f 指定压缩后的文件名

-z 打包同时压缩

-x 解包.tar文件

2）案例

（1）压缩：tar -zcvf XXX.tar.gz n1.txt n2.txt

压缩多个文件

#tar -zcvf test.tar.gz test1.java test.java

压缩目录

#tar -zcvf test.java.tar.gz test1

（2）解压：tar -zxvf XXX.tar.gz

解压到当前目录

#tar -zxvf test.tar.gz

解压到/opt目录

#tar -zxvf test.tar.gz –C /opt

2、HFDS命令行操作基本语法

bin/hdfs dfs 具体命令

或 hadoop fs 具体命令，建议使用hdfs dfs

3、参数大全

bin/hdfs dfs

4、常用命令举例

（1）-help：输出这个命令参数

#hdfs dfs -help rm

（2）-ls: 显示目录信息

# hdfs dfs -ls /

（3）-mkdir：在hdfs上创建目录

# hdfs dfs -mkdir -p /aaa/bbb/cc/dd

（4）-rm：删除文件或文件夹

# hdfs dfs -rm -r /aaa/bbb/

（5）-rmdir：删除空目录

# hdfs dfs -rmdir /aaa/bbb/ccc

（6）-get：从hdfs复制到本地Linux

# hdfs dfs - get /aaa/bbb/cc/dd /home/hadoop/a.txt

（7）-put：从Linux复制到hadoop等同于copyFromLocal

# hdfs dfs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

（8）-cat ：显示文件内容

# hdfs dfs - cat /home/hadoop/a.txt

（9）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

#hdfs dfs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

（10）-mv：在hdfs目录中移动文件

# hdfs dfs -mv /aaa/jdk.tar.gz /