一、grep
文本搜索工具，可以使用正则表达式搜索文本，把匹配的行打印出来
- grep支持正则表达式
- egrep支持扩展的正则表达式
grep -E=egrep
1、grep的格式
grep 匹配条件 处理文件
-i | 忽略大小写 |
-E “\<root" | root字符之前不能有字符 |
-E ”root\>“ | root字符之后不能有字符 |
-数字 | 显示过滤行以及上面几行和下面几行 |
-n | 显示匹配的行所在行号 |
-A | 显示过滤行以及下面几行 |
-B | 显示过滤行以及上面几行 |
-v | 反向过滤 |
建立实验素材：
grep -E "bash$|nologin$" passwd ##过滤以bash结尾或nologin结尾的行
grep -i root passwd ##过滤含root关键字的行，不分大小写
grep -iE "\<root\>" passwd ##过滤root关键字前后都没有字符的行，不分大小写
grep -1 ROOT passwd ##显示含root的行，以及上下各一行
grep -A 2 -B 1 -n ROOT passwd ##显示含root的行，以及上1行，下2行，均显示行号
grep root passwd | grep -E "^root" -v ##显示root在结尾或中间的行，即反向过滤root在开头
2、grep字符数量匹配规则
^root | 以root开头 |
root$ | 以root结尾 |
s...k | s开头k结尾中间任意3个字符 |
....k | k结尾前后4个任意字符 |
* | 字符出现任意 |
? | 0到1次 |
+ | 1到任意次 |
{n} | n次 |
{m,n} | m到n次 |
{0,n} | 0-n次 |
{,n} | 0-n次 |
{m,} | 最少m次 |
(skk){6} | skk字符串出现6次 |
建立实验素材：
grep -E 's.{2,4}s' grepfile ##s和s之间有2到4个任意字符
grep -E 's.?s' grepfile ##s和s之间有0到1个任意字符
grep -E 's(ks){2,}' grepfile ##s后面ks字符串最少出现2次
3、示例
请显示系统中能被su命令切换的用户名称
能被su切换，则必须以/bin/bash或/bin/sh结尾
grep -E "/bin/bash$|/bin/sh$" /etc/passwd | cut -d : -f 1
二、sed
1、sed的格式
sed 参数 命令 处理对象
-e：当给出多个sed指令时使用
-f：后面跟保存了sed指令的文件
-i：直接对内容修改，不加-i时默认为预览，不对文件做实际修改
-n：取消静默输出，sed默认会输出所有文本内容，使用-n后只显示处理过的行
2、对字符的处理
建立实验素材：
p：显示
-n 5p | 显示第5行 |
-n 3,5p | 显示3到5行 |
-n ”3p;5p“ | 显示3和5行 |
-ne 1,5p | 显示1-5行 |
-ne '5,$p' | 显示5到最后行 |
-n '/^#/p' | 显示以#开头的行 |
sed -n 5p passwd ##显示第5行
sed -n '1p;$p' passwd ##显示第1行和最后一行
sed -n /root/p passwd ##显示含root的行
sed -ne "3,5p" passwd ##显示3到5行
d：删除
5d | 删除第五行 |
'/^#/d' | 把#开头的行删除 |
'/^UUID/!d' | 除了UUID开头以外的行都删除 |
-e '5,$d' | 删除5到最后一行 |
a：添加，c：替换
-e '$a hello world' | 最后一行后添加 |
-e '5a hello\nworld' | 第5行后添加换行的内容 |
-e '/^#/a hello world' | 在以#开头的行后面添加 |
-e '/^#/c hello world' | 替换以#开头的行 |
'5chello world' | 替换第5行 |
w：把符合的行写到指定文件中，i：插入，r：整合文件
'/^root/w linuxfile' | 把文件中root开头的行写入linuxfile中 |
'5ihello linux' | 第5行前插入内容 |
'5r haha' | 把haha文件的内容整合到第5行之后 |
3、字符替换
建立实验素材：
sed '=' passwd ##每一行前面加行号
sed '=' passwd | sed 'N;s/\n/ /g' ##将换行符转换为空格（sed是逐行检测的，加入N提前加载处理下一行）
sed 'G' passwd ##每行后面都加一个空行
sed '$G' passwd ##给最后一行后加空行
sed '$!G' passwd ##除了最后一行在后面都加空行
sed 's/:/#/g' passwd ##将全文的：替换为#，s全文，g每行的全部
sed 's/:/#/' passwd ##只替换每行的第一个
sed '1s/:/%%%/g' passwd ##第一行替换
sed '1,5s/:/%%%/g' passwd ##替换1到5行
sed '1s/:/%%%/g;5s/:/%%%/g' passwd ##替换第1行和第5行
sed '/mail/,/ftp/s/:/%%%/g' passwd ##指定字符间替换
sed 's/\//%%%/g' passwd ##替换全文的"/","\"为转义字符
sed 's@/@%%%@g' ##也可以使用“@”代替“/”
4、示例
编写
Apache_port.sh，此脚本后接数字，http的端口就改为此数字，假设selinux为关闭状态
例如：
sh Apache_port.sh
ERROR: Pleaase input port number following script !!
sh Apache_port.sh 8080
apache的端口会被修改为8080，在其他主机可以访问到测试页
vim Apache_port.sh
#!/bin/bash
yum install httpd -y &> /dev/null
systemctl enable --now httpd &> /dev/null
echo "hello linux" > /var/www/html/index.html
systemctl enable --now firewalld &> /dev/null
[ -z $1 ] && {
echo "ERROR: Pleaase input port number following script !!"
exit
}
[ -z "`netstat -antlupe | grep -E ":$1\>"`" ] || {
echo "Error: $1 is using !!!"
exit
}
sed "/^Listen/c Listen $1" -i /etc/httpd/conf/httpd.conf
systemctl restart httpd
firewall-cmd --permanent --add-service=http &> /dev/null
firewall-cmd --reload &> /dev/null
echo "Change $1 sucessful!!"
三、awk
1、awk的格式
awk -F 分隔符 BEGIN{}{}END{} FILENAME
NR | 行数 |
NF | 列数 |
FILENAME | 文件名称本身 |
linux | linux变量值 |
“linux” | linux字符串 |
/bash$/ | 条件 |
/条件1|条件2/ | 条件1或者条件2 |
/条件1/||/条件2/ | 条件1或者条件2 |
/条件1/&&/条件2/ | 条件1并且条件2 |
$0 | 所有的列 |
$1 | 第1列 |
$2 | 第2列 |
$3 | 第3列 |
建立实验素材：
1、在passwd文件开始加上hello，结尾加上end，打印第一列
awk -F : 'BEGIN{print "hello"}{print $1}END{print "end"}' passwd
2、统计文件行数，显示以bash结尾的第一列
awk -F : 'BEGIN{N=0}{N++}END{print N}' passwd
awk -F : '/bash$/{print $1}' passwd
3、第六列没有root关键字并且以bash结尾的行，显示第一列
awk -F : '$6!~/root/&&/bash$/{print $1}' passwd
2、示例
统计在系统中能
su切换的并且用户家目录不在/home下的用户数量
（1）方法一
awk -F : '$6!~/^\/home/&&/bash$/{print $1}' /etc/passwd | wc -l
（2）方法二
awk -F : 'BEGIN{N=0}$6!~/^\/home/&&/bash$|sh$/{N++}END{print N}' /etc/passwd
