[系统运维]linux 流编辑器sed

sed简介

• sed工作流程
  1、sed是一种在线、非交互式的编辑器，他一次处理一行内容，处理时，吧当前处理的行存储在临时缓冲区中：缓冲区叫模式空间 pattern space。
  2、然后sed命令处理缓冲区中的内容，处理完成后，在推动到屏幕。如此一行处理完成后再处理下一行，直到文件末尾。
  3、文件内容并没有改变，除非使用重定向存储回去
• 命令格式

sed [options] ‘command’ file(s)
sed [options] -f scriptfile file(s)
注意：只有当语法错误时，返回状态为非0

• 支持正则表达式
  1、基本元字符集：^ $ . * [] [^] \< \> \( \) \{ \}
  2、扩展元字符： ? + { } | ( )
  1、使用扩展元字符方式：sed -r
• 简单使用了解sed

sed -r 'p' /etc/passwd				# p表示打印，读取一行打印一行
sed -r -n '' /etc/passwd			# n表示静默的方式，单纯的执行p，所以n p 一般一起使用
sed -r -n '/root/p' /etc/passwd		#打印有root的行
sed -r -n '/root/=' /etc/passwd		#打印有root的行号

• 查找替换

sed -r 's/root/admin/' /etc/passwd			# s表示产找所有行，读取一行内容到模式空间中，然后替换
sed -r 's/root/admin/g' /etc/passwd			# g表示全局，一行中可以多次匹配
sed -r 's/root/admin/gi' /etc/passwd		# i表示忽略大小写

sed -r '/root/d' /etc/passwd				# d表示模式空间中删除匹配到的行，未匹配到的行输出

• 按行号操作

sed -r '1,3d' passwd					#删除1~3行
sed -r '/^root/,5d' /etc/passwd			#匹配以root开始，删除到第5行
sed -r '/^root/,+5d' /etc/passwd		#从root开始的，连删5行
										# 这里可以sed -rn '/^root/,5p' /etc/passwd	用于打印，对于日志查找比较实用
sed -r '/root/!d' /etc/passwd			#除了root匹配到的行，都删除
sed -r '1~2d' /etc/passwd				#从1行开始，间隔两行删除，即删除奇数行

sed命令/选项

• 命令

• 选项

模式空间、暂存空间使用案例

#默认情况下，暂存空间里面时一个换行符（空行）
sed -r 'g' /etc/passwd						#处理第一行时，从暂存空间拿来一个换行符覆盖，第二行以此类推
sed -r 'G' /etc/passwd						#处理第一行时，从暂存空间拿来一个换行符追加，追加一个空行，第二行以此类推

sed -r '1{h;d};$G' /etc/passwd				#将第1行内容覆盖到暂存空间，然后在最后一行追加回来

• 高级应用1：倒排

1.txt
1
2
3
4
5
6
要求倒序输出

tac 1.txt
# 可倒序
--------------------------------------
sed -r '1!G;h;$!d' 1.txt
# 1!G 第一行不从暂存空间中追加到模式空间，其他行都追加
# h 把模式空间中的内容覆盖到暂存空间
# $!d $表示最后一行，意思为最后一行不删除，即 1~($-1)行都删除不输出，只输出最后一行，此处行代表sed读取到的行，不与空间中的行相同意义

• 高级应用2：列转行

1.txt
1
2
3
4
5
6
要求输出 1 2 3 4 5 6

sed -ne 'H;${x;s/\n/ /g;p}' 1.txt
# H所有行都追加到暂存模式
# $ 表示最后一行 {} 多个命令
# x或者g 交换或者覆盖模式空间内容
# 换行符替换成空格
# p 打印

• 高级应用3：累加

1.txt
1
2
3
4
5
6
要求输出 21

sed -rne 'H;${g;s/\n/\+/g;s/^\+//;p}' 1.txt
sed -ne 'H;${g;s/\n/+/g;s/^+//;p}' 1.txt|bc
# 使用bc计算器 

sed编辑文件案例（*）

• 删除文件中的注释行/空行

# 1、删除以#开始的注释行
sed -ri '/^#/d' 1.txt

# 2、删除注释行前面带空格 tab的注释行
sed -ri '/^[ \t]*#/d' 1.txt

# 3、删除空行
sed -ri '/^[ \t]*$/d' 1.txt

# 4、删除空行以及注释行
sed -ri '/^(([ \t]*$)|([ \t]*#))/d' 1.txt
sed -ri '/^[ \t]*#/d;/^[ \t]*$/d' 1.txt

# 5、追加内容
sed -ri '$alocal=127.0.0.1' 1.txt

# 6、给文件添加注释
sed -ri '2,3s/^/#/' 1.txt
sed -ri '2,3s/(.*)/#\1/' 1.txt
sed -ri '2,3s/.*/#&/' 1.txt  # & 表示前面匹配
sed -ri '2,3s/^[ \t]*#*/#/' 1.txt

• 使用外部变量

redisIpConfig="ip=127.0.0.1"
sed -ri '$a'"$redisIpConfig" 1.txt  # 注意，${}这种变量引用方式不可用

sed -ri 's/^ip=([0-9.]*)*/'"$redisIpConfig"'/g' 1.txt