学习笔记

基础正则表达式

通过 grep 选取字符串

grep 语法：

[root@test root]# grep [-acinv] '搜寻字符串' filename
参数说明：
-a ：将 binary 文件以 text 文件的方式搜寻数据
-c ：计算找到 '搜寻字符串' 的次数
-i ：忽略大小写的不同，所以大小写视为相同
-n ：顺便输出行号
-v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！
--color=auto 可将正确的那个搜索数据列出颜色

搜索特定字符串

 假设从文件中取得 the 这个特定字符串：
 [root@test root]# grep -n 'the' filename
 
 取得不论大小写的 the 这个字符串：
 [root@test root]# grep -in 'the' filename

 该行没有 'the' 这个字符串时，才显示在屏幕上：
 [root@test root]# grep -vn 'the' filename

利用 [ ] 来搜索集合字符
如果要搜索 test 或 taste 这两个单词时，可以发现，其实他们有共同部分，就是 ‘t?st’，可以这样搜索：
```
 [root@test root]# grep -n 't[ae]st' filename
```
[ ] 中不论有几个字符，都只代表一个字符。
如果想搜索到有 oo 的字符，使用如下方法：
```
 [root@test root]# grep -n 'oo' filename
```
如果不想 oo 前面有 g 的话，可以利用集合字符的反向选择[^]来实现：
```
 [root@test root]# grep -n '[^g]oo' filename
```
如果这行同时出现我们想要的和不想要的，也会显示出改行。
假设 oo 前不想有小写字母，可以这样写 [^abcd…z]oo，这样十分不便，由于ASCII 上的编码顺序是连续的，因此可以简化为：
```
 [root@test root]# grep -n '[^a-z]oo' filename
```
在一组集合字符中，如果该字符组是连续的，例如大写英文/小写英文/数字等等，可以使用 [a-z]、[A-Z]、[0-9] 等方式来书写，如果要求的字符串是数字与英文，就全部写在一起，变成：[a-zA-Z0-9] 。
行首与行尾字符 ^ $
我们在 1. 中查询一行字符串里有 the，如果想让 the 只在行首列出，这时就要使用定位符：
```
 [root@test root]# grep -n '^the' filename
```
如果想列出开头是小写字母的行：
```
 [root@test root]# grep -n '^[a-z]' filename
```
不想要开头是英文字母：
```
 [root@test root]# grep -n '^[^a-zA-Z]' filename
```
^ 符号，在字符集合符号（括号[ ]）之内与之外是不同的。在 [ ] 内代表“反向选择”，在 [ ] 之外则代表定位在行首。
如果想要找出行尾结束为小数点（.）的一行：
```
 [root@test root]# grep -n '\.$' filename
```
因为小数点具有其他含义，所以必须要用转义符（\）来解除其特殊意义。
若最后一行为（.）却没显示，说明行尾可能存在换行符。
如果想找出空白行：
```
 [root@test root]# grep -n '^$' filename
```
假设已经知道在一个shell脚本或设置文件中，空白行与开头为 # 的那一行为注释，当展示数据时，为节省纸张可以略掉，以 /etc/syslog.conf 这个文件来作范例：
```
 [root@test root]# cat /etc/syslog.conf
 [root@test root]# grep -v '^$' /etc/syslog.conf | grep -v '^#'
```
任意一个字符（.）与重复字符（*）
正则表达式中（.）代表 “绝对有一个任意字符” 的意思，假设要找出 g??d 字符串：
```
 [root@test root]# grep -n 'g..d' regular_express.txt
```
（*) 表示 “重复0个或多个前面的RE字符” ，因此，“o *”代表的是：『拥有空字符或一个 o 以上的字符』。
因此当需要 “至少两个o以上的字符串时，就需要 ooo *：
```
 [root@test root]# grep -n 'ooo*' filename
```
限定连续重复字符范围 {}
在上面，可以利用（.）与RE字符及（*）来设置0个到无限多个重复字符，如果想限制一个范围内的重复个数，假设要找2个o的字符串（因为 { 与 } 的符号在 shell 是有特殊意义的，因此，我们必须要使用转义符 \ 来让其失去特殊意义）：
```
 [root@test root]# grep -n 'o\{2\}' filename
```
假设要找g后面姐2~5个o再接个g的字符串：
```
 [root@test root]# grep -n 'go\{2,5\}g' filename
```
要找两个o以上的gooo…g ：
```
 [root@test root]# grep -n 'go\{2,\}g' filename
```

重要特殊字符（characters）

RE字符	含义与范例
^word	待搜寻的字符串(word)在行首！
	范例：grep -n ‘^#’ regular_express.txt 搜寻行首为 # 开始的那一行
word$	待搜寻的字符串(word)在行尾！
	范例：grep -n ‘!$’ regular_express.txt 将行尾为 (!) 的那一行打印出来
.	代表『任意一个』字符，一定是一个任意字符！
	范例：grep -n ‘e.e’ regular_express.txt 搜寻的字符串可以是 (eve) (eae) (eee) (e e)，但不能仅有 (ee) ！亦即 e 与 e 中间『一定』仅有一个字符，而空格符也是字符！
\	转义符，将特殊符号的特殊意义去除！
	范例：grep -n ’ regular_express.txt 搜寻含有单引号 ’ 的那一行！
*	重复零个或多个的前一个 RE 字符
	范例：grep -n ‘ess’ regular_express.txt 找出含有 (es) (ess) (esss) 等等的字符串，注意，因为可以是 0 个，所以 es 也是符合带搜寻字符串。另外，因为 * 为重复『前一个 RE 字符』的符号，因此，在 * 之前必须要紧接着一个 RE 字符喔！例如任意字符则为『.*』！
{n,m }	连续 n 到 m 个的『前一个 RE 字符』若为 \ {n \ } 则是连续 n 个的前一个 RE 字符，若是 \ {n,} 则是连续 n 个以上的前一个 RE 字符！
	范例：grep -n ‘go{2,3}g’ regular_express.txt 在 g 与 g 之间有 2 个到 3 个的 o 存在的字符串，亦即 (goog)(gooog)
[ ]	字符集合的 RE 特殊字符的符号
[list]	范例：grep -n ‘g[ld]’ regular_express.txt 搜寻含有 (gl) 或 (gd) 的那一行～需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字符』，例如： a[afl]y 代表搜寻的字符串可以是 aay, afy, aly 亦即 [afl] 代表 a 或 f 或 l 的意思！
[ch1-ch2]	范例：grep -n ‘[0-9]’ regular_express.txt 搜寻含有任意数字的那一行！需特别留意，在字符集合 [] 中的减号 - 是有特殊意义的，他代表两个字符之间的所有连续字符！但这个连续与否与 ASCII 编码有关，因此，您的编码需要设定正确(在 bash 当中，需要确定 LANG 与 LANGUAGE 的变量是否正确！) 例如所有大写字符则为 [A-Z] 、
[^]	范例：grep -n ‘oo[^t]’ regular_express.txt 搜寻的字符串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是『反向选择』的意思～例如，我不要大写字符，则为 [^A-Z] ～但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻，却发现该档案内的所有行都被列出，为什么？因为这个 [^A-Z] 是『非大写字符』的意思，因为每一行均有非大写字符，例如第一行的 “Open Source” 就有 p,e,n,o… 等等的小写字符，以及双引号 (") 等字符，所以当然符合 [^A-Z] 的搜寻！

扩展正则表达式

在上面第三点，去除空白行与行首为 # 的行列：

grep -v '^$' regular_express.txt | grep -v '^#'

需要用管道命令来搜索两次。如果使用扩展的正则表达式：

egrep -v '^$|^#' regular_express.txt

使用支持扩展型正则表达式的egrep与特殊字符（|）来分隔两组字符串，会方便很多。

扩展型正则表达式的特殊符号：

RE字符	含义与范例
+	重复『一个或一个以上』的字符
	范例：egrep -n ‘go+d’ regular_express.txt 搜寻 (god) (good) (goood)… 等等的字符串。那个 o+ 代表『一个以上的 o 』
？	『0个或一个』字符
	范例：egrep -n ‘go?d’ regular_express.txt 搜寻 (gd) (god) 这两个字符串。那个 o? 代表『空的或 1 个 o 』
`\|`	用或( or )的方式找出数个字符串
	范例：egrep -n ‘gd`\|`good’ regular_express.txt 搜寻 gd 或 good 这两个字符串，注意，是『或』！那如果还想要找出 dog 呢？ egrep -n ‘gd`\|`good `\|`dog’ regular_express.txt
( )	找出『群组』字符串
	范例：egrep -n ‘g(la`\|`oo)d’ regular_express.txt 搜寻 (glad) 或 (good) 这两个字符串，因为 g 与 d 是重复的，所以，我就可以将 la 与 oo 列于 ( ) 当中，并以 `\|` 来分隔开来，就可以啦！此外，这个功能还可以用来作为『多个重复群组』的判别喔！举例来说：echo 'AxyzxyzxyzxyzC’`\|`egrep 'A(xyz)+C’上面的例子当中，意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 “xyz” 字符串的意思～

格式化显示：printf

[root@linux ~]# printf '打印格式' 实际内容
参数：
关于格式方面的几个特殊样式：
       \a    警告声音输出
       \b    退格键(backspace)
       \f    清除屏幕 (form feed)
       \n    输出新的一行
       \r    亦即 Enter 按键
       \t    水平的 [tab] 按键
       \v    垂直的 [tabl] 按键
       \xNN  NN 为两位数的数字，可以转换数字成为字符。
关于 C 程序语言内，常见的变数格式
       %ns   那个 n 是数字， s 代表 string ，亦即多少个字符；
       %ni   那个 n 是数字， i 代表 integer ，亦即多少整数字数；
       %N.nf 那个 n 与 N 都是数字， f 代表 floating (浮点)，如果有小数字数，
             假设我共要十个位数，但小数点有两位，即为 %10.2f 啰！

sed 工具简介

[root@linux ~]# sed [-nefr] [动作]
参数：
-n  ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 
      的数据一般都会被显示到屏幕上。但如果加上 -n 参数后，则只有经过
      sed 特殊处理的那一行(或者操作)才会被列出来。
-e  ：直接在命令行模式上进行 sed 的操作编辑；
-f  ：直接将 sed 的操作写在一个文件内， -f filename 则可以执行 filename 内的 
  	  sed 操作；
-r  ：sed 的操作支持的是扩展型正则表达式的语法。(默认是基础正则表达式语法)
-i  ：直接修改读取的档案内容，而不是由屏幕输出。

动作说明：  [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行操作的行数』，举例来说，如果我的操作
    	 是需要在 10 到 20 行之间进行的，则『 10,20[操作行为] 』

function 有下面这些操作：
a   ：新增， a 的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)～
c   ：取代， c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行！
d   ：删除，因为是删除啊，所以 d 后面通常不接任何内容；
i   ：插入， i 的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)；
p   ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作～
s   ：搜索，不但可以搜索，还能进行替换！通常这个 s 的动作可以搭配
  	  正则表达式！例如 1,20s/old/new/g 就是啦！
注意：
# sed 后面接的动作，请务必以 '' 两个单引号括住喔！

awk 工具简介

与 sed 常常作用于整行处理相比，awk 比较倾向于一行中分成数个“字段”来处理，因此，awk适合处理小型的数据。awk通常的运作模式是这样的：

[root@linux ~]# awk '条件类型1{动作1} 条件类型2{动作2} ...' filename

awk 可以处理后续接的文件，也可以读取来自前个指令的 standard output 。但如前面说的， awk 主要是处理『每一行的字段内的数据』，而默认的『字段的分隔符为 “空格键” 或 “[tab]键” 』！

整个 awk 的处理流程是：

读入第一行，并将第一行的数据填入 $0, $1, $2… 等变量当中；
依据 “条件类型” 的限制，判断是否需要进行后面的 “操作”；
完成所有的操作与条件类型；
若还有后续的『行』的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止。

awk 的内置变量

变量名称	代表的含义
NF	每一行（$0）拥有的字段总数
NR	当前 awk 所处理的是“第几行”数据
FS	当前的分隔符，默认空格键

awk 的逻辑运算字符

运算单元	代表意义
>	大于
<	小于
>=	大于或等于
<=	小于或等于
==	等于
!=	不等于

例子：

1. [root@linux ~]# cat /etc/passwd | \
   > awk '{FS=":"} $3 < 10 {print $1 "\t " $3}'
2. [root@linux ~]# cat /etc/passwd | \
   > awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t " $3}'
3. [root@linux ~]# cat pay.txt | \
   > awk 'NR==1{printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total" }
   NR>=2{total = $2 + $3 + $4
   printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}'

重要说明：

所有的操作，即在 {} 内的操作，如果有需要多个命令时，可利用分号『;』分隔，或者直接以 [Enter] 按键来隔开每个指令，如的 NR>=2 后面接的动作，利用 total = … 命令来指定汇总，后面则以 printf 来格式化输出！
逻辑运算当中，如果是『等于』的情况，则务必使用两个等号『==』！
格式化输出时，在 printf 的格式设定当中，务必加上 \n ，才能进行分行！
与 bash shell 的变量不同，在 awk 当中，变量可以直接使用，不需加上 $ 符号。

文件数据比较与显示的相关功能

文件比较

1. diff

[root@linux ~]# diff [-bBi] from-file to-file
参数：
from-file ：一个文件名，作为原始比对文件的文件名；
to-file   ：一个文件名，作为目的比对文件的文件名；
注意，from-file 或 to-file 可以 - 替换，那个 - 代表『Standard input』之意。

-b  ：忽略一行当中，仅有多个空白的差异(例如 "about me" 与 "about     me" 视为相同
-B  ：忽略空白行的差异。
-i  ：忽略大小写的不同。

2. cmp

[root@linux ~]# cmp [-s] file1 file2
参数：
-s  ：将所有的不同点的位都列出来。因为 cmp 默认仅会输出第一个发现的不同点。

3. patch

[root@linux ~]# patch -pN < patch_file
参数：
-p  ：后面可以接『取消几层目录』的意思。

文件打印准备：pr

pr 的参数实在太多了，一般来说，仅使用最简单的方式即可。举例来说，如果想要打印 /etc/man.config：

[root@linux ~]# pr /etc/man.config

课后习题及答案

要查找某个文件，其中含有 boot 字符串，这个文件在 /etc/ 底下，要如何找出这个文件？

既然知道有这个字眼那就好办了！可以直接下达：
grep boot /etc/*
在 /etc 下，只要含有 XYZ 三个字符的任何一个字符的那一行就显示出来，要怎样进行？

『只要』含有 X 或 Y 或 Z 就将该行列出来，因此，我们的范围很很广啦！这个时候就必需要使用到 [] ！还记得中括号的用途吗？那就是『在中括号里面谨代表一个字符而已！』而这个中括号是一个『代表』，可以是一串字也可以是几个不连续的字！这里我们仅需要 XYZ 其中任何一个，所以可以这样写：
grep [XYZ] /etc/*
则只要在每一行当中，只要发现 X 或 Y 或 Z 任何一个，就会将他印出来！这个与 grep XYZ /etc/* 是『完全不一样』的！请仔细的思考一下！
怎样找出在 /etc 下文件内容含有（*）的文件名？

由于 * 是特殊字符，在变量的订定法则里面曾经提过要将特殊字符移除，需要使用转义符，亦即是 \ 符号，所以我可以这样下达指令：
grep \* /etc/*