管道概述
管道是一种通信机制，通常用于进程间的通信（也可通过 socket 进行网络通信），它表现出来的形式就是将前面每一个进程的输出直接作为下一个进程的输入。
管道又分为匿名管道和具名管道。我们在使用一些过滤程序时经常会用到的就是匿名管道，在命令行中由 | 分隔符表示。具名管道简单的说就是有名字的管道，通常只会在源程序中用到具名管道。
ls -al /etc | less
例如：使用 ls 命令来查看查看 /etc 目录下有哪些文件和目录，通过管道将前一个命令(ls)的输出作为下一个命令(less)的输入，然后就可以一行一行地看。
常用命令
cut命令
cur命令用于打印每一行的某一字段
用法：cut [选项]... [文件]...
Print selected parts of lines from each FILE to standard output.
如果没有指定文件，或者文件为"-"，则从标准输入读取。
必选参数对长短选项同时适用。
-b, --bytes=列表 只选中指定的这些字节
-c, --characters=列表 只选中指定的这些字符
-d, --delimiter=分界符 使用指定分界符代替制表符作为区域分界
-f, --fields=列表 只选中指定的这些域；并打印所有不包含分界符的
行，除非-s 选项被指定
-n (忽略)
--complement 补全选中的字节、字符或域
-s, --only-delimited 不打印没有包含分界符的行
--output-delimiter=字符串 使用指定的字符串作为输出分界符，默认采用输入
的分界符
-z, --zero-terminated line delimiter is NUL, not newline
打印 /etc/passwd 文件中以 : 为分隔符的第 1 个字段和第 6 个字段，分别表示用户名和其家目录
cut /etc/passwd -d ':' -f 1,6
打印 /etc/passwd 文件中每一行的前5个字符
cut /etc/passwd -c -5
打印 /etc/passwd 文件中每一行的第5个字符
cut /etc/passwd -c 5
打印 /etc/passwd 文件中每一行的第2-5个字符
cut /etc/passwd -c 2-5
grep命令
在文本中或 stdin 中查找匹配字符串，grep 命令是很强大的，也是相当常用的一个命令，它结合正则表达式可以实现很复杂却很高效的匹配和查找。
用法: grep [选项]... PATTERN [FILE]...
选项:
正则表达式选择与解释:
-E, --extended-regexp PATTERN 是一个可扩展的正则表达式(缩写为 ERE)
-F, --fixed-strings PATTERN 是一组由断行符分隔的字符串。
-G, --basic-regexp PATTERN 是一个基本正则表达式(缩写为 BRE)
-P, --perl-regexp PATTERN 是一个 Perl 正则表达式
-e, --regexp=PATTERN 用 PATTERN 来进行匹配操作
-f, --file=FILE 从 FILE 中取得 PATTERN
-i, --ignore-case 忽略大小写
-w, --word-regexp 强制 PATTERN 仅完全匹配字词
-x, --line-regexp 强制 PATTERN 仅完全匹配一行
-z, --null-data 一个 0 字节的数据行，但不是空行
杂项:
-s, --no-messages 不显示错误信息
-v, --invert-match 选中不匹配的行
-V, --version 显示版本信息并退出
--help 显示此帮助并退出
输出控制:
-m, --max-count=NUM NUM 次匹配后停止
-b, --byte-offset 输出的同时打印字节偏移
-n, --line-number 输出的同时打印行号
--line-buffered 每行输出清空
-H, --with-filename 为每一匹配项打印文件名
-h, --no-filename 输出时不显示文件名前缀
--label=LABEL 将LABEL 作为标准输入文件名前缀
-o, --only-matching 只显示匹配PATTERN 部分的行
-q, --quiet, --silent 不显示所有常规输出
--binary-files=TYPE 设定二进制文件的TYPE 类型；
TYPE 可以是`binary', `text', 或`without-match'
-a, --text 等同于 --binary-files=text
-I 等同于 --binary-files=without-match
-d, --directories=ACTION 读取目录的方式；
ACTION 可以是`read', `recurse',或`skip'
-D, --devices=ACTION 读取设备、先入先出队列、套接字的方式；
ACTION 可以是`read'或`skip'
-r, --recursive 等同于--directories=recurse
-R, --dereference-recursive 同上，但遍历所有符号链接
--include=FILE_PATTERN 只查找匹配FILE_PATTERN 的文件
--exclude=FILE_PATTERN 跳过匹配FILE_PATTERN 的文件和目录
--exclude-from=FILE 跳过所有除FILE 以外的文件
--exclude-dir=PATTERN 跳过所有匹配PATTERN 的目录。
-L, --files-without-match 只打印不匹配FILEs 的文件名
-l, --files-with-matches 只打印匹配FILES 的文件名
-c, --count 只打印每个FILE 中的匹配行数目
-T, --initial-tab 行首tabs 分隔（如有必要）
-Z, --null 在FILE 文件最后打印空字符
文件控制:
-B, --before-context=NUM 打印文本及其前面NUM 行
-A, --after-context=NUM 打印文本及其后面NUM 行
-C, --context=NUM 打印NUM 行输出文本
-NUM 等同于 --context=NUM
--color[=WHEN],
--colour[=WHEN] 使用标记高亮匹配字串；
WHEN 可以是`always', `never'或`auto'
-U, --binary 不要清除行尾的CR 字符(MSDOS/Windows)
-u, --unix-byte-offsets 忽略CR 字符，报告字节偏移
(MSDOS/Windows)
搜索/home/shiyanlou目录下所有包含"shiyanlou"的文本文件，并显示出现在文本中的行号。-r 参数表示递归搜索子目录中的文件，-n 表示打印匹配项行号，-I 表示忽略二进制文件。
grep -rnI "shiyanlou" ~
查看环境变量中以 “yanlou” 结尾的字符串
export | grep ".*yanlou$"
wc命令
统计并输出一个文件中行、单词和字节的数目，对于西文字符来说，一个字符就是一个字节，但对于中文字符一个汉字是大于 2 个字节的，具体数目是由字符编码决定的。
用法：wc [选项]... [文件]...
或：wc [选项]... --files0-from=F
如果没有指定文件，或者文件为"-"，则从标准输入读取。
-c, --bytes print the byte counts
-m, --chars print the character counts
-l, --lines print the newline counts
--files0-from=F read input from the files specified by
NUL-terminated names in file F;
If F is - then read names from standard input
-L, --max-line-length print the maximum display width
-w, --words print the word counts
查看etc目录下passwd文件的行数、单词数、字节数、字符数、最长行字节数。
# 行数
wc -l /etc/passwd
# 单词数
wc -w /etc/passwd
# 字节数
wc -c /etc/passwd
# 字符数
wc -m /etc/passwd
# 最长行字节数
wc -L /etc/passwd
统计 /etc 下面所有目录数。
ls -dl /etc/*/ | wc -l
sort命令
将输入按照一定方式排序，然后再输出，它支持的排序有按字典排序，数字排序，按月份排序，随机排序，反转排序，指定特定字段进行排序等等。
用法：sort [选项]... [文件]...
或：sort [选项]... --files0-from=F
必选参数对长短选项同时适用。
排序选项：
-b, --ignore-leading-blanks 忽略前导的空白区域
-d, --dictionary-order 只考虑空白区域和字母字符
-f, --ignore-case 忽略字母大小写
-g, --general-numeric-sort compare according to general numerical value
-i, --ignore-nonprinting consider only printable characters
-M, --month-sort compare (unknown) < 'JAN' < ... < 'DEC'
-h, --human-numeric-sort 使用易读性数字(例如： 2K 1G)
-n, --numeric-sort compare according to string numerical value
-R, --random-sort shuffle, but group identical keys. See shuf(1)
--random-source=FILE get random bytes from FILE
-r, --reverse reverse the result of comparisons
--sort=WORD 按照WORD 指定的格式排序：
一般数字-g，高可读性-h，月份-M，数字-n，
随机-R，版本-V
-V, --version-sort 在文本内进行自然版本排序
其他选项：
--batch-size=NMERGE 一次最多合并NMERGE 个输入；如果输入更多
则使用临时文件
-c, --check, --check=diagnose-first 检查输入是否已排序，若已有序则不进行操作
-C, --check=quiet, --check=silent 类似-c，但不报告第一个无序行
--compress-program=程序 使用指定程序压缩临时文件；使用该程序
的-d 参数解压缩文件
--debug 为用于排序的行添加注释，并将有可能有问题的
用法输出到标准错误输出
--files0-from=文件 从指定文件读取以NUL 终止的名称，如果该文件被
指定为"-"则从标准输入读文件名
-k, --key=KEYDEF sort via a key; KEYDEF gives location and type
-m, --merge merge already sorted files; do not sort
-o, --output=文件 将结果写入到文件而非标准输出
-s, --stable 禁用last-resort 比较以稳定比较算法
-S, --buffer-size=大小 指定主内存缓存大小
-t, --field-separator=分隔符 使用指定的分隔符代替非空格到空格的转换
-T, --temporary-directory=目录 使用指定目录而非$TMPDIR 或/tmp 作为
临时目录，可用多个选项指定多个目录
--parallel=N 将同时运行的排序数改变为N
-u, --unique 配合-c，严格校验排序；不配合-c，则只输出一次排序结果
-z, --zero-terminated line delimiter is NUL, not newline
将输出按照字典排序，也就是按字母升序排序
cat /etc/passwd | sort
反转排序（字母降序）：
cat /etc/passwd | sort -r
按特定字段排序，-t参数用于指定字段的分隔符，这里是以":"作为分隔符；-k 字段号用于指定对哪一个字段进行排序。这里/etc/passwd文件的第三个字段为数字，默认情况下是以字典序排序的，如果要按照数字排序就要加上-n参数。
cat /etc/passwd | sort -t':' -k 3
uniq命令
用于过滤或者输出重复行。
用法：uniq [选项]... [文件]
必选参数对长短选项同时适用。
-c, --count prefix lines by the number of occurrences
-d, --repeated only print duplicate lines, one for each group
-D print all duplicate lines
--all-repeated[=METHOD] like -D, but allow separating groups
with an empty line;
METHOD={none(default),prepend,separate}
-f, --skip-fields=N avoid comparing the first N fields
--group[=METHOD] show all items, separating groups with an empty line;
METHOD={separate(default),prepend,append,both}
-i, --ignore-case ignore differences in case when comparing
-s, --skip-chars=N avoid comparing the first N characters
-u, --unique only print unique lines
-z, --zero-terminated line delimiter is NUL, not newline
-w, --check-chars=N 对每行第N 个字符以后的内容不作对照
查看历史输入的命令，并去重
history | cut -c 8- | cut -d ' ' -f 1 | uniq
排序后输出重复行
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -dc
|