SHELL脚本--管道和重定向基础

bash&shell系列文章：http://www.cnblogs.com/f-ck-need-u/p/7048359.html

---

1.8.1 匿名管道"|"

管道符号意如其名，相似管道同样将管道入口的数据经过管道传递给管道出口。

管道是为了解决进程间通讯问题而存在，它可让两个进程之间的数据进行传递，将一个进程的输出数据传递给另外一个进程做为其输入数据。管道左边是数据给予方，管道右边是数据接收方。

例如echo "abcd" | passwd --stdin username，表示将进程echo的输出结果"abcd"做为进程passwd的输入数据。

基本的管道符号及其用法很容易理解。如今的疑问是，对于ps aux | grep "ssh" ，为何在结果里会有grep进程出现？

[root@xuexi ~]# ps aux | grep ssh
root       1211  0.0  0.1  82544  3600 ?        Ss   Jul26   0:00 /usr/sbin/sshd -D
root      25236  0.0  0.2 145552  5524 ?        Ss   05:28   0:00 sshd: root@pts/0
root      25720  0.1  0.2 145416  5524 ?        Ss   06:15   0:00 sshd: root@pts/1 root 25770 0.0 0.0 112648 948 pts/1 S+ 06:15 0:00 grep --color=auto ssh

按通常想法，先执行了ps，获得输出后将输出数据传递给grep，这时候grep还没运行而ps已经运行完毕了，为何还能统计到grep进程的信息呢？缘由是管道实现的是进程间通讯，两个进程之间存在交叉，在运行ps进程后开始收集进程信息，grep也已经开始并处于等待接收数据状态，当ps收集到任何数据后都将输出放入内存由管道传递给grep进行筛选。

管道其本质是数据传递，管道左边的输出数据放入内存，由管道右边的进程读取。假如内存不足以彻底存放输出数据，则管道左边的进程将一直等待，直到管道右边取出内存中一部分的数据以让管道左边的进程继续输出，而管道右边的进程在管道左边的进程启动后也马上启动了，可是它一直处于等待状态，等待接收管道传递来的数据。

也就是说，管道左右两边的进程运行几乎是没有前后顺序的。

那么ps aux | grep "ssh"如何避免结果中出现grep自身的进程呢？方法有二：

方法一：ps aux | grep "ssh" | grep -v "grep"

方法二：ps aux | grep "ss[h]"

[root@xuexi ~]# ps aux | grep ss[h]
root       1211  0.0  0.1  82544  3600 ?        Ss   Jul26   0:00 /usr/sbin/sshd -D
root      25236  0.0  0.2 145552  5524 ?        Ss   05:28   0:00 sshd: root@pts/0
root      25720  0.0  0.2 145416  5524 ?        Ss   06:15   0:00 sshd: root@pts/1

方法一是应用grep的"-v"特性，方法二是应用正则表达式的特性。

在使用匿名管道的过程当中，可能已经发现管道两边的进程是同属一个进程组的，也就是说管道左方的数据只能传递给管道右方的进程，其余任何进程都无法读取此数据。但除了匿名管道，还有命名管道，命名管道是将一个进程的数据存储到一个管道文件(fifo)中，其余进程能够读取该管道文件来读取其中的数据，也就是说再也不限制数据读取方。关于命名管道，请参阅Linux/unix操做系统内核或编程类的书籍，通常都会有详细的介绍。

1.8.2 重定向

1.8.2.1 重定向基础

最多见的标准输入（stdin）、标准输出（stdout）和标准错误输出（stderr）的文件描述符分别是0、1和2，其中0、一、2也能够认为是它们的数字代号。对于输出信息，能够认为是打印在屏幕上的信息，而没给出错误的就是标准输出，给出错误提示的是标准错误输出，固然这样说明有失偏颇，可是易于理解。还能够自定义本身的描述符，实现高级重定向，在之后的文章中可能会介绍一下它们的用法。

标准输入 = /dev/stdin   = 代号0 = <符号(注意，没有包含<<符号)。

标准输出 = /dev/stdout = 代号1 = >或>>符号。

标准错误输出 = /dev/stderr = 代号2 = 使用2>或2>>符号。

注意，上面的/dev/std{in,out,err}分别是0、一、2默认的输出目标，当重定向后，就再也不使用这些目标。具体见后文。

<、>、2>实现的是覆盖功能，>>、2>>实现的是追加的功能，可是注意"<<"不是追加功能，而是表示此处生成文档(here document)，在后面cat和重定向配合的内容里有说明。此外，还有<<<，它表示此处字符串(here string)，也见下文。

有时候，使用"-"也表示/dev/stdin。如：

[root@xuexi ~]# cat /etc/fstab | cat -

脚本中常见2>&1和&>以及&>>的符号，它们都表示将stdout和stderr都重定向到同一个地方去，即重定向全部输出内容。如最多见的"&> /dev/null"。

注意：

(1).重定向操做是shell最早解析到的，在执行命令以前，重定向就会先打开文件以肯定输入、输出的位置。若是是重定向输出操做，则先截断文件使其为空。

(2)./dev/stdin、/dev/stdout、/dev/stderr等设备只是数据默认的流向目标(严格地说是文件描述符0、一、2的输出目标)，它们不等价于"标准输入0、标准输出一、标准错误2"。之因此称为"重定向"，就是将数据的流向改变，再也不输入到这些默认设备中。

(3).重定向的顺序很重要。

例如 ls / >file1 2>&1 表示先打开file1做为标准输出(fd=1)的目的地，而后再将标准错误绑定到标准输出(已是file1)上，这样不管是标准错误仍是标准输出都重定向到file1中。它等价于 ls / &>file1 。"&"符号表示描述符重用(fd 2 duplicate from fd 1)。将其理解为文件描述符2复制了文件描述符1，或者文件描述2重用文件描述符1，使得fd=2也指向了fd=1所指向的文件。

而 ls / 2>&1 >file1 表示先将标准错误指向到标准输出，此时标准输出仍是/dev/sdtout(即屏幕)，所以标准错误的输出目标是/dev/stdout(屏幕)。以后再打开file1做为标准输出的目标。所以，它最终将标准错误重定向到/dev/stdout，将标准输出重定向到file1。可让ls命令产生错误来测试， ls dlfjasl 2>&1 >file1 ，结果将直接显示在屏幕上。 

将stdout或stderr丢到/dev/null表示丢弃输出信息，反过来，将/dev/null重定向到某个文件则表示清空文件。

[root@xuexi ~]# cat /dev/null > ab.sh

除此，还有如下几种方法快速清空文件

[root@xuexi ~]# > ab.sh
[root@xuexi ~]# : > ab.sh             # 或"true >ab.sh"，其实它们都等价于">ab.sh"
[root@xuexi ~]# echo '' > ab.sh
[root@xuexi ~]# truncate -s 0 ab.sh   # truncate命令用于收缩和扩展文件大小
[root@xuexi ~]# dd if=/dev/null of=ab.sh

再次说明(很重要)：在有输出类的重定向(包括错误重定向)语句中，命令执行以前就已经将文件截断为0大小。因此若是正在编辑一个文件并将编辑的结果重定向回这个文件将出现异常，由于截断后就没有合适的内容用于编辑。一个简单的示例以下：

[root@xuexi ~]# head a.log > a.log

有些时候直接使用">"覆盖输出是比较危险的。可使用set -C来设置若是输出重定向文件已经存在则不覆盖。使用set +C来取消set -C的效果。若是在设置了set -C时仍然想强制覆盖，可使用“>|”代替“>”来重定向输出。同理错误输出也有此特性。

[root@xuexi tmp]# set -C

[root@xuexi tmp]# cat flip >ttt.txt
-bash: ttt.txt: cannot overwrite existing file

[root@xuexi tmp]# cat flip >| ttt.txt

[root@xuexi tmp]# set +C

1.8.2.2 cat和重定向配合

配合cat使用能够分行输入内容到文件中。

[root@xuexi tmp]# cat <<eof>log.txt   # 覆盖的方式输入到log.txt
> this is stdin character
> eof

也可使用下面的方法。

[root@xuexi tmp]# cat >log1.txt <<eof 
> this is stdin character first!
> eof

一方面，eof部分都必须使用"<<eof"，它表示here document，此后输入的内容都做为一个document输入给cat。既然是document，那就确定有document结束符标记document到此结束，结束符使用的是here document后的字符，例如此处为eof。其实不使用eof，使用其余字符也是同样的，但document的结束符也必需要随之改变。如：

[root@xuexi ~]# cat <<abcx > 123
> 345
> abcx 123
345

另外一方面，>log1.txt表示将document的内容覆盖到log1.txt文件中，若是是要追加，则使用>>log1.txt。因此，追加的方式以下：

[root@xuexi tmp]# cat >>log1.txt <<eof 
> this is stdin character first!
> eof

或

[root@xuexi tmp]# cat <<eof>>log1.txt 
> this is stdin character first!
> eof

1.8.2.3 tee双重定向

可使用tee双重定向。通常状况下，重定向要么将信息输入到文件中，要么输出到屏幕上，可是既想输出到屏幕又想输出到文件就比较麻烦。使用tee的双重定向功能能够实现该想法。如图。

tee [-a] file

选项说明：

    -a：默认是将输出覆盖到文件中，使用该选项将变为追加行为。

    file：除了输出到标准输出中，还将输出到file中。若是file为"-"，则表示再输入一次到标准输出中。

例以下面的代码，将a开头的文件内容所有保存到b.log，同时把副本交给后面的的cat，使用这个cat又将内容保存到了x.log。其中"-"表明前面的stdin。

[root@xuexi tmp]# cat a* | tee b.log | cat - >x.log

还能够直接输出到屏幕：

[root@xuexi tmp]# cat a* | tee b.log | cat

tee默认会使用覆盖的方式保存到文件，可使用-a选项来追加到文件。如：

[root@xuexi tmp]# cat a* | tee -a b.log | cat

如今就能够在使用cat和重定向建立文件或写入内容到文件的同时又能够在屏幕上显示一份。

[root@xuexi tmp]# cat <<eof | tee ttt.txt
> x y
> z 1
> eof

x y
z 1

另外一篇tee的技巧文章：tee的花式用法和pee，建议有必定基础后再看这篇文章。

1.8.2.4 <<和<<<

在bash中，<<和<<<是特殊重定向符号。<<表示的是here document，<<<表示的是here string。

here document在上文已经解释过了，对于here string，表示将<<<后的字符串做为输入数据。

例如：

passwd --stdin user <<< password_value

等价于：

echo password_value | passwd --stdin user