关于 Word Splitting 和 IFS 的三个细节

在 Bash manual 里叫 Word Splitting，在 Posix 规范里叫 Field Splitting，这二者指的是同一个东西，我把它翻译成“分词”，下面我就说三点不少人都忽略掉（或者说从没仔细考虑过）的分词细节。

1. 分隔符究竟是字符仍是字符串?

IFS 里面能够包含多个字符，那么在分词的过程当中，是 IFS 中的每一个单独的字符做为分隔符，仍是由这些字符组合成的任意字符串做为分隔符？咱们写个简单的例子证实一下：

$ var=a12b21c IFS=12 $ printf "<%s>\n" $var <a> <> <b> <> <c>

因为输出了两个空的字段，也就证实了是 1 和 2 两个单独的 IFS 字符做为了分隔符，而不是 12 和 21 这两个由 IFS 字符组成的字符串做为了分割符。但结论没这么简单，再看一个例子：

$ var=$'1 \t 2' IFS=$' \t' #红色背景的是空格 $ printf "<%s>\n" $var <1> <2>

在这个例子中，IFS 包含两个字符：空格符和制表符， 若是说它们俩是单独做为分隔符的，那么 $var 就应该被分割成四个字段，分别是 <1> <> <> <2>，但实际的结果并非这样的。这是由于：空格符、制表符（\t）、换行符（\n）这三个空白符在 IFS 中会被特殊对待，Shell 会把它们按照任意顺序任意数量组合成的字符串做为分隔符，而不是单个字符做为分隔符。在这个例子中，是“ \t ”总体做为了一个分隔符，把 1 和 2 分红了两个字段。下面再演示一下 IFS 为换行符的状况：

$ var=$'1\n\n\n2\n\n\n3' IFS=$'\n' $ printf "<%s>\n" $var <1> <2> <3>

这个例子中，三个连续的换行符做为了分隔符，把 var 分红了三个字段。

若是 IFS 既包含空白符，又包含非空白符，会怎么样？

看下面的例子，IFS 中既有空白符 \n 又有非空白符 2：

$ var=$'1\n\n2\n\n3' IFS=$'\n2' $ printf "<%s>\n" $var <1> <3>

咦？有些同窗就想问了：上面不是说，Shell 会把以任意个 IFS 包含的空白符组成的字符串做为分隔符，把单个 IFS 中包含的非空白符做为分隔符吗，那不就是有三个分隔符：“\n\n”、“2”、“\n\n”吗？但从表现上来看，是“\n\n2\n\n”总体做为了一个分隔符，这是怎么回事？

下面咱们就再说个法则：“一个 IFS 中包含的非空白符会和它两边存在的由 IFS 中包含的空白符组成的字符串组合成一块儿做为分隔符”。在上面的例子中，就是 2 和它两边的 “\n\n” 5个字符组合起来做为了一个分割符，因此产生了 1 和 3两个字段。

2. 尾部的空字段会被丢弃

$ var=:1:2:3: IFS=: $ printf "<%s>\n" $var <> <1> <2> <3>

四个分隔符，应该把 var 切割成 5 个字段，但从结果上看，尾部的空字段不见了？是的，再说一个法则：分词以后，若是最后一个字段是空的，那么这个字段会被丢弃掉。其实，一个包含空值的变量在分词以后会被丢弃，也符合这条法则：

$ var="" $ set -- $var $ echo $# 0

上面的例子中，var 的值就是空，因此在分词以后也是只有一个空的字段，也是最后一个字段，符合尾部空字段被丢弃的法则，因此 set 命令只看到了 -- 这一个参数。 

3. 首尾的空白符序列会被丢弃掉

$ var=$'\n1:2\n' IFS=$'\n:' $ printf "<%s>\n" $var <1> <2>

这个例子中，分割符应该有三个，分别是 \n、：、\n，它们会把 var 分割成四个字段 <> <1> <2> <>，尾部的字段是空的，被丢弃，就成了 <> <1> <2>。咦？WTF，为何和真实的输出不符！下面是最后一条法则：在正式分词以前，变量两边的由 IFS 包含的空白符组合成的序列会被丢弃掉，而后才进行正式分词。在上面的例子中，var 会先被切头去尾，也就变成 “1:2”，才进行正式的分词，也就最终被分红了 1 和 2 两个字段了。注意，首尾的空白符序列只包含由 IFS 中包含的空白符组成的序列，好比上面的例子改一下：

$ var=$'\n1:2\n' IFS=$'\t:' $ printf "<%s>\n" $var < 1> <2 >

因为 \n 没有包含在 IFS 中，因此 var 首尾的 \n 也就不会被去掉。 关于这点，Bash 的文档记载有 bug，我给提 bug 修复了。

最后说一句，本文中所举的例子都是用 parameter expansion 来演示的，command substitution 和 arithmetic expansion 虽然没有演示，但一样适用。