Perl一行式:处理空白符号

perl一行式程序系列文章Perl一行式html


假如文件file.log内容以下:express

root   x 0     0 root   /root     /bin/bash
daemon x 1     1 daemon /usr/sbin /usr/sbin/nologin
bin    x 2     2 bin    /bin      /usr/sbin/nologin
sys    x 3     3 sys    /dev      /usr/sbin/nologin
sync   x 4 65534 sync   /bin      /bin/sync

每行后加一空行

$ perl -pe '$\ = "\n"' file.log

结果:bash

root   x 0     0 root   /root     /bin/bash

daemon x 1     1 daemon /usr/sbin /usr/sbin/nologin

bin    x 2     2 bin    /bin      /usr/sbin/nologin

sys    x 3     3 sys    /dev      /usr/sbin/nologin

sync   x 4 65534 sync   /bin      /bin/sync

这里出现了选项 -p 和 -e,出现了特殊变量$\,附带的,稍后还会解释另外一个选项 -n。less

perl的"-e"选项表示后面接perl的一行式表达式,就像sed的-e选项同样。这是一行式perl程序最多见的一个选项。perl还有一个"-E"选项,和"-e"同样都用来指定一行式表达式,但"-E"可使用一些高版本的功能。函数

perl的"-p"选项表示print操做,即对每一读入的行在通过表达式操做后都默认输出,和sed的p命令是同样的。测试

实际上,perl中的"-p"选项等价于下面的逻辑,理解了这个逻辑,对理解sed的逻辑会颇有帮助。code

while(<>){
    ... -e 指定的表达式代码在这里 ...
} continue {
    print or die "-p failed: $!\n";
}

Perl中的continue和其它语言的continue有点不同,Perl中的continue表示每轮循环的主体执行完以后,执行另外一段代码。也就是说,每一行内容通过"-e"指定的表达式处理后,都会被continue代码块中的print输出。htm

解释下-p选项的过程:while(<>)每次读取一行数据赋值给默认变量$_,而后通过-e的表达式进行处理,处理完后执行continue的print,这里print没有参数,因此表示输出默认变量$_的内容,也就是被处理后的行数据。对象

另外一个选项 -n ,表示处理文件但默认不输出处理后的行。若是想要输出,只能本身在-e表达式中指定输出操做(print/say/printf)。逻辑为:blog

while (<>) {
    ...  # -e expression here
}

也就是说,-n和-p两个选项会自动读取文件(若是都存在,则-p会覆盖-n),不须要在-e的表达式中本身写读取文件的逻辑。若是没有这两个选项,那么在-e中要本身写才能读参数文件:

$ perl -e 'while(<>){...}'

通常来讲,选择使用-p仍是-n的规则以下:

  • 某些行不须要输出或者须要被删除的时候,不该该使用-p,由于它默认会输出全部行
    • 换句话说,若是不须要输出全部行时,不使用-p,须要输出全部行,能够考虑使用-p
  • 不使用-p的时候,几乎均可以使用-n

最后是关于特殊变量$\表示print的输出行分隔符(awk的ORS变量),它默认为undef,因此print输出的每段数据之间都是紧连在一块儿的。此处示例将$\指定为换行符。

因为<>读取数据时已经将文本中每一行的\n也读取了,因此加上$\已经有两个连续的\n,因而每行后面都会多一空行。

实际上没有必要为每一读入的行都设置$\,能够将它设置在BEGIN块中:

$ perl -pe 'BEGIN{$\ = "\n"}' file.log

对于本示例"每行以后加上空行"有多种解决方式。例如:

$ perl -pe '$_ .= "\n"' file.log
$ perl -nE 'say "$_\n"' file.log
$ perl -pe 's/$/\n/' file.log
......

每行后加空行,但空行除外

$ perl -pe '$_ .= "\n" unless /^$/'

这里使用unless逻辑进行空行匹配,若是匹配空行,就不对当前行追加尾随换行符。unless测试等价于if的否认测试。

有些空行多是包含了空白符号(空格、制表符等)的行,这些空白肉眼不可识别,但却占了字符空间,使得没法匹配^$,因此更好的匹配模式是:

$ perl -pe '$_ .= "\n" if /\S/'

\S表示任意单个非空白字符,\s表示任意单个空白字符。因此这里的逻辑是:只要行能匹配非空白字符,就追加尾随换行符。

每行后加N空行

想在每行后面加两空行、三空行、四空行、N空行该如何解决?

$ perl -pe '$_ .= "\n" x 3' file.log

Perl的字符串可使用小写字母x表示重复N次,例如"a" x 3获得"aaa","ab" x 2获得"abab"。上面的示例表示为每行都追加3个换行符。

经过字符串重复操做,能够很轻松地输出等长的分割线:

$ perl -e '
        print "-" x 30,"\n";
        print "hahaha\n";
        print "-" x 30,"\n";
        print "heihei\n";'
------------------------------
hahaha
------------------------------
heihei

每行前加空行

最简单的方式是使用s替换操做。

$ perl -pe 's/^/\n/' file.log

移除全部空白行

$ perl -ne 'print unless /^$/' file.log

此处使用了"-n"选项,表示禁止默认的输出。print和匹配操做的对象都使用默认变量$_。等价于:

整个逻辑是:只要匹配了空行/^$/,就不输出。

这也有好几种方式能够实现,例如:

$ perl -ne 'print if /\S/' file.log

比较独特的一种实现方式是使用length函数:

$ perl -lne 'print if length' file.log

这里涉及选项"-l"和函数length(),且print和length都没有指定操做对象,因此使用默认变量$_,等价于:

$ perl -lne 'print $_ if length $_' file.log

length函数能够获取字符串的字符个数,注意是字符数不是字节数。

-l选项在结合-n或-p使用的时,会自动对读入的行移除尾随换行符,而后在输出的时候自动追加尾随输出分隔符(如换行符,如何追加分隔符请参看Perl一行式参考手册)。

这里的逻辑是:若是是空行,那么在被-l移除换行符后length返回0,也就是布尔假,因此只有不是空行的行才会被输出。

压缩连续空行:按段落读取

先准备一段测试数据paragraph.log:

first paragraph:
        first line in 1st paragraph
        second line in 1st paragraph
        third line in 1st paragraph


second paragraph:
        first line in 2nd paragraph
        second line in 2nd paragraph
        third line in 2nd paragraph


third paragraph:
        first line in 3rd paragraph
        second line in 3rd paragraph
        third line in 3rd paragraph

sed/awk中想要压缩连续空行,总要多读入几行进行连续空行的判断。例如:

$ sed -nr '$!N;/^\n$/!P;D' paragraph.log

但在perl一行式中,这会变得无比的简单:

$ perl -00pe '' paragraph.log

这里两个关注点:-00-e ''

-e ''的表达式部分为空,表示什么也不作。什么也不作的时候,也能够写成-e0

$ perl -00pe0 paragraph.log

-0OCTNUM表示设置输入行分隔符$/

若是省略8进制值OCTNUM,则-0表示设置$/为undef,即$/ = undef,也就是一次性从文件头读到文件尾看成一行赋值给$_

这里指定了8进制的值为0,对应于ASCII的空字符串,即等价于$/ = "",它表示按段落读取(slurp读取模式),并压缩连续的空行为单个空行。

什么是段落?中间隔了至少一空行的是上下两个段落,段落意味着可能包含了连续的多行。可是若是隔了连续的空行呢?设置$/ = ""会按段落读取,并压缩连续的空行为单空行,而后做为上面的段落的一部分。设置$/ = "\n\n"也表示按段落读取,但它不会压缩连续的空行。

如何知道是不是按段落读取?可用下面的示例进行测试:

$ perl -ne '
    BEGIN{$/ = "";}
    print $_."xxxxx" if /2nd/' paragraph.log

会发现追加的几个字符"xxxxx"是单独附加在第二段落的尾部的,而不是能匹配"2nd"的每一行上。

压缩/扩展全部连续空行为N空行

在上面一节压缩连续空行的基础上,实现这个目的已经很是容易了:

$ perl -00pe '$_ .= "\n" x 3' paragraph.log

这表示将每一个段落之间规范为4个连续的空行进行分隔。之因此是4空行而不是3,是由于压缩成单空行后,又追加了3空行。

压缩/扩展单词间的空格数量

要实现这样的功能,这个对于sed来讲也很是的容易。这里给几个简单示例。

1.每行单词间的空给双倍化:每一个空白都扩成2空格

$ perl -lpe 's/ /  /g' file.log

2.移除每行单词间的全部空白

$ perl -lpe 's/ //g' file.log

3.每行单词间连续空白压缩为单空格

$ perl -lpe 's/\s+/ /g' file.log

4.全部字符间插入一个空格

$ perl -lpe 's// /g' file.log

注意,上面插入空格时,也会在行首和行尾插入空格符号。

直接修改文件

perl的"-i"选项能够用来原地修改、拷贝副本。用法和sed的"-i"一致。

例如:

$ perl -i".bak" -lpe 's/$/\n/g' file.log

$ cat file.log
root   x 0     0 root   /root     /bin/bash

daemon x 1     1 daemon /usr/sbin /usr/sbin/nologin

bin    x 2     2 bin    /bin      /usr/sbin/nologin

sys    x 3     3 sys    /dev      /usr/sbin/nologin

sync   x 4 65534 sync   /bin      /bin/sync

$ cat file.log.bak
root   x 0     0 root   /root     /bin/bash
daemon x 1     1 daemon /usr/sbin /usr/sbin/nologin
bin    x 2     2 bin    /bin      /usr/sbin/nologin
sys    x 3     3 sys    /dev      /usr/sbin/nologin
sync   x 4 65534 sync   /bin      /bin/sync
相关文章
相关标签/搜索