Linux基础之sed流编辑器详解

时间 2019-11-10

标签 linux 基础 sed 编辑器详解栏目 Linux 繁體版

原文原文链接

以前介绍了三大文本编辑器的grep，这里介绍比grep功能更强的sed流编辑器正则表达式

sed是什么？express

sed是Stream EDitor的缩写，man中对sed的简介为centos

sed - stream editor for filtering and transforming text缓存

它的主要功能是对文本的过滤与替换。bash

sed的工做原理
app

sed的工做过程：sed是一个流编辑器，所谓流编辑器是指sed每次只从文件或stdin中读入一行，将读入的行保存至模式空间而后根据指定的要求对其进行处理，并将处理后的结果输出至屏幕，接着读入下一行，整个文本的过程如流水线般被逐行处理后输出。编辑器

sed对内容的处理方式：sed不是在原文件中或原输入上直接进行处理的，它将读入的行放入缓存区，对缓存区里的内容进行处理，处理完毕后默认不会写入或覆盖源文件，而是直接输出到屏幕上。ide

它有两个内存缓冲区分别叫作：模式空间（pattern space）、保持空间也有称做暂存缓存区（holding space）。工具

通常状况下sed首先把第一行装入模式空间，进行处理后输出屏幕，而后第二行装入模式空间替换掉模式空间里原来的内容，再进行处理，依次循环，直至结束。学习

下面是我对sed工做流程的理解图。

一、sed每次将stdin中的内容中的一行读入模式空间

二、以后根据模式空间中的匹配条件进行匹配，符合条件进入下一阶段即普通编辑，不知足则默认至标准输出，结束

三、普通编辑以后分三个阶段，1）普通编辑以后选择性显示至STDOUT，结束；2）进入holding space进行高级编辑，编辑结束后选择性显示至模式空间，以后再次根据编辑命令重复2-3过程；3)如果出现多编辑命令则须要再返回模式空间根据编辑条件再次进行2-3步骤。

限于我的理解程度上述的理解免不了跟真实的工做流程有些出入，你们要抱着质疑的态度去看，我写的不必定都是对的，不过错的应该不至于不少。

sed语法

sed OPTIONS... <SCRIPT> [INPUTFILE...]

[SCRIPT]：能够理解为地址定界加编辑命令。

经常使用选项：

-n:不输出模式空间中的内容至屏幕；通俗点能够理解为它能够自动过滤掉模式空间中未匹配到的行，-n 要与命令编辑中的p合用（命令编辑见下文），用于显示模式空间中被匹配到的内容。

suppress automatic printing of pattern space

-n的具体应用见后面的sed编辑高级命令演示

-e:多点编辑

add the script to the commands to be executed

-f:每行一个编辑命令

add the contents of script-file to the commands to be executed

-r:使用扩展表达式

use extended regular expressions in the script.

-i:直接编辑原文件

edit files in place (makes backup if SUFFIX supplied)

SCRIPT：

以前对这块很迷糊，由于info中sed显示语法有[]表示可加可不加，因而就在sed后直接加想要编辑的文本

因而就出现以下状况

[root@localhost test]# sed sed1
sed：-e 表达式 #1，字符 4：未终止的“s”命令

报错信息没找到终止的限制条件，因此上面的sed语法格式并不许确。

经过实验，sed能够不加[OPTION]可是[SCRIPT]则必须添加

SCRIPT分两部分：地址定界（用于限定编辑文本的范围）、编辑命令（用于对匹配到的内容进行什么样的操做或编辑），前者可少后者必不可少，若是没有编辑的命令会发生以下错误

[root@localhost test]# sed '1' cat1
sed：-e 表达式 #1，字符 1：遗漏命令
[root@localhost test]# cat cat1
hi,everyone
now I will show how to use cat
[root@localhost test]# sed 'p' cat1
hi,everyone
hi,everyone
now I will show how to use cat
now I will show how to use cat

地址定界：

一、空地址：对全文处理。

二、单地址：

#：指定行；

/pattern/:被此模式所匹配到的每一行；

三、地址范围：

#，#：从#开始到#结束的全部行

#，+#：从#开始向下至+#的行之间的全部行

#，/pat1/ 从#开始至匹配到第一次出现/pat1/模式的行之间的全部行

/pat1/,/pat2/:第一次匹配到/pat1/的行到第一次匹配到/pat2/的行之间的全部行

四、步进：~

1~2：全部奇数行 2~2：全部偶数行

编辑命令：若少了编辑命令会报错，编辑命令在SCRIPT中至少出现一次。

d:删除模式空间中匹配到的内容 Delete pattern space

a \text 在行后面插入文本“text”，支持使用\n实现多行插入

Append text, which has each embedded newline preceded by a back slash.

i \text 在行前面插入文本“text”，支持使用\n实现多行插入

Insert text, which has each embedded newline preceded by a back slash.

c \text 把匹配到的行替换为此处指定的文本“text”

Replace the selected lines with text, which has each embedded new line preceded by a backslash.

w filename 保存模式空间匹配的行至指定的文件中

Write the current pattern space to filename.

r filename 读取指定文件内容至当前文件被模式匹配到的行文件后合并

Append text read from filename.

= : 为模式匹配到的行打印行号 Print the current line number.

！: 条件取反（它比较特殊，它必须跟其余编辑命令一块儿使用）

s/regexp/replacement/ : 查找替换，其分隔符可自行指定，经常使用有s@@@，s###

它有一个特殊的用法s//x&/:表示将被查找的内容在其前面添加x内容

s//&x/:表示将被查找的内容在其后面添加x内容

&表明被查找的内容

[root@localhost test]# cat cat1
hi,everyone
now I will show how to use cat
[root@localhost test]# sed 's/e/&#/' cat1  
hi,e#veryone
now I will show how to use# cat
[root@localhost test]# sed 's/e/#&/' cat1 
hi,#everyone
now I will show how to us#e cat

p :显示替换成功的行

g :全局替换

w filename : 将替换成功的结果保存至指定文件中

查找替换在sed中应用很广，下面不少例子都是以sed的替换功能实现的

p :显示当前模式空间中的内容 Print the current pattern space.

注：同时使用多个编辑命令，命令之间要用;隔开（！除外）

例子以下：

[root@localhost test]# sed 'p;=' cat1
hi,everyone
1
hi,everyone
now I will show how to use cat
2
now I will show how to use cat

实例演示：

一、删除/etc/grub2.conf文件中全部以空白开头的行行首的空白字符

sed 's#^[[:space:]]\+##' /etc/grub2.cfg

这里##是将前面匹配到的内容删除的意思,上面文本内容太多，就不截取了。

二、删除/etc/fstab文件中全部以#开头，后面至少跟一个空白字符的行的行首的#号及#后面的全部空白字符

sed 's@^#[[:space:]]\+@@' /etc/fstab

[root@localhost test]# cat /etc/fstab 
#
# /etc/fstab
# Created by anaconda on Tue Jul 19 23:52:41 2016
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=6efb8a23-bae1-427c-ab10-3caca95250b1 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
[root@localhost test]# sed 's@^#[[:space:]]\+@@' /etc/fstab
#
/etc/fstab
Created by anaconda on Tue Jul 19 23:52:41 2016
#
Accessible filesystems, by reference, are maintained under '/dev/disk'
See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=6efb8a23-bae1-427c-ab10-3caca95250b1 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

三、在/etc/fstab每一行行首增长#号

cat /etc/fstab                           
#
# /etc/fstab
# Created by anaconda on Tue Jul 19 23:52:41 2016
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=6efb8a23-bae1-427c-ab10-3caca95250b1 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
 sed 's@^@#&@' /etc/fstab
#
##
## /etc/fstab
## Created by anaconda on Tue Jul 19 23:52:41 2016
##
## Accessible filesystems, by reference, are maintained under '/dev/disk'
## See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
##
#/dev/mapper/centos-root /                       xfs     defaults        0 0
#UUID=6efb8a23-bae1-427c-ab10-3caca95250b1 /boot                   xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0

四、处理/etc/fstab路径,使用sed命令取出其目录名和基名

目录名：

[root@localhost test]# echo '/etc/fstab' | sed -r 's#(.*/)([^/]+/?)#\1#' 
/etc/

基名：

[root@localhost test]# echo '/etc/fstab' | sed -r 's#(.*/)([^/]+/?)#\2#'
fstab

sed高级编辑命令：

h：把模式空间中的内容覆盖至保持空间中；

H：把模式空间中的内容追加至保持空间中；

g：把保持空间中的内容覆盖至模式空间中；

G：把保持空间中的内容追加至模式空间中；

x：把模式空间中的内容与保持空间中的内容互换；

n：覆盖读取匹配到的行的下一行至模式空间中；

N：追加读取匹配到的行的下一行至模式空间中；

d：删除模式空间中的行；

D：删除多行模式空间中的全部行；

我知道看了上面这些高级命令必定很晕，下面经过5个例子来理一下使用sed高级编辑命令的思路

高级编辑命令实例演示：

一、 sed -n 'n;p' FILE：

''内意思：将读取到的行的下一行内容显示至模式空间

-n 'p'：将模式空间中被匹配到的内容显示至屏幕

两者结合起来就是只显示偶数行。

[root@localhost test]# cat -n cat1
     1  hi,everyone
     2  now I will show how to use cat
[root@localhost test]# sed -n 'n;p' cat1
now I will show how to use cat

2、 sed '1!G;h;$!d' FILE：

这个命令按'x;x;x'中的;号分割分为三部分：

一、1！G：除读取的第一行都进行G编辑

二、h：将模式空间中的内容覆盖至保持空间中

三、$!d:删除非最后一行的内容

命令解释完了，我想你们对此应该仍是一头雾水，那么就具体说明这个命令的意思：

1）读取文本信息的1行内容至模式空间，因为是第一行因此模式空间中的1行不进行G操做，以后触发h，将模式空间中的1行放入保持空间中，再以后触发$!d，因为1行不是最后一行，因此将模式空间中的1行删除；

2）读取2行内容至模式空间，因为不是1行因此触发G操做，将保持空间中1行追加到2行后面，此时模式空间中的顺序内容为2行，1行，以后h命令将模式空间中内容覆盖至保持空间中，此时保持空间内容为2行，1行，由于2行不是最后一行，因此$!d删除模式空间中内容；

3）上述过程不断重复，直到最后一行时不进行d操做，此时模式空间中的第一行就是原文件的最后一行。

所以这个命令就是原文件内容反过来的排列。

[root@localhost test]# cat cat1
hi,everyone
now I will show how to use cat
[root@localhost test]# sed '1!G;h;$!d' cat1    
now I will show how to use cat
hi,everyone

三、 sed '$!d' FILE：

通过了上面两个命令的磨练，这个就显得简单了。

'$!d':不是最后一行则删除

意思是说模式空间中只保留文本的最后一行

[root@localhost test]# sed '$!d' cat1
now I will show how to use cat

四、 sed '/^$/d;G' FILE

'/^$/d':查找模式空间中的每行是否包含空白行，若包含则将其删除

G：将保持空间中的内容追加至模式空间中的每行后面

删除原有的全部空白行，然后为全部的非空白行后添加一个空白行；

两者结合在一块儿即：保证指定文件每一行后方有且只有一个空白行

[root@localhost test]# sed '/^$/d;G' cat1
hi,everyone

now I will show how to use cat

五、 sed 'n;d' FILE：显示奇数行；

这个就很简单了，你们按照sed的工做原理及编辑命令n与d很容易就能明白其所表达的意思

[root@localhost test]# cat cat1
hi,everyone
now I will show how to use cat
[root@localhost test]# sed 'n;d' cat1
hi,everyone

学习sed的一些感觉

学习sed若是对于sed的编辑命令或高级命令很困惑，那么不妨试试照着我上面的sed工做流程图，一步一步的本身画图分析每一步所表明的意思。这既能增强本身对sed这个工具的了解也可有助于理清咱们的使用思路。这是我在学习过程当中以为颇有用的一种方法。

sed这个工具它的精髓在于它的替换，替换的精髓在于精确匹配，而精确匹配又离不开正则表达式的，因此若是以为本身对于替换很不擅长的话那么能够好好练习一下正则表达式。

sed是一个实用性很强的文本编辑工具，因为能力所限，也只能对sed进行下简要的介绍，你们若对其有进一步的兴趣能够查找更专业的书籍。