版权声明: 本文章内容在非商业使用前提下可无需授权任意转载、发布。 转载、发布请务必注明作者和其微博、微信公众号地址,以便读者询问问题和甄误反馈,共同进步。 微博ID:**orroz** 微信公众号:**Linux系统技术**
本文主要介绍sed的高级用法,在阅读本文之前希望读者已经掌握sed的基本使用和正则表达式的相关知识。本文主要可以让读者学会 如何使用sed处理段落内容 。
希望本文能对你帮助。
捐助穷佐罗,让他过上温饱生活。
日常工作中我们都经常会使用sed命令对文件进行处理。最普遍的是以行为单位处理,比如做替换操作,如:
[root@TENCENT64 ~]# head -3 /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin [root@TENCENT64 ~]# head -3 /etc/passwd |sed 's/bin/xxx/g' root:x:0:0:root:/root:/xxx/bash xxx:x:1:1:xxx:/xxx:/sxxx/nologin daemon:x:2:2:daemon:/sxxx:/sxxx/nologin
于是每一行中只要有”bin”这个关键字的就都被替换成了”xxx”。以”行”为单位的操作,了解sed基本知识之后应该都能处理。我们下面通过一个对段落的操作,来进一步学习一下sed命令的高级用法。
工作场景下有时候遇到的文本内容并不仅仅是以行为单位的输出。举个例子来说,比如ifconfig命令的输出:
[root@TENCENT64 ~]# ifconfig eth1 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 inet addr:10.0.0.1 Bcast:10.213.123.255 Mask:255.255.252.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:4699092093 errors:0 dropped:0 overruns:0 frame:0 TX packets:4429422167 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:621383727756 (578.7 GiB) TX bytes:987104190070 (919.3 GiB) eth2 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:421719237 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:17982386416 (16.7 GiB) TX bytes:0 (0.0 b) eth3 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:401384950 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:16934321897 (15.7 GiB) TX bytes:0 (0.0 b) eth4 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:139540553 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:5929444543 (5.5 GiB) TX bytes:0 (0.0 b) eth5 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:1810276711441 errors:0 dropped:0 overruns:22712568 frame:0 TX packets:1951148522633 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:743435149333809 (676.1 TiB) TX bytes:707431806048867 (643.4 TiB) Memory:a9a40000-a9a60000 eth6 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:210438688172 errors:0 dropped:9029561 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:0 (0.0 b) TX bytes:219869363023063 (199.9 TiB) eth7 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:628704252152 errors:0 dropped:20495142 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:0 (0.0 b) TX bytes:247252814884293 (224.8 TiB) eth8 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:7987321426 errors:0 dropped:904533 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:0 (0.0 b) TX bytes:1467641590110 (1.3 TiB) eth9 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:1088671818709 errors:0 dropped:13914796 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:0 (0.0 b) TX bytes:236639340770145 (215.2 TiB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:3094508 errors:0 dropped:0 overruns:0 frame:0 TX packets:3094508 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:1579253954 (1.4 GiB) TX bytes:1579253954 (1.4 GiB) br0 Link encap:Ethernet HWaddr FE:BD:B8:D5:79:46 UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1 RX packets:118073976200 errors:0 dropped:0 overruns:0 frame:0 TX packets:129141892891 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:13271406153198 (12.0 TiB) TX bytes:21428348510630 (19.4 TiB) br1 Link encap:Ethernet HWaddr FE:BD:B8:D5:87:36 UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1 RX packets:210447731529 errors:0 dropped:0 overruns:0 frame:0 TX packets:145867293712 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:216934635012821 (197.3 TiB) TX bytes:112307933521307 (102.1 TiB) br2 Link encap:Ethernet HWaddr FE:BD:B8:D5:A1:1C UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1 RX packets:227580515069 errors:0 dropped:0 overruns:0 frame:0 TX packets:224128670696 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:146402818737176 (133.1 TiB) TX bytes:121031384149060 (110.0 TiB) br3 Link encap:Ethernet HWaddr FE:BD:B8:D5:A1:F4 UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1 RX packets:210447731529 errors:0 dropped:0 overruns:0 frame:0 TX packets:145867293713 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:216934635012821 (197.3 TiB) TX bytes:112307933522807 (102.1 TiB) br4 Link encap:Ethernet HWaddr FE:BD:B8:D5:A4:9A UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1 RX packets:210447731531 errors:0 dropped:0 overruns:0 frame:0 TX packets:145867293714 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:216934635013645 (197.3 TiB) TX bytes:112307933522867 (102.1 TiB) br5 Link encap:Ethernet HWaddr FE:BD:B8:D5:AA:21 UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1 RX packets:7988225959 errors:0 dropped:0 overruns:0 frame:0 TX packets:9460529821 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:1355936046078 (1.2 TiB) TX bytes:1354671618850 (1.2 TiB)
这是一个有很多网卡的服务器。观察以上输出我们会发现,每个网卡的信息都有多行内容,组成一段。网卡名称和MAC地址在一行,网卡名称IP地址不在一行。类似的还有网卡的收发包数量的信息,以及收发包的字节数。那么对于类似这样的文本内容,当我们想要使用sed将输出处理成:网卡名对应IP地址或者网卡名对应收包字节数,将不在同一行的信息放到同一行再输出该怎么处理呢?类似这样:
网卡名:收包字节数 eth1:621383727756 eth2:17982386416 ...
这样的需求对于一般的sed命令来说显然做不到了。我们需要引入更高级的sed处理功能来处理类似问题。大家可以先将上述代码保存到一个文本文件里以备后续实验,我们先给出答案:
网卡名对应RX字节数:
[root@zorrozou-pc0 zorro]# sed -n '/^[^ ]/{s/^/([^ ]*/) .*//1/g;h;: top;n;/^$/b;s/^.*RX bytes:/([0-9]/{1,/}/).*//1/g;T top;H;x;s//n/:/g;p}' ifconfig.out eth1:621383727756 eth2:17982386416 eth3:16934321897 eth4:5929444543 eth5:743435149333809 eth6:0 eth7:0 eth8:0 eth9:0 lo:1579253954 br0:13271406153198 br1:216934635012821 br2:146402818737176 br3:216934635012821 br4:216934635013645 br5:1355936046078
网卡名对应ip地址:
[root@zorrozou-pc0 zorro]# sed -n '/^[^ ]/{s/^/([^ ]*/) .*//1/g;h;: top;n;/^$/b;s/^.*inet addr:/([0-9]/{1,/}/.[0-9]/{1,/}/.[0-9]/{1,/}/.[0-9]/{1,/}/).*//1/g;T top;H;x;s//n/:/g;p}' ifconfig.out eth1:10.0.0.1 lo:127.0.0.1
我们还会发现显示IP的sed命令很智能的过滤掉了没有IP地址的网卡,只把有IP的网卡显示出来。相信一部分人看到这个命令已经晕了。先不要着急,讲解这个命令的含义之前,我们需要先来了解一下sed的工作原理。
默认情况下,sed是将输入内容一行一行进行处理的。如果我们拿一个简单的sed命令举例,如:sed ‘1,$p’ /etc/passwd。处理过程中,sed会一行一行的读入/etc/passwd文件,查看每行是否匹配定址条件(1,$),如果匹配条件,就讲行内容放入模式空间,并打印(p命令)。由于文本流本身的输出,而模式空间内容又被打印一遍,所以这个命令最后会将每一行都显示2遍。
[zorro@zorrozou-pc0 ~]$ sed '1,$p' /etc/passwd root:x:0:0:root:/root:/bin/bash root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/usr/bin/nologin bin:x:1:1:bin:/bin:/usr/bin/nologin daemon:x:2:2:daemon:/:/usr/bin/nologin daemon:x:2:2:daemon:/:/usr/bin/nologin
默认情况下,sed程序在所有的脚本指令执行完毕后,将自动打印模式空间中的内容,这会导致p命令输出相关行两遍,-n选项可以屏蔽自动打印。
模式空间的英文是pattern space。在sed的处理过程中使用这个缓存空间缓存了要处理的内容。由上面的例子可以看到,模式空间是sed处理最核心的缓存空间,所有要处理的行内容都会复制进这个空间再进行修改,或根据需要显示。默认情况下sed也并不会修改原文件本身内容,只修改模式空间内容。
除了模式空间以外,sed还实现了另一个内容缓存空间,名字叫保存空间。大家可以想象这个空间跟模式空间一样,也就是一段内存空间,一般情况下不用,除非我们使用相关指令才会对它进行使用。
了解了以上两个空间以后,我们来看看例子中的命令到底进行了什么处理,例子原来是这样的:
sed -n '/^[^ ]/{s/^/([^ ]*/) .*//1/g;h;: top;n;/^$/b;s/^.*RX bytes:/([0-9]/{1,/}/).*//1/g;T top;H;x;s//n/:/g;p}' ifconfig.out
为了方便分析,我们将这个sed命令写成一个sed脚本,用更清晰的语法结构再来看一下。脚本跟远命令有少许差别,最后的p打印变成了写文件:
[zorro@zorrozou-pc0 ~]$ cat -n ifconfig.sed 1 #!/usr/bin/sed -f 2 3 /^[^ ]/{ 4 s/^/([^ ]*/) .*//1/g; 5 h; 6 : top; 7 n; 8 /^$/b; 9 s/^.*RX bytes:/([0-9]/{1,/}/).*//1/g; 10 T top; 11 H; 12 x; 13 s//n/:/g; 14 # p; 15 w result 16 }
这个sed脚本执行结果是这样的:
[zorro@zorrozou-pc0 ~]$ ./ifconfig.sed ifconfig.out eth1 inet addr:10.0.0.1 Bcast:10.213.123.255 Mask:255.255.252.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:4699092093 errors:0 dropped:0 overruns:0 frame:0 TX packets:4429422167 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 eth1:621383727756 eth2 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 ......
最后所有有效输出会写入result文件:
[zorro@zorrozou-pc0 ~]$ cat result eth1:621383727756 eth2:17982386416 eth3:16934321897 eth4:5929444543 eth5:743435149333809 eth6:0 eth7:0 eth8:0 eth9:0 lo:1579253954 br0:13271406153198 br1:216934635012821 br2:146402818737176 br3:216934635012821 br4:216934635013645 br5:1355936046078
在分析脚本代码之前,我们先要理清楚根据输出内容要做的处理思路。观察整个ifconfig命令输出的内容,我们会发现,每个网卡输出的信息都是由多行组成的,并且每段之间由空行分隔。每个网卡信息段的输出第一行都是网卡名,并且网卡名称没有任何前缀字符:
从输出内容分析,我们应该做的事情是,找到以非空格开头的行,取出网卡名记录下来,并且再从下面的非空行找RX bytes:这个关键字,取出它后面的数字(接收字节数)。如果碰见空行,则表示这段分析完成,开始下一段分析。开始分析我们的程序,我们先从头来,如何取出网卡名所在的行?这个很简单,只要行开始不是以空格开头,就是网卡名所在行,所以:
[zorro@zorrozou-pc0 ~]$ sed -n '/^[^ ]/p' ifconfig.out eth1 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 eth2 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 eth3 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 eth4 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 eth5 Link encap:Ethernet HWaddr 40:F2:E9:09:FC:45 ......
非空格开头的正则表达式,锚定了段操作的开头。当然,我们找到段操作开头之后,后面绝不仅仅是一个简单的p打印,我们需要更复杂的组合操作。此时{}语法就起到作用了。sed的{}可以将多个命令组合进行操作,每个命令使用分号”;”分隔。如:
[zorro@zorrozou-pc0 ~]$ sed -n '/^[^ ]/{s/^/([^ ]*/) .*//1/g;p}' ifconfig.out eth1 eth2 eth3 eth4 eth5
这个命令的意思就是,取出网卡名所在的行,现在模式空间中进行替换操作,只保留网卡名(s/^([^ ] ) . //1/g),然后打印模式空间内容p。这里涉及到一个sed替换命令的正则表达式保存功能,如果不清楚的请自行补充相关知识。
学会了组合命令的{}方法之后,我们就该考虑找到了网卡名所在行之后该做什么了。第一个该做的事情就是,保存网卡名,并且只保留网卡名,别的信息不要。刚才已经通过替换命令实现了。然后下一步应该读取下一行进入模式空间,然后看看下一行中有没有RX bytes:,如果有,就取后面的数组进行保存。如果没有就再看下一行,如此循环,直到看到空行为止。这个过程中,我们需要对找到的有用信息进行保存,如:网卡名,接收数据包。那么保存到哪里呢?如果保存到模式空间,那么下一行读入的时候保存的信息就没了。所以此时我们就需要保存空间来帮我们保存内容了。后面的命令整个组成了一个逻辑,所以我们一起拿出来看:
[zorro@zorrozou-pc0 ~]$ cat -n ifconfig.sed 1 #!/usr/bin/sed -f 2 3 /^[^ ]/{ 4 s/^/([^ ]*/) .*//1/g; 5 h; 6 : top; 7 n; 8 /^$/b; 9 s/^.*RX bytes:/([0-9]/{1,/}/).*//1/g; 10 T top; 11 H; 12 x; 13 s//n/:/g; 14 # p; 15 w result 16 }
第3行和第3行不用解释了,找到网卡名的行并且在模式空间里只保留网卡名称。之后是第5行的h命令。h命令的意思是,将现在模式空间中的内容,放到保存空间。于是,网卡名就放进了保存空间。
然后是第6行,: top在这里只起到一个标记的作用。我们使用:标记了一个位置名叫top。我们先暂时记住它。
第7行n命令。这个命令就是读取下一行到模式空间。就是说,网卡行已经处理完,并且保存好了,可以n读入下一行了。n之后,下一行的内容就进入模式空间,然后继续从n下面的命令开始处理,就是第8行。
第8行使用的是b命令,用来跳出本次sed处理。这里的含义是检查下一行内容如果是空行/^$/,就跳出本段的sed处理,说明这段网卡信息分析完毕,可以进行下一段分析了。如果不是空行,这行就不起作用,于是继续处理第9行。b命令除了可以跳出本次处理以外,还可以指定跳转的位置,比如上文中使用:标记的top。
第9行使用s替换命令取出行中RX bytes:字符之后的所有数字。这里本身并没有分支判断,分支判断出现在下一行。
第10行T命令是一个逻辑判断指令。它的含义是,如果前面出现的s替换指令没有找到符合条件的行,则跳转到T后面所指定的标记位置。在这里的标记位置为top,是我们在上面使用:标记出来的位置。就是说,如果上面的s替换找不到RX bytes:关键字的行,那么就执行过程会跳回top位置继续执行,就是接着再看下一行进行检查。
在这里,我们实际上是用了冒号标签和T指令构成了一个循环。当条件是s替换找不到指定行的时候,就继续执行本循环。直到找到为止。找到之后就不会再跳回top位置了,而是继续执行第11行。
第11行的指令是H,意思是将当前模式空间中的内容追加进保存空间。当前模式空间已经由s替换指令处理成只保留了接受的字节数。之前的保存空间中已经存了网卡名,追加进字节数之后,保存空间里的内容将由两行构成,第一行是网卡名,第二行是接收字节数。注意h和H指令的区别,h是将当前模式空间中的内容保存进保存空间,这样做会使保存空间中的原有内容丢失。而H是将模式空间内容追加进保存空间,保存空间中的原来内容还在。
此时保存空间中已经存有我们所有想要的内容了,网卡名和接收字节数。它们是放在两行存的,这仍然不是我们想要的结果,我们希望能够在一行中显示,并用冒号分隔。所以下面要做的是替换,将换行替换成冒号。但是我们不能直接操作保存空间中的内容,所以需要将保存空间的内容拿回模式空间才能操作。
第12行是用了x指令,意思是将模式空间内容和保存空间内容互换。互换之后,网卡和接收字节数就回到模式空间了。然后我们可以使用s指令对模式空间内容做替换。
第13行s//n/:/g,将换行替换成冒号。之后模式空间中的内容就是我们真正想要的“网卡名:接收字节数”了。于是就可以p打印或者使用w指令,保存模式空间内容到某个文件中。
所有指令的退出条件有两个:
执行完退出后,sed会接着找下一个网卡信息开始的段,继续下一个网卡的解析操作。这就是这个复杂sed命令的整体处理过程。
明白了整个操作过程之后,我们对sed的模式空间,保存空间和语法相关指令就应该建立了相关概念了。接下来我们还有必要学习一下sed还支持哪些指令,以便以后处理复杂的文本时可以使用。
d:删除模式空间内容并开始下一个输入处理。
D:删除模式空间中的第一行内容,并开始下一个输入的处理。如果模式空间中只有一行内容,那它的作用跟d指令一样。
h:将模式空间拷贝到保存空间。
H:将模式空间追加到保存空间。
g:将保存空间复制到模式空间。
G:将保存空间追加到模式空间。
n:读入下一行到模式空间。
N:追加下一行到模式空间。
p:打印模式空间中的内容。
s///:替换模式空间中的内容。
t:测试这个指令之前的替换s///命令,如果替换命令能匹配到可替换的内容,则跳转到t指令后面标记的lable上。
T:测试这个指令之前的替换s///命令,如果替换命令不能匹配到可替换的内容,则跳转到T指令后面标记的lable上。
[zorro@zorrozou-pc0 ~]$ ip ad sh|sed -n '/^[0-9]/{:top;n;s/inet6/inet/;T top;p}' inet ::1/128 scope host inet fe80::95a9:3e28:5102:1a84/64 scope link [zorro@zorrozou-pc0 ~]$ ip ad sh|sed -n '/^[0-9]/{:top;n;s/inet6/&/;T top;p}' inet6 ::1/128 scope host inet6 fe80::95a9:3e28:5102:1a84/64 scope link
定义一个标签top,如果s///的替换功能不能执行,则表示这行中没有inet6这个单词,于是就会到top读取下一行(n命令功能)。如果测试s///成功执行,则p打印相关行。这样就拿出来了有ipv6地址的行。
关于sed的其它指令,基本都不是难点,这里不再解释。大家可以通过man sed查看帮助。
本文试图通过分析一个sed处理段落内容的案例,介绍了sed的模式空间、保存空间以及跳转、标签(label)这些概念和高级指令。希望大家能理解其使用方法和编程思路,以便在工作中能使用sed更加方便灵活的处理文本信息。工欲善其事,必先利其器。
谢谢大家!
如果本文对你有用,请任意打赏,穷佐罗再次拜谢了。
大家好,我是Zorro!
如果你喜欢本文,欢迎在微博上搜索“ orroz ”关注我,地址是:http://weibo.com/orroz
大家也可以在微信上搜索: Linux系统技术 关注我的公众号。
我的所有文章都会沉淀在我的个人博客上,地址是:http://liwei.life。
欢迎使用以上各种方式一起探讨学习,共同进步。
公众号二维码: