字符串处理 扩展的脚本技巧 正则表达式

字串处理

1.截取字串
echo ${变量：0 ： 3} == echo ${变量：：3} //0能够省略
expr substr $变量 1 3
echo $变量 | cut -b 1-3

A=随机密码
A=y
A=z
A=x

PATH=命令搜索路径

s=PATH=/bin: /sbin:/usr/bin

1)人为：PATH=/bin: /sbin:/usr/bin:/root/test/
2)新的PATH=$PATH:/usr/bin

/root/test/

A=y
A=$A随机
echo $ABB 无BB取值为空

[root@localhost test]# basename /a/d/g/h/a.txt //取路径
a.txt
[root@localhost test]# dirname /a/b/c/v.txt //取文件名
/a/b/c

#!/bin/bash
echo "Usage:basename $0 [-a][-b]"

2.字串替换
echo ${var/old/new} // /替换第一个
echo ${var//old/new} // //所有替换

vim中
：s/old/new //只替换光标的当前行
：%s/old/new //
tom jerry tom tom
hehe user tom

：%s/old/new/g // 替换每一行的全部

替换：
3.掐头去尾
echo ${user#:} 最短匹配掐头
echo ${user##:} 最长匹配掐头
echo ${user%:} 最短匹配去尾
echo ${user%%:} 最长匹配去尾

一个#表明最短匹配，##表明最长匹配
[root@localhost test]# head -1 /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@localhost test]# user=head -1 /etc/passwd
[root@localhost test]# echo $user
root:x:0:0:root:/root:/bin/bash
[root@localhost test]# echo ${user#:}
x:0:0:root:/root:/bin/bash
[root@localhost test]# echo ${user##:}
/bin/bash
[root@localhost test]#

一个%表明最短匹配，%%表明最长匹配
[root@localhost test]# echo ${user%:}
root:x:0:0:root:/root
[root@localhost test]# echo ${user%%:}
root
[root@localhost test]#

eg：通用脚本
for i in cat /etc/passwd
do
echo $i 对$i去尾，：*删除
done

#cd /var/tmp/ //最好先cd过去
touch {a,b,c,d,f}.txt
#
#
for in in ls *.txt //如或不cd过去，要写绝对路径
do
定义变量x= mv b.txt a.txt
mv $i 变量.doc
done

for in in ls *.txt //如或不cd过去，要写绝对路径
do
定义变量x={i%.*}}
mv $i 变量.doc
done

eg:
改扩展名

#!/bin/bash
for i in ls *.txt
do
x=${i%.*} //定义变量
mv $i $x.doc

done

改进：
#!/bin/bash
for i in ls *.$1
do
x=${i%.*} //定义变量
mv $i $x.$2

done

#!/bin/bash
read -p "请输入用户名：" user
[ -z $user ] && echo "您没有输入用户名" && exit
read -s -p "请输入密码：" password
[ -z $password ] && echo "123" | passwd --stdin $user

useradd $user
echo $password | passwd --stdin $user
~

[root@localhost test]# echo $TTTTTTT

[root@localhost test]# echo ${TTTTTTT:-abc} //abc给变量赋初始值
abc
[root@localhost test]# TTTTTTT=123
[root@localhost test]# echo ${TTTTTTT:-abc}
123
[root@localhost test]#

vim mima.sh
#!/bin/bash
read -p "请输入用户名：" user
[ -z $user ] && echo "您没有输入用户名" && exit
read -s -p "请输入密码：" password
password=${password:-123456} //若是没有给密码，就执行这一行命令。赋予初始值。

useradd $user
echo $password | passwd --stdin $user

: 截取

掐头

% 去尾
:- 赋初始值

/etc/sysconfig/

grep "id" /proc/cpu

[root@room4pc09 桌面]# echo $[$(seq -s "+" 0 2 100)]
2550

seq -s
-s, --separator=STRING
use STRING to separate numbers (default: \n)

Top
NSD SHELL DAY04

案例1：字符串截取及切割
案例2：字符串初值的处理
案例3：使用Shell数组
案例4：expect预期交互
案例5：使用正则表达式

1 案例1：字符串截取及切割
1.1 问题

使用Shell完成各类Linux运维任务时，一旦涉及到判断、条件测试等相关操做时，每每须要对相关的命令输出进行过滤，提取出符合要求的字符串。

本案例要求熟悉字符串的常见处理操做，完成如下任务练习：

参考PPT示范操做，完成子串截取、替换等操做
根据课上的批量更名脚本，编写改进版renfilex.sh：可以批量修改当前目录下全部文件的扩展名，修改前/后的扩展名经过位置参数$一、$2提供

1.2 方案

子串截取的三种用法：

${var:起始位置:长度}
expr substr "$var" 起始位置 长度
echo $var | cut -b 起始位置-结束位置

路径分割：

取目录位置：dirname "字符串"
取文档的基本名称：basename "字符串"

子串替换的两种用法：

只替换第一个匹配结果：${var/old/new}
替换所有匹配结果：${var//old/new}

字符串掐头去尾：

从左向右，最短匹配删除：${变量名#*关键词}
从左向右，最长匹配删除：${变量名##*关键词}
从右向左，最短匹配删除：${变量名%关键词*}
从右向左，最长匹配删除：${变量名%%关键词*}

1.3 步骤

实现此案例须要按照以下步骤进行。

步骤一：字符串的截取

1）方法一，使用 ${}表达式

格式：${var:起始位置:长度}

定义一个变量Phone，并确认其字符串长度：

[root@svr5 ~]# Phone="13788768897"
[root@svr5 ~]# echo ${#Phone}
11                                         //包括11个字符

使用${}截取时，起始位置能够省略，省略时从第一个字符开始截。好比，如下操做均可以从左侧开始截取前6个字符：

[root@svr5 ~]# echo ${Phone::6}
137887

或者

[root@svr5 ~]# echo ${Phone:0:6}
137887

使用${}方式截取字符串时，起始位置是从0开始的（和数组下标编号相似） 。

所以，若是从起始位置1开始截取6个字符，那就变成这个样子了：

[root@svr5 ~]# echo ${Phone:1:6}
378876

2）方法二，使用 expr substr

格式：expr substr "$var" 起始位置 长度

还之前面的Phone变量为例，确认原始值：

[root@svr5 ~]# echo $Phone
13788768897
[root@svr5 ~]# echo ${#Phone}
11

使用expr substr截取字符串时，起始编号从1开始，这个要注意与${}相区分。

从左侧截取Phone变量的前6个字符：

[root@svr5 ~]# expr substr "$Phone" 1 6
137887

从左侧截取Phone变量的第9-11个字符：

[root@svr5 ~]# expr substr "$Phone" 9 3
897

3）方式三，使用cut分割工具

格式：echo $var | cut -b 起始位置-结束位置

选项 -b 表示按字节截取字符，其中起始位置、结束位置均可以省略。当省略起始位置时，视为从第1个字符开始（编号也是从1开始，与expr相似），当省略结束位置时，视为截取到最后。

还之前面的Phone变量为例，确认原始值：

[root@svr5 ~]# echo $Phone
13788768897
[root@svr5 ~]# echo ${#Phone}
11

从左侧截取前6个字符，可执行如下操做：

[root@svr5 ~]# echo $Phone | cut -b 1-6
137887

从第8个字符截取到末尾：

[root@svr5 ~]# echo $SCHOOL | cut -b 8-
8897

只截取单个字符，好比第9个字符：

[root@svr5 ~]# echo $SCHOOL | cut -b 9
8

步骤二：字符串的替换

1）只替换第1个子串

格式：${var/old/new}

以SCHOOL变量做为测试，先确认变量值：

[root@svr5 ~]# SCHOOL="Tarena IT Group"
[root@svr5 ~]# echo  $SCHOOL
Tarena IT Group.

将字符串中的第1个r替换为RRRR:

[root@svr5 ~]# echo  ${SCHOOL/r/RRRR}
TaRRRRena IT Group.

2）替换所有子串

格式：${var//old/new}

将SCHOOL字符串中的全部r都替换为RRRR:

[root@svr5 ~]# echo  ${SCHOOL//r/RRRR}
TaRRRRena IT GRRRRoup.

步骤三：字符串的匹配删除

以处理系统默认的邮箱路径为例，可直接使用环境变量MAIL：

[root@svr5 ~]# echo $MAIL
/var/spool/mail/root

1）从左向右，最短匹配删除

格式：${变量名#*关键词}

删除从左侧第1个字符到最近的关键词“oo”的部分，* 做通配符理解：

[root@svr5 ~]# echo ${MAIL#*oo}
l/mail/root

删除从左侧第1个字符到最近的关键词“/”的部分：

[root@svr5 ~]# echo ${MAIL#*/}
var/spool/mail/root

[root@localhost test]# a=18518516128
[root@localhost test]# echo ${#a} //#号在最前面是统计总个数
11

2）从左向右，最长匹配删除

格式：${变量名##*关键词}

删除从左侧第1个字符到最远的关键词“oo”的部分：

[root@svr5 ~]# echo $MAIL                      //确认变量MAIL的值
/var/spool/mail/root
[root@svr5 ~]# echo ${MAIL##*oo}
t

删除从左侧第1个字符到最远的关键词“/”的部分：

[root@svr5 ~]# echo ${MAIL##*/}
root

操做 ${MAIL##*/} 的效果与使用basename命令提取基本名称的效果相同：

[root@svr5 ~]# basename $MAIL
root

3）从右向左，最短匹配删除

格式：${变量名%关键词*}

删除从右侧最后1个字符到往左最近的关键词“oo”的部分，* 作通配符理解：

[root@svr5 ~]# echo $MAIL                      //确认变量MAIL的值
[root@svr5 ~]# echo ${MAIL%oo*}
/var/spool/mail/r

删除从右侧最后1个字符到往左最近的关键词“/”的部分：

[root@svr5 ~]# echo ${MAIL%/*}
/var/spool/mail

操做 ${MAIL%/*} 的效果与使用dirname命令提取目录名称的效果相同：

[root@svr5 ~]# dirname $MAIL
/var/spool/mail

4）从右向左，最长匹配删除

格式：${变量名%%关键词*}

删除从右侧最后1个字符到往左最远的关键词“oo”的部分：

[root@svr5 ~]# echo $MAIL                      //确认变量MAIL的值
/var/spool/mail/root
root@svr5 ~]# echo ${MAIL%%oo*}
/var/sp

删除从右侧最后1个字符到往左最远的关键词“/”的部分（删没了）：

[root@svr5 ~]# echo ${MAIL%%/*}
[root@svr5 ~]#

步骤四：编写renfilex.sh脚本

1）验证原始更名脚本renfile.sh的效果

脚本用途为：批量修改当前目录下的文件扩展名，将.doc改成.txt。

脚本内容参考以下：

[root@svr5 ~]# vim renfile.sh
#!/bin/bash
for FILE in *.doc
do
    mv $FILE  ${FILE%.doc}.txt
done
[root@svr5 ~]# chmod +x renfile.sh

建立一个测试用的文件夹rendir，并在其下建几个测试文件

[root@svr5 ~]# mkdir rendir
[root@svr5 ~]# cd rendir
[root@svr5 rendir]# touch file1.doc abcde.doc xxyyzz.doc other1.xls killbill.mp4
[root@svr5 rendir]# ls
abcde.doc  file1.doc  killbill.mp4  other1.xls  xxyyzz.doc

调用renfile.sh脚本，查看修改结果（原来扩展名为.doc的文件，其扩展名都变成了.txt）：

[root@svr5 rendir]# ../renfile.sh
[root@svr5 rendir]# ls
abcde.txt  file1.txt  killbill.mp4  other1.xls  xxyyzz.txt

2）创建改进版脚本renfilex.sh

要适应不一样扩展名文件的修改，并可以反向还原。

修改前的扩展名、修改后的扩展名经过位置变量 $一、$2提供。

改进的脚本编写参考以下：

[root@svr5 rendir]# cp ../renfile.sh ../renfilex.sh
[root@svr5 rendir]# vim ../renfilex.sh
#!/bin/bash
for FILE in "$1"
do
    mv $FILE ${FILE%$1}"$2"
done

3）验证、测试改进后的脚本

将 *.doc文件的扩展名改成.txt：

[root@svr5 rendir]# ls                              //修改前
abcde.txt  file1.txt  killbill.mp4  other1.xls  xxyyzz.txt
[root@svr5 rendir]# ../renfilex.sh .txt .doc
[root@svr5 rendir]# ls                              //修改后
abcde.doc  file1.doc  killbill.mp4  other1.xls  xxyyzz.doc

将 *.mp4文件的扩展名改成.mkv：

[root@svr5 rendir]# ls                              //修改前
abcde.doc  file1.doc  killbill.mp4  other1.xls  xxyyzz.doc
[root@svr5 rendir]# ../renfilex.sh .mp4 .mkv
[root@svr5 rendir]# ls                              //修改后
abcde.doc  file1.doc  killbill.mkv  other1.xls  xxyyzz.doc

2 案例2：字符串初值的处理
2.1 问题

本案例要求编写一个脚本sumx.sh，求从1-x的和，相关要求以下：

从键盘读入x值
当用户未输入任何值时，默认按1计算

2.2 方案
2.3 步骤

实现此案例须要按照以下步骤进行。

步骤一：认识字符串初值的最多见处理方法

1）只取值，${var:-word}

若变量var已存在且非Null，则返回 $var 的值；不然返回字串“word”，原变量var的值不受影响。

变量值已存在的状况：

[root@svr5 ~]# echo $SCHOOL              //查看原变量值
Tarena IT Group.
[root@svr5 ~]# echo ${SCHOOL:-Tarena}      //因SCHOOL已存在，输出变量SCHOOL的值
Tarena IT Group.
[root@svr5 ~]# echo $SCHOOL              //原变量的值并不改变
Tarena IT Group.

变量值不存在的状况：

[root@svr5 ~]# unset SCHOOL              //清除SCHOOL变量
[root@svr5 ~]# echo ${SCHOOL:-Tarena}      //因SCHOOL已不存在，输出“Tarena”
Tarena
[root@svr5 ~]# echo $SCHOOL              //变量SCHOOL仍然不存在
[root@svr5 ~]#

2）取值+赋值，${var:=word}

若变量var已存在且非Null，则返回 $var 的值，原变量值不变；不然返回字串“word”，并将此字串赋值给变量 var。

变量值不存在的状况：

[root@svr5 ~]# echo $SCHOOL              //前面已将此变量清除
[root@svr5 ~]# echo ${SCHOOL:=Tarena}      //因SCHOOL不存在，输出“Tarena”
Tarena
[root@svr5 ~]# echo $SCHOOL              //且将“Tarena”赋值给变量SCHOOL
Tarena

变量值已存在的状况：

[root@svr5 ~]# echo $SCHOOL              //确认当前的变量值
Tarena
[root@svr5 ~]# echo ${SCHOOL:=Tarena IT Group.}  //变量已存在，输出其值
Tarena
[root@svr5 ~]# echo $SCHOOL              //原变量的值也不受影响
Tarena

步骤二：编写sumx.sh脚本，处理read输入的初值

用来从键盘读入一个正整数x，求从1到x的和；当用户未输入值（直接回车）时，为了不执行出错，应为x赋初值1 。

1）脚本编写参考以下

[root@svr5 ~]# vim sumx.sh
#!/bin/bash
read -p "请输入一个正整数：" x
x=${x:-1}
i=1; SUM=0
while [ $i -le $x ]
do
    let SUM+=i
    let i++
done
echo "从1到$x的总和是：$SUM"
[root@svr5 ~]# chmod +x sumx.sh

2）验证、测试脚本执行效果：

[root@svr5 ~]# ./sumx.sh
请输入一个正整数：25                          //输入25，正常读入并计算、输出结果
从1到25的总和是：325
[root@svr5 ~]# ./sumx.sh
请输入一个正整数：70                         //输入70，正常读入并计算、输出结果
从1到70的总和是：2485
[root@svr5 ~]# ./sumx.sh
请输入一个正整数：                          //直接回车，设x=1后计算、输出结果
从1到1的总和是：1

3 案例3：使用Shell数组
3.1 问题

本案例要求编写一个Shell脚本getips.sh，相关要求以下：

可以反复从键盘输入IP地址，保存到数组
当用户输入“EOF”后结束输入，显示数组IPADDS各元素的值
最后报告本次录入的IP地址个数、其中第1个录入的地址

3.2 方案

创建数组的方法：

格式1，总体赋值：数组名=(值1 值2 .. .. 值n)
格式2，单个元素赋值：数组名[下标]=值

查看数组元素的方法：

获取单个数组元素：${数组名[下标]}
获取全部数组元素：${数组名[@]}
获取数组元素个数：${#数组名[@]}
获取连续的多个数组元素：${数组名[@]:起始下标:元素个数}
获取某个数组元素的长度：${#数组名[下标]}
截取数组元素值的一部分：${数组名[下标]:起始下标:字符数}

3.3 步骤

实现此案例须要按照以下步骤进行。

步骤一：认识数组的赋值/引用基本方法

1）定义/赋值数组

使用declare命令，结合-a选项可声明一个数组（这个操做通常可不作），好比：

[root@svr5 ~]# declare -a SVRS

直接执行declare -a，即不指定数组名参数时，会列出当前Shell环境中已定义的全部数组设置：

[root@svr5 ~]# declare -a                  //查看已定义的数组
declare -a BASH_ARGC='()'
declare -a BASH_ARGV='()'
declare -a BASH_LINENO='()'
declare -a BASH_SOURCE='()'
… …

若要定义数组的成员，能够在declare声明时定义，也能够直接总体定义。总体赋值的格式为“数组名=(值1 值2 值3 .. ..)”，好比：

[root@svr5 ~]# MY_SVRS=(www ftp mail club)
[root@svr5 ~]# set | grep "MY_"              //查看数组定义结果
MY_SVRS=([0]="www" [1]="ftp" [2]="mail" [3]="club")

Shell中的语法要求是比较松散的，因此咱们也能够直接为单个数组元素赋值，格式为“数组名[下标]=值”，每一个数组元素的编号（即下标）从0开始。好比，如下操做会产生一个包括3个元素的数组：

[root@svr5 ~]# WEB_SVRS[0]="www.tarena.com"          //为第1个元素赋值
[root@svr5 ~]# WEB_SVRS[1]="mail.tarena.com"          //为第2个元素赋值
[root@svr5 ~]# WEB_SVRS[2]="club.tarena.com"          //为第3个元素赋值
[root@svr5 ~]# set | grep "WEB_"                  //查看数组定义
WEB_SVRS=([0]="www.tarena.com" [1]="mail.tarena.com" 
[2]="club.tarena.com")

为数组元素赋值时，并不要求每一个成员都须要指定，下标也能够不连续。好比，可跳过下标3，直接为下标为4的元素赋值：

[root@svr5 ~]# WEB_SVRS[4]="tts6.tarena.com"
[root@svr5 ~]# set | grep "WEB_"                  //确认设置结果
WEB_SVRS=([0]="www.tarena.com" [1]="mail.tarena.com" [2]="club.tarena.com" [4]="tts6.tarena.com")

2）查看数组、查看数组元素

输出整个数组的内容：

[root@svr5 ~]# echo ${MY_SVRS[@]}
www ftp mail club

查看第1个（下标为0的）数组元素：

[root@svr5 ~]# echo ${MY_SVRS[0]}
www

输出下标为2的数组元素：

[root@svr5 ~]# echo ${MY_SVRS[2]}
mail

输出数组中下标从1开始的2个元素：

[root@svr5 ~]# echo ${MY_SVRS[@]:1:2}
ftp mail

查看数组的元素个数：

[root@svr5 ~]# echo ${#MY_SVRS[@]}
4
[root@svr5 ~]# echo ${#WEB_SVRS[@]}
4

步骤二：编写getips.sh脚本

1）任务需求及思路分析

使用read命令从键盘读入用户指定的IP地址，每次读入一个。

由于须要读屡次，直到输入“EOF”时结束，因此可采用while循环结构，循环条件为输入的字符串不为“EOF”。

要求用数组保存每次输入的IP地址，那确定从下标为0的元素开始存放，赋值操做放在循环体内，下标的递增经过一个变量i控制。

遇“EOF”结束while循环后，输出整个数组的内容，并显示数组元素的个数、第1个录入的IP地址。

2）根据实现思路编写脚本文件

[root@svr5 ~]# vim getips.sh
#!/bin/bash
i=0                                                  //控制下标增加的变量
while :
do
    read -p "请添加IP地址（输EOF结束）："   IP
    [ $IP == "EOF" ] &&break
    IPADDS[$i]="$IP"                              //每次录入赋值给不一样的数组元素
    let i++
done
echo "您已录入的IP地址以下："
echo ${IPADDS[@]}                                  //输出整个数组
echo "总共包括 ${#IPADDS[@]} 个地址，"                  //报告数组元素的个数
echo "其中第1个IP地址是：${IPADDS[0]}"              //输出第1个元素
[root@svr5 ~]# chmod +x getips.sh

3）验证、测试脚本

[root@svr5 ~]# ./getips.sh
请添加IP地址（输EOF结束）：192.168.4.77
请添加IP地址（输EOF结束）：172.16.16.220
请添加IP地址（输EOF结束）：218.56.57.58
请添加IP地址（输EOF结束）：192.168.1.5
请添加IP地址（输EOF结束）：192.168.1.202
请添加IP地址（输EOF结束）：220.106.0.20
请添加IP地址（输EOF结束）：EOF
您已录入的IP地址以下：
192.168.4.77 172.16.16.220 218.56.57.58 192.168.1.5 192.168.1.202 220.106.0.20
总共包括 6 个地址，
其中第1个IP地址是：192.168.4.77

4 案例4：expect预期交互
4.1 问题

本案例要求编写一个expect脚本，实现SSH登陆的自动交互：

提早准备好目标主机，IP地址为192.168.4.5
用户名为mike、密码为1234567
执行脚本后自动登入，而且在目标主机创建测试文件 /tmp/mike.txt

4.2 方案

expect能够为交互式过程（好比FTP、SSH等登陆过程）自动输送预先准备的文本或指令，而无需人工干预。触发的依据是预期会出现的特征提示文本。

常见的expect指令：

定义环境变量：set 变量名 变量值
建立交互式进程：spawn 交互式命令行
触发预期交互：expect "预期会出现的文本关键词:" { send "发送的文本\r" }
在spawn创建的进程中容许交互指令：interact

4.3 步骤

实现此案例须要按照以下步骤进行。

步骤一：准备expect及SSH测试环境

1）安装expect工具

[root@svr5 ~]# yum  -y  install  expect                  //安装expect
.. ..
Installed:
  expect.x86_64 0:5.44.1.15-5.el6_4                                                            
Dependency Installed:
  tcl.x86_64 1:8.5.7-6.el6 
[root@svr5 ~]# which expect                              //确认expect路径
/usr/bin/expect

步骤二：编写expect_ssh脚本，实现免交互登陆

1）任务需求及思路分析

在SSH登陆过程当中，若是是第一次链接到该目标主机，则首先会被要求接受密钥，而后才提示输入密码：

[root@svr5 ~]# ssh mike@192.168.4.5                              //链接目标主机
The authenticity of host '192.168.4.5 (192.168.4.5)' can't be established.
RSA key fingerprint is 58:a0:d6:00:c7:f1:34:5d:6c:6d:70:ce:e0:20:f8:f3.
Are you sure you want to continue connecting (yes/no)? yes          //接受密钥
Warning: Permanently added '192.168.4.5' (RSA) to the list of known hosts.
mike@192.168.4.5's password:                                   //验证密码
Last login: Thu May  7 22:05:44 2015 from 192.168.4.5
[mike@svr5 ~]$ exit                                             //返回客户端
logout
Connection to 192.168.4.5 closed.

固然，若是SSH登陆并非第一次，则接受密钥的环节就没有了，而是直接进入验证密码的过程：

[root@svr5 ~]# ssh mike@192.168.4.5                              //链接目标主机
mike@192.168.4.5's password:                                   //验证密码
Last login: Mon May 11 12:02:39 2015 from 192.168.4.5
[mike@svr5 ~]$ exit                                             //返回客户端
logout
Connection to 192.168.4.5 closed.

2）根据实现思路编写脚本文件

脚本内容参考以下：

[root@svr5 ~]# vim  expect_ssh.sh 
#!/usr/bin/expect
set host 192.168.4.5                              #//定义变量
set user mike
set password "1234567"
spawn ssh $user@$host                          #//建立交互式进程
expect "password:" { send "$password\r" }          #//自动发送密码
expect "\[$user\@" { send "pwd > /tmp/$user.txt ; exit\r" }
                                              #//发送交互式命令
interact                                      #//容许交互式环境
[root@svr5 ~]# chmod  +x  expect_ssh.sh

3）验证、测试脚本

执行脚本前，目标主机上并无/tmp/mike.txt文件：

[root@svr5 ~]# ls /tmp/mike.txt
ls: 没法访问/tmp/mike.txt: 没有那个文件或目录

执行expect_ssh.sh自动登陆脚本：

[root@svr5 ~]# ./expect_ssh.sh 
spawn ssh mike@192.168.4.5
mike@192.168.4.5's password: 
Last login: Mon May 11 12:08:47 2015 from 192.168.4.5
pwd > /tmp/mike.txt ; exit
[mike@svr5 ~]$ pwd > /tmp/mike.txt ; exit
logout
Connection to 192.168.4.5 closed.

再次检查目标主机，会看到已经创建了/tmp/mike.txt文件，说明expect自动登陆并远程执行命令成功：

[root@svr5 ~]# ls -l /tmp/mike.txt 
-rw-rw-r--. 1 mike mike 11 5月  11 12:17 /tmp/mike.txt

5 案例5：使用正则表达式
5.1 问题

本案例要求熟悉正则表达式的编写，完成如下任务：

利用egrep工具练习正则表达式的基本用法
提取出httpd.conf文件的有效配置行
编写正则表达式，分别匹配MAC地址、E-Mail邮箱地址、IP地址、主机名

5.2 方案

表－1 基本正则列表

表－1 扩展正则列表
5.3 步骤

实现此案例须要按照以下步骤进行。

步骤一：正则表达式匹配练习

1）典型的应用场合：grep、egrep检索文本行

使用不带-E选项的grep命令时，支持基本正则匹配模式。好比“word”关键词检索、“^word”匹配以word开头的行、“word$”匹配以word结尾的行……等等。

输出以“r”开头的用户记录：

[root@svr5 ~]# grep '^r' /etc/passwd
root:x:0:0:root:/root:/bin/bash
rpc:x:32:32:Portmapper RPC user:/:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

输出以“localhost”结尾的行：

[root@svr5 ~]# grep 'localhost$' /etc/hosts
127.0.0.1               localhost.localdomain localhost

若但愿在grep检索式同时组合多个条件，好比输出以“root”或者以“daemon”开头的行，这时候基本正则就不太方便了（“或者”必须转义为“|”）：

[root@svr5 ~]# grep '^root|^daemon' /etc/passwd          //搜索无结果
[root@svr5 ~]#
[root@svr5 ~]# grep '^root\|^daemon' /etc/passwd          //正确得到结果
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin

而若若使用grep -E或egrep命令，可支持扩展正则匹配模式，可以自动识别 |、{ 等正则表达式中的特殊字符，用起来更加方便，好比：

[root@svr5 ~]# grep -E '^root|^daemon' /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin

或者

[root@svr5 ~]# egrep '^root|^daemon' /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin

使用grep -E 与 使用egrep命令彻底等效，推荐使用后者，特别是涉及到复杂的正则表达式的时候。

2）grep、egrep命令的-q选项

选项 -q 表示 quiet（静默）的意思，结合此选项能够只作检索而并不输出，一般在脚本内用来识别查找的目标是否存在，经过返回状态 $? 来判断，这样能够忽略无关的文本信息，简化脚本输出。

好比，检查/etc/hosts文件内是否存在192.168.4.4的映射记录，若是存在则显示“YES”，不然输出“NO”，通常会执行：

[root@svr5 ~]# grep '^192.168.4.4' /etc/hosts && echo "YES" || echo "NO"
192.168.4.4     svr5.tarena.com svr5
YES

这样grep的输出信息和脚本判断后的提示混杂在一块儿，用户不易辨别，因此能够改为如下操做：

[root@svr5 ~]# grep -q '^192.168.4.4' /etc/hosts && echo "YES" || echo "NO"
YES

是否是清爽多了，从上述结果也能够看到，使用 -q 选项的效果与使用 &> /dev/null的效果相似。

3）基本元字符 ^、$ —— 匹配行首、行尾

输出默认运行级别的配置记录（以id开头的行）：

[root@svr5 ~]# egrep '^id' /etc/inittab
id:3:initdefault:

输出主机名配置记录（以HOSTNAME开头的行）：

[root@svr5 ~]# egrep '^HOSTNAME' /etc/sysconfig/network
HOSTNAME=svr5.tarena.com

统计本地用户中登陆Shell为“/sbin/nologin”的用户个数：

[root@svr5 ~]# egrep -m10 '/sbin/nologin$' /etc/passwd  //先确认匹配正确
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@svr5 ~]# egrep -c '/sbin/nologin$' /etc/passwd
32                                      //结合 -c 选项输出匹配的行数

使用 -c 选项可输出匹配行数，这与经过管道再 wc -l的效果是相同的，可是写法更简便。好比，统计使用“/bin/bash”做为登陆Shell的正经常使用户个数，可执行：

[root@svr5 ~]# egrep -c '/bin/bash$' /etc/passwd
26

或者

[root@svr5 ~]# egrep '/bin/bash$' /etc/passwd | wc -l
26

4）基本元字符 . —— 匹配任意单个字符

以/etc/rc.local文件为例，确认文本内容：

[root@svr5 ~]# cat /etc/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
touch /var/lock/subsys/local

输出/etc/rc.local文件内至少包括一个字符（\n换行符除外）的行，即非空行：

[root@svr5 ~]# egrep '.' /etc/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
touch /var/lock/subsys/local

输出/etc/rc.local文件内的空行（用 –v 选项将条件取反）：

[root@svr5 ~]# egrep -v '.' /etc/rc.local
[root@svr5 ~]#

上述取空行的操做与下列操做效果相同：

[root@svr5 ~]# egrep '^$' /etc/rc.local
[root@svr5 ~]#

5）基本元字符 +、?、* —— 目标出现的次数

还以/etc/rc.local文件为例：

[root@svr5 ~]# cat /etc/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
touch /var/lock/subsys/local

输出包括 f、ff、ff、……的行，即“f”至少出现一次：

[root@svr5 ~]# egrep 'f+' /etc/rc.local
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

输出包括init、initial的行，即末尾的“ial”最多出现一次（可能没有）：

[root@svr5 ~]# egrep 'init(ial)?' /etc/rc.local
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

输出包括stu、stuf、stuff、stufff、……的行，即末尾的“f”可出现任意屡次，也能够没有。重复目标只有一个字符时，能够不使用括号：

[root@svr5 ~]# egrep 'stuf*' /etc/rc.local
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

输出全部行，单独的“.*”可匹配任意行（包括空行）：

[root@svr5 ~]# egrep '.*' /etc/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
touch /var/lock/subsys/local

输出/etc/passwd文件内“r”开头且以“nologin”结尾的用户记录，即中间能够是任意字符：

[root@svr5 ~]# egrep '^r.*nologin$' /etc/passwd
rpc:x:32:32:Portmapper RPC user:/:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

6）元字符 {} —— 限定出现的次数范围

建立一个练习用的测试文件：

[root@svr5 ~]# vim brace.txt
ab def ghi abdr
dedef abab ghighi
abcab CD-ROM
TARENA IT GROUP
cdcd ababab
Hello abababab World

输出包括ababab的行，即“ab”连续出现3次：

[root@svr5 ~]# egrep '(ab){3}' brace.txt
cdcd ababab
Hello abababab World

输出包括abab、ababab、abababab的行，即“ab”连续出现2~4次：

[root@svr5 ~]# egrep '(ab){2,4}' brace.txt
dedef abab ghighi
cdcd ababab
Hello abababab World

输出包括ababab、abababab、……的行，即“ab”最少连续出现3次：

[root@svr5 ~]# egrep '(ab){3,}' brace.txt
cdcd ababab
Hello abababab World

7）元字符 [] —— 匹配范围内的单个字符

还之前面的测试文件bracet.txt为例：

[root@svr5 ~]# cat brace.txt
ab def ghi abdr
dedef abab ghighi
abcab CD-ROM
TARENA IT GROUP
cdcd ababab
Hello abababab World

输出包括abc、abd的行，即前两个字符为“ab”，第三个字符只要是c、d中的一个就符合条件：

[root@svr5 ~]# egrep 'ab[cd]' brace.txt
ab def ghi abdr
abcab CD-ROM

输出包括大写字母的行，使用[A-Z]匹配连续范围：

[root@svr5 ~]# egrep '[A-Z]' brace.txt
abcab CD-ROM
TARENA IT GROUP
Hello abababab World

输出包括“非空格也非小写字母”的其余字符的行，本例中大写字母和 – 符合要求：

[root@svr5 ~]# egrep '[^ a-zA-Z]' brace.txt
abcab CD-ROM

8）单词边界匹配

以文件/etc/rc.local为例：

[root@svr5 ~]# cat /etc/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
touch /var/lock/subsys/local

输出包括单词“init”的行，文件中“initialization”不合要求：

[root@svr5 ~]# egrep '\binit\b' /etc/rc.local
# This script will be executed *after* all the other init scripts.
# want to do the full Sys V style init stuff.

或者：

[root@svr5 ~]# egrep '\<init\>' /etc/rc.local
# This script will be executed *after* all the other init scripts.
# want to do the full Sys V style init stuff.

输出包括以“ll”结尾的单词的行，使用 \> 匹配单词右边界：

[root@svr5 ~]# egrep 'll\>' /etc/rc.local
# This script will be executed *after* all the other init scripts.
# want to do the full Sys V style init stuff.

或者：

[root@svr5 ~]# egrep 'll\b' /etc/rc.local
# This script will be executed *after* all the other init scripts.
# want to do the full Sys V style init stuff.

9）多个条件的组合

经过dmesg启动日志查看与IDE接口、CDROM光盘相关的设备信息：

[root@svr5 ~]# egrep '\<IDE\>|\<CDROM\>' /var/log/dmesg
Uniform Multi-Platform E-IDE driver Revision: 7.00alpha2
PIIX4: IDE controller at PCI slot 0000:00:07.1
Probing IDE interface ide0...
Probing IDE interface ide1...
hdc: VMware Virtual IDE CDROM Drive, ATAPI CD/DVD-ROM drive
Probing IDE interface ide0...

经过dmesg启动日志查看蓝牙设备、网卡设备相关的信息：

[root@svr5 ~]# egrep -i 'eth|network|bluetooth' /var/log/dmesg
Initalizing network drop monitor service
Bluetooth: Core ver 2.10
Bluetooth: HCI device and connection manager initialized
Bluetooth: HCI socket layer initialized
Bluetooth: HCI USB driver ver 2.9
Intel(R) PRO/1000 Network Driver - version 7.3.21-k4-3-NAPI
e1000: eth0: e1000_probe: Intel(R) PRO/1000 Network Connection

步骤二：利用正则表达式完成检索任务

1）提取出httpd.conf文件的有效配置行

以RHEL6自带的httpd软件包为例，默认的httpd.conf配置文件内提供了大量的注释信息（# 开头或空几个格再 #），以及一些分隔的空行：

[root@svr5 ~]# head  /etc/httpd/conf/httpd.conf  //确认文件内容
#
# This is the main Apache server configuration file.  It contains the
# configuration directives that give the server its instructions.
# See <URL:http://httpd.apache.org/docs/2.2/> for detailed information.
# In particular, see
# <URL:http://httpd.apache.org/docs/2.2/mod/directives.html>
# for a discussion of each configuration directive.
#
#
# Do NOT simply read the instructions in here without understanding
[root@svr5 ~]# egrep -c ".*" /etc/httpd/conf/httpd.conf
991                                              //总行数
[root@svr5 ~]# egrep -c "#" /etc/httpd/conf/httpd.conf
674                                              //含注释的行数
[root@svr5 ~]# egrep -c "^$" /etc/httpd/conf/httpd.conf
95                                                  //空行的数量

提取有效配置行，也就是说应排除掉注释行、空行，根据上面的结果可得知有效配置行的数量应该是“991-674-95=222”，确认一下：

[root@svr5 ~]# egrep -c -v '#|^$'  /etc/httpd/conf/httpd.conf
222

结合 > 重定向操做，提取httpd.conf的有效配置，将其保存到文件 httpd.conf.min，相关操做以下：

[root@svr5 ~]# egrep -v '#|^$'  /etc/httpd/conf/httpd.conf > httpd.conf.min
[root@svr5 ~]# head httpd.conf.min          //确认有效配置的前10行
ServerTokens OS
ServerRoot "/etc/httpd"
PidFile run/httpd.pid
Timeout 120
KeepAlive Off
MaxKeepAliveRequests 100
KeepAliveTimeout 15
<IfModule prefork.c>
StartServers       8
MinSpareServers    5

2）匹配MAC地址、邮箱地址、IP地址

以使用ifconfig查看的结果为例，MAC地址的特征是以“:”分隔的6组十六进制数，每组由2个字符组成，好比：

[root@svr5 ~]# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:0C:29:82:09:E9
          inet addr:192.168.4.4  Bcast:192.168.4.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe82:9e9/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:177666 errors:0 dropped:0 overruns:0 frame:0
          TX packets:101720 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:18454015 (17.5 MiB)  TX bytes:13467792 (12.8 MiB)

采用正则表达式匹配“00:0C:29:82:09:E9”形式的MAC地址，能够写成：

[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}

或者：

[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}

其中，[0-9a-fA-F]{2} 表示一段十六进制数值，第二种方式的{5}表示连续出现5组前置 : 的十六进制。

所以，若要从ifconfig eth0的输出结果中过滤出包含MAC地址值的行，能够执行如下操做：

[root@svr5 ~]# ifconfig eth0 | egrep '[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}'
eth0      Link encap:Ethernet  HWaddr 00:0C:29:82:09:E9

或者：

[root@svr5 ~]# ifconfig eth0 | egrep \
'[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}'
eth0      Link encap:Ethernet  HWaddr 00:0C:29:82:09:E9

根据上述操做结果，稍微扩展一下。利用MAC匹配条件，能够检查一个变量的值是不是合法的MAC地址。参考下列操做：

先定义三个变量：

[root@svr5 ~]# MAC01="00:50:56:C0:00:08"
[root@svr5 ~]# MAC02="20:68:9D:48:C4:98"
[root@svr5 ~]# MAC03="20:69:74:R2:C5:27"              //设一个无效地址

利用正则表达式判断出其中哪一个MAC地址是无效的：

[root@svr5 ~]# echo $MAC01 | egrep -q \
'[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}' && echo "有效" || echo "无效"
有效
[root@svr5 ~]# echo $MAC02 | egrep -q \
'[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}' && echo "有效" || echo "无效"
有效
[root@svr5 ~]# echo $MAC03 | egrep -q \
'[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}' && echo "有效" || echo "无效"
无效

3）匹配邮箱地址

电子邮箱地址的特征是“用户名@域名”，主要包括：

用户名与域名之间以 @ 分隔
用户名很多于3个字符，可能由字母、下划线、句点 . 、数字组成
域名应至少有一个 . 分隔，分隔的各部分至少2个字符，可能由字母、减号、数字组成

根据上述特色，编写的正则表达式参考以下：其中域名分隔以“.”表示，不能表示为 . ，不然会匹配任意单个字符。

[0-9a-zA-Z_.]{3,}@[0-9a-zA-Z.-]{2,}(\.[0-9a-zA-Z-]{2,})+

建立一个测试文件，添加若干行主机名、Email、域名地址：

[root@svr5 ~]# vim mailadd.txt
www.tarena.com.cn
mail.163.com
hackli@gmail.com
qq.com
www.sina.com.cn
baidu.com
root@tarena.com
bill@microsoft                          //无效的邮箱地址，用做测试
suen11_20@163.com

过滤出上述文件中包含有效Email地址的行：

[root@svr5 ~]# egrep '[0-9a-zA-Z_.]{3,}@\
[0-9a-zA-Z.-]{2,}(\.[0-9a-zA-Z-]{2,})+' mailadd.txt
hackli@gmail.com
root@tarena.com.cn
suen11_20@163.com

4）匹配主机名

以FQDN（完整主机名）为例，描述其特色：

由 . 分隔，至少包括3组字符串
每组字符串很多于2个字符，可能由字母、减号、数字、下划线组成
主机名后必须是单词边界，主机名前不能有@符号

编写正则表达式参考以下:

^[^@][0-9a-zA-Z_-]{2,}(\.[0-9a-zA-Z_-]{2,}){2,}\>

之前面的mailadd.txt文件为例，过滤测试以下所示：

[root@svr5 ~]# egrep '^[^@][0-9a-zA-Z_-]{2,}(\.[0-9a-zA-Z_-]{2,}){2,}\>' \
 mailadd.txt
www.tarena.com.cn
mail.163.com
www.sina.com.cn

5）匹配IP地址

概括合法IP地址的特色：

以 . 分隔，一共由四组十进制数构成
每组数值的范围为0-255，字符宽度为1-3位
先后必须是单词边界

编写正则表达式参考以下：

\<[0-9]{1,3}(\.[0-9]{1,3}){3}\>

以过滤出ifconfig命令输出结果中包含IP地址的行为例，过滤测试以下所示：

[root@svr5 ~]# ifconfig              //确认原始信息
eth0      Link encap:Ethernet  HWaddr 00:0C:29:82:09:E9
          inet addr:192.168.4.5  Bcast:192.168.4.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe82:9e9/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:182773 errors:0 dropped:0 overruns:0 frame:0
          TX packets:104834 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:18913180 (18.0 MiB)  TX bytes:13855676 (13.2 MiB)
lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:838 errors:0 dropped:0 overruns:0 frame:0
          TX packets:838 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:93855 (91.6 KiB)  TX bytes:93855 (91.6 KiB)
[root@svr5 ~]# ifconfig | egrep '\<[0-9]{1,3}(\.[0-9]{1,3}){3}\>'
          inet addr:192.168.4.4  Bcast:192.168.4.255  Mask:255.255.255.0
          inet addr:127.0.0.1  Mask:255.0.0.0