Shell从入门到精通

熟悉基本shell操做不只是运维的基本功，对于开发来讲也是多多益善，我在学习的过程当中，总结了十个练手的小demo，并附上涉及的知识点，仅供娱乐。

---

1. 多线程ping监控，检查同一网段的IP是否连通

• Linux 系统中有一个特殊的设备/dev/null，这是一个黑洞。不管往该文件中写入多少数据，都会被系统吞噬、丢弃。若是有些输出信息是咱们再也不须要的， 则可使用重定向将输出信息导入该设备文件中。注意：数据一旦导入黑洞将没法找回。
• 重定向: > 是覆盖重定向, >> 是累加剧定向
• $0 这个程式的执行名字
  $n 这个程式的第n个参数值，n=1..9
  $* 这个程式的全部参数,此选项参数可超过9个。
  $# 这个程式的参数个数
  $$ 这个程式的PID(脚本运行的当前进程ID号)
  $! 执行上一个背景指令的PID(后台运行的最后一个进程的进程ID号)
  $? 执行上一个指令的返回值 (显示最后命令的退出状态。0表示没有错误，其余任何值代表有错误)
  $- 显示shell使用的当前选项，与set命令功能相同
  $@ 跟$*相似，可是能够看成数组用

• &  表示任务在后台执行，如要在后台运行redis-server,则有  redis-server &
  && 表示前一条命令执行成功时，才执行后一条命令 ，如 echo '1‘ && echo '2'
  | 表示管道，上一条命令的输出，做为下一条命令参数，如 echo 'yes' | wc -l
  || 表示上一条命令执行失败后，才执行下一条命令，如 cat nofile || echo "fail"

• ping 命令语法

  ping [-dfnqrRv][-c<完成次数>][-i<间隔秒数>][-I<网络界面>][-l<前置载入>][-p<范本样式>][-s<数据包大小>][-t<存活数值>][主机名称或IP地址]

#!/bin/bash
#使用&开启后台进程
net="101.200.35"

mult_ping() {
        ping -c2 -i0.2 -W1 $1 &>/dev/null
        if [ $? -eq 0 ];then
                echo "$1 is up"
        else
                echo "$1 is down"
        fi
}

for i in {0..255}
do
        mult_ping $net.$i &
done
wait

2.进度条功能显示

• 常见系统预设变量
  

#!/bin/bash

trap 'kill $!' INT
# 定义宽度为50的进度条
# 输出完成后将/r光标切换到行首，准备下一次进度条显示
bar () {
        while :
                pound=""
                for ((i = 47; i>=1; i-- ))
                do      
                        pound += #
                        printf "|%s%${i}s|\r" "$pound"
                        sleep 0.2
                done    
                
        }       
        
# 调用函数，显示进度符号，直到复制结束kill进度函数
bar &
cp -r $1 $2
kill $!
echo "复制结束"

3. Linux建立进程的三种方式

1. fork
   一般状况下在系统中经过相对路径或绝对路径执行一个命令时，都会由父进程开启一个子进程，当子进程结束后再返回父进程，这种行为过程就叫做fork。当脚本中正常调用一个外部命令 1或其余脚本时，都会fork一个子Shell进程，咱们的命令会运行在这个子Shell中。
2. exec
   使用 exec 方式调用其余命令或脚本时，系统不会开启子进程，而是使用新的程序替换当前的 Shell 环境，由于当前 Shell 环境被替换了，因此当 exec 调用的程序结束后，当前环境会被关闭。可是有一个特例，当 exec 后面的参数是文件重定向时，不会替换当前 Shell 环境，脚本后续的其余命令也不会受到任何影响。
3. source或 . （点）
   使用 source 命令或.（点）能够不开启子 Shell，而在当前 Shell 环境中将须要执行的命令加载进来，执行完加载的命令后，继续执行脚本中后续的指令。

分析工具：pstree 进程树

4. 控制进程数量——文件描述符和命名管道

文件描述符

文件描述符是一个非负整数，而内核须要经过这个文件描述符才能够访问文件。当咱们在系统中打开已有的文件或新建文件时，内核每次都会给特定的进程返回一个文件描述符，当进程须要对文件进行读或写操做时，都要依赖这个文件描述符进行。文件描述符就像一本书的目录页数（也叫索引），经过这个索引能够找到须要的内容。在 Linux 或类 UNIX系统中内核默认会为每一个进程建立三个标准的文件描述符，分别是 0（标准输入）、 1（标准输出）和 2（标准错误）。经过查看/proc/PID 号/fd/目录下的文件，就能够查看每一个进程拥有的全部文件描述符。

建立文件描述符：

exec 文件描述符 <> 文件名

调用文件描述符语法格式：

&文件描述符

关闭文件描述符：

exec 文件描述符<&-
exec 文件描述符>&-

命名管道

管道是进程间通讯的一种方式，匿名管道，使用|符号就能够建立一个匿名管道，顾名思义，系统会自动建立一个能够读写数据的管道，可是这个管道并无名称。一个程序往管道中写数据，另外一个程序就能够从管道中读取数据。可是匿名管道仅能够实现父进程与子进程之间的数据交换，能不能实现任意两个无关的进程之间的通讯呢？答案是确定的，使用命名管道，也叫FIFO1文件。

命名管道的特征：

•  FIFO 文件由命令建立（mknod 或 mkfifo 命令），能够在文件系统中直接看到。
• 写入管道的数据一旦被读取后，就不能够再重复读取。
• 进程往命名管道中写数据时，若是没有其余进程读取数据，则写进程会被阻塞。
• 进程尝试从命名管道中读取数据时，若是管道中没有数据，则读进程会被阻塞。
• 命名管道中的数据常驻内存，并不实际写入磁盘，读写效率会更高。

5. 可任意控制进程数量的多线程ping

第一个demo中，经过 & 开启任意数量线程进行ping，可是这里的线程不可控。咱们用上面的文件描述符和命名管道的知识，写一段可控的多线程ping。

#!/bin/bash
  
pipefile=/tmp/procs_$$.temp
num=10
net="101.200.35"

multi_ping() {
        ping -c2 -i0.2 -W1 $1 &>/dev/null
        if [ $? -eq 0 ];then
                echo "$1 is up"
        else
                echo "$1 is down"
        fi
}
# 建立命名管道文件，建立其文件描述符，经过重定向将数据导入管道文件
mkfifo $pipefile
exec 12<>$pipefile
for i in `seq $num`
do
        echo "" >&12 &
done
# 成功读取命名管道中的数据后开启新的进程
# 全部内容读取完以后read被阻塞，没法再启动新的进程
# 等待前面启动的线程结束后，继续往管道文件中写入数据，释放阻塞，再次开启新的线程
for j in {1..254}
do
        read -u12
        {
                multi_ping $net.$j
                echo "" >&12
        } &
done
wait
rm -rf $pipfile

6. sed爬虫批量下载美女图片

• sed命令汇总
  
  
  
  
  
• sed 是逐行处理软件，咱们可能仅输入了一条 sed 指令，但系统会将该指令应用在全部匹配的数据行上，所以相同的指令会被反复执行 N 次，这取决于匹配到的数据有几行。
• 默认 sed 不支持扩展正则，若是但愿使用扩展正则匹配数据，可使用-r 参数。
• sed 程序使用=指令能够显示行号，结合条件匹配，能够显示特定数据行的行号。
• 在 sed 中支持使用感叹号（！）对匹配的条件进行取反操做。

下载思路：用curl获取网站源代码+sed数据清洗获取图片地址+wget下载保存

#!/bin/bash
# 爬取美女图片

# 定义要爬取的网站和保存的文件
page="https://tieba.baidu.com/p/4420470629"
URL="beau.txt"
# 将网站源代码保存到文件中
curl -s https://tieba.baidu.com/p/4420470629 > $URL
# 对源代码数据过滤清洗，获取种子的URL连接
echo -e "\033[32m 正在获取种子 URL,请稍后...\033[0m"
sed -i '/<img/!d' $URL #删除不包含<img 的行
sed -i 's/.*src="//' $URL #删除 src="及其前面的全部内容
sed -i 's/".*//' $URL #删除双引号及其后面的全部内容
echo

#利用循环批量下载全部图片数据
#wget 为下载工具,其参数选项描述以下：
# -P 指定将数据下载到特定目录(prefix)
# -c 支持断点续传(continue)
# -q 不显示下载过程(quiet)
echo -e "\033[32m 正在批量下载种子数据,请稍后...\033[0m"
for i in $(cat $URL)
do
        wget -P tempPhoto/ -c $i
done

这种知识最基本的爬虫，对于反爬虫的网站就嗝屁了，对于那种异步加载的也没办法，总之，就是比较弱。

7. sed随机点名器

作一个互联网大佬的随机点名器

#!/bin/bash
#按 Ctrl+C 组合键时:恢复光标,恢复终端属性,清屏,退出脚本
#防止程序意外中断致使的终端混乱
trap 'tput cnorm;stty $save_property;clear;exit' 2
#定义变量:人员列表文件名,文件的行数,屏幕的行数,屏幕的列数
name_file="name.txt"
line_file=$(sed -n '$=' $name_file)
line_screen=`tput lines`
column_screen=`tput cols`
#设置终端属性
save_property=$(stty -g) #保存当前终端全部属性
tput civis #关闭光标
#随机抽取一我的名(随机点名)
while :
do
        tmp=$(sed -n "$[RANDOM%line_file+1]p" $name_file)
        #随机获取文件的某一行人名
        tput clear #清屏
        tput cup $[line_screen/4] $[column_screen/4]
        echo -e "\033[3;5H 随机点名器(按 P 中止): "
        echo -e "\033[4;5H#############################"
        echo -e "\033[5;5H# #"
        echo -e "\033[6;5H#\t\t$tmp\t\t#"
        echo -e "\033[7;5H# #"
        echo -e "\033[8;5H#############################"
        sleep 0.1
        stty -echo
        read -n1 -t0.1 input
        if [[ $input == "p" || $input == "P" ]];then
                break
        fi
done
tput cnorm #恢复光标
stty $save_property #恢复终端属性

8.系统性能监控脚本

• awk语法格式
  
• awk变量
  
• awk条件匹配
  
• awk 能够经过-v（variable） 选项设置或者修改变量的值，咱们可使用-v 定义新的变量，也可使用该选项修改内置变量的值。
• 使用[]定义分隔符集合，同时设置多个分隔符。好比使用[:,-]表示以冒号（：）、逗号（，）或者横线（-）为分隔符

• [-F|-f|-v]   大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value

 

9.监控网络链接状态

• ss语法格式
  

#!/bin/bash
# 监控网络链接状态
#全部 TCP 链接的个数
TCP_Total=$(ss -s | awk '$1=="TCP"{print $2}')
#全部 UDP 链接的个数
UDP_Total=$(ss -s | awk '$1=="UDP"{print $2}')
#全部 UNIX sockets 链接个数
Unix_sockets_Total=$(ss -ax | awk 'BEGIN{count=0} {count++} END{print
count}')
#全部处于 Listen 监听状态的 TCP 端口个数
TCP_Listen_Total=$(ss -antlpH | awk 'BEGIN{count=0} {count++} END{print
count}')
#全部处于 ESTABLISHED 状态的 TCP 链接个数
TCP_Estab_Total=$(ss -antpH | awk 'BEGIN{count=0} /^ESTAB/{count++}
END{print count}')
#全部处于 SYN-RECV 状态的 TCP 链接个数
TCP_SYN_RECV_Total=$(ss -antpH | awk 'BEGIN{count=0} /^SYN-RECV/{count++}
END{print count}')
#全部处于 TIME-WAIT 状态的 TCP 链接个数
TCP_TIME_WAIT_Total=$(ss -antpH | awk 'BEGIN{count=0} /^TIME-WAIT/{count++}
END{print count}')
#全部处于 TIME-WAIT1 状态的 TCP 链接个数
TCP_TIME_WAIT1_Total=$(ss -antpH | awk 'BEGIN{count=0}
/^TIME-WAIT1/{count++} END{print count}')
#全部处于 TIME-WAIT2 状态的 TCP 链接个数
TCP_TIME_WAIT2_Total=$(ss -antpH | awk 'BEGIN{count=0}
/^TIME-WAIT2/{count++} END{print count}')
#全部远程主机的 TCP 链接次数
TCP_Remote_Count=$(ss -antH | awk '$1!~/LISTEN/{IP[$5]++} END{ for(i in
IP){print IP[i],i} }' | sort -nr)
#每一个端口被访问的次数
TCP_Port_Count=$(ss -antH | sed -r 's/ +/ /g' | awk -F"[ :]"
'$1!~/LISTEN/{port[$5]++} END{for(i in port){print port[i],i}}' | sort -nr)
#定义输出颜色
SUCCESS="echo -en \\033[1;32m" #绿色
NORMAL="echo -en \\033[0;39m" #黑色
#显示 TCP 链接总数
tcp_total(){
        echo -n "TCP 链接总数: "
        $SUCCESS
        echo "$TCP_Total"
        $NORMAL
} 
#显示处于 LISTEN 状态的 TCP 端口个数
tcp_listen(){
        echo -n "处于 LISTEN 状态的 TCP 端口个数: "
        $SUCCESS
        echo "$TCP_Listen_Total"
        $NORMAL
} 
#显示处于 ESTABLISHED 状态的 TCP 链接个数
tcp_estab(){
        echo -n "处于 ESTAB 状态的 TCP 链接个数: "
        $SUCCESS
        echo "$TCP_Estab_Total"
        $NORMAL
} 
#显示处于 SYN-RECV 状态的 TCP 链接个数
tcp_syn_recv(){
        echo -n "处于 SYN-RECV 状态的 TCP 链接个数: "
        $SUCCESS
        echo "$TCP_SYN_RECV_Total"
        $NORMAL
} 
#显示处于 TIME-WAIT 状态的 TCP 链接个数
tcp_time_wait(){
        echo -n "处于 TIME-WAIT1 状态的 TCP 链接个数: "
        $SUCCESS
        echo "$TCP_TIME_WAIT1_Total"
        $NORMAL
} 
#显示处于 TIME-WAIT2 状态的 TCP 链接个数
tcp_time_wait2(){
        echo -n "处于 TIME-WAIT2 状态的 TCP 链接个数: "
        $SUCCESS
        echo "$TCP_TIME_WAIT2_Total"
        $NORMAL
} 
#显示 UDP 链接总数
udp_total(){
        echo -n "UDP 链接总数: "
        $SUCCESS
        echo "$UDP_Total"
        $NORMAL
} 
#显示 UNIX sockets 链接总数
unix_total(){
        echo -n "Unix sockets 链接总数: "
        $SUCCESS
        echo "$Unix_sockets_Total"
        $NORMAL
} 
#显示每一个远程主机的访问次数
remote_count(){
        echo "每一个远程主机与本机的并发链接数: "
        $SUCCESS
        echo "$TCP_Remote_Count"
        $NORMAL
} 
#显示每一个端口的并发链接数
port_count(){
        echo "每一个端口的并发链接数: "
        $SUCCESS
        echo "$TCP_Port_Count"
        $NORMAL
}

print_info(){
        echo -e "------------------------------------------------------"
        $1
}
print_info tcp_total
print_info tcp_listen
print_info tcp_estab
print_info tcp_syn_recv
print_info tcp_time_wait
print_info tcp_time_wait1
print_info tcp_time_wait2
print_info udp_total
print_info unix_total
print_info remote_count
print_info port_count
echo -e "------------------------------------------------------"

 

 

参考

• http://www.dtmao.cc/news_show_650108.shtml
• http://www.qishunwang.net/news_show_11182.aspx