丑陋的 shell 来一遍

时间 2019-12-14

标签丑陋 shell 一遍栏目 Unix 繁體版

原文原文链接

学习令人进步，好记性不如烂笔头

# -*- coding: utf-8 -*-
#!/bin/sh
经过 set 命令来查看 环境变量

name='frank'
echo ${name}

使用unset命令能够删除变量，变量被删除后不能再次使用，同时unset命令不能删除只读变量。

d=`date`
echo ${d:1:5}

demo.sh

#!/bin/bash
echo $0  # 文件名
echo $1 #  第一个参数
echo $2 # 第二个参数
echo $3 # 第三个参数
echo 'hello world!'

bash ./demo.sh aaa bbb ccc

demo.sh
aaa
bbb
ccc
hello world!


# 基础综合

#!/bin/bash
a=10
readonly a
b=20
if [ $a -le $b ]
then
  echo 'less than'
else
  echo 'not less than'
fi
echo "a is ${a} , b is ${b}"
a=99
d=`date`
echo "$d 的长度是:${#d} 那咱们来取出它的前三位${d:0:3}"
echo `expr index "${d}" Ju`
arr1=(1 2 3 4 'hello' 'world')
echo "${arr1[*]} 的长度为 ${#arr1[*]}"
for((i=0; i<=${#arr1[*]};i++))
do
    (echo ${arr1[i]})
done

遍历数组

for((i=0;i<=${#arr[*]};i++)); do echo ${arr[i]}; done

读取输入参数

#!/bin/bash
#author Frank
#date 2019/06/09
#functionality: 用于熟悉 read 指令
#小结: -p 输入提示文字 -n 输入字符长度限制(达到3 位自动结束)
# -t 输入限时 5 秒 -s 隐藏输入内容
read -p "请输入两个参与运算的参数" -n 3 -t 5 -s param1 param2
sum=`expr ${param1} + ${param2}`
echo "您输入的两数之和为 ${sum}"

$ 的做用即取值

if [ $(ps -ef | grep -c "ssh") -gt 1 ]; then echo "true"; fi

printf 代替 echo ，记住格式化参数
test 和 中括号 [[]]

if test $[num1] -eq $[num2]
if [ $a == $b ]


i=`expr $i + 1`
let "i++"

for(( i=0;i<=5;i++))
do
    echo $i
done

i=0;
while(( $i<5 )); 
do echo $i; 
i=`expr $i + 1`; 
done

 until (( $i>=5 ))
> do
> echo $i
> let "i++"
> done


#!/bin/bash
while :
do
    echo -n "输入 1 到 5 之间的数字:"
    read aNum
    case $aNum in
        1|2|3|4|5) echo "你输入的数字为 $aNum!"
        ;;
        *) echo "你输入的数字不是 1 到 5 之间的! 游戏结束"
            break
        ;;
    esac
done
case的语法和C family语言差异很大，它须要一个esac（就是case反过来）做为结束标记，每一个case分支用右圆括号，用两个分号表示break。

标准输入文件(stdin)：stdin的文件描述符为0，Unix程序默认从stdin读取数据。
标准输出文件(stdout)：stdout 的文件描述符为1，Unix程序默认向stdout输出数据。
标准错误文件(stderr)：stderr的文件描述符为2，Unix程序会向stderr流中写入错误信息。

cat < aaa.sh >bbb.sh

cat << EOF
欢迎来到
菜鸟教程
www.runoob.com
EOF

nohup是永久执行
&是指在后台运行

运行 nohup --help
Run COMMAND, ignoring hangup signals. 能够看到是“运行命令，忽略挂起信号”
就是指，用nohup运行命令可使命令永久的执行下去，和用户终端没有关系，例如咱们断开SSH链接都不会影响他的运行，注意了nohup没有后台运行的意思；&才是后台运行

&是指在后台运行，但当用户推出(挂起)的时候，命令自动也跟着退出

那么，咱们能够巧妙的吧他们结合起来用就是
nohup COMMAND &
这样就能使命令永久的在后台执行

. ./test.sh
source ./test.sh

被包含的文件 test1.sh 不须要可执行权限。

想一想二者的区别

sum=`expr ${sum} + $i`
 sum=$[$i+$sum]

#!/bin/bash
<<EOF
编写shell脚本，输入一个数字n并计算1~n的和。
要求：若是输入的数字小于1，则从新输入，直到输入正确的数字为止。
EOF

num=0
sum=0
while [[ $num<1 ]]
do
  read -p "请输入一个不小于 1 的数字" num
  for ((i=1;i<=$num;i++)){
      sum=$[$i+$sum]
  }
done

echo $sum


#!/bin/bash
read -p "input number:" a
read -p "input number:" b
read -p "input fuhao:" c
case $c in
+)let "sum=$a+$b"
echo $sum;;
-)let "sum=$a-$b"
echo $sum;;
*)let "sum=$a*$b"
echo $sum;;
/)let "sum=$a/$b"
echo $sum;;
esac

如何 debug shell

bashdb

sleep

sh -n ./test.sh
sh -x /.test.sh

做业一修改扩展名

#!/bin/bash
path=$1
for i in `ls "$1"*.txt`
do
    mv $i ${i%.txt}.text
done

做业二定时删除或者归档日志文件

小结

Shell 很实用
Shell 的语法也很丑陋, 没有之一，若是有那就是 cmd or bat

cd –  回到上一次的目录
# 统计使用频率最高的 十条命令
history | awk '{CMD[$2]++;count++;} END { for (a in CMD )print CMD[a] " " CMD[a]/count*100 "% " a }' | grep -v "./" | column -c3 -s " " -t | sort -nr | nl | head -n10
vim scp://username@host//path/to/somefile
ps aux | sort -nk +4 | tail
du -s * | sort -n | tail

sudo kill -9 `ps -ef|grep ml-plugin-0.0.1-SNAPSHOT.jar|grep -v "grep"|awk '{print $2}'`
sudo ps -ef|grep ml-plugin-0.0.1-SNAPSHOT.jar|grep -v "grep"|awk '{print $2}'|xargs sudo kill -9
sudo kill $(ps -ef |grep jar|grep -v grep|awk '{print $2}')

find . -name '2019*.log' -type f -print|xargs sudo tar -cvzf test_log.tar.gz

yes|sudo rm test_log.tar.gz

cat urls.txt | xargs wget

请你要记得，第一个命令的输出会在 xargs 命令结尾处传递。

那若是命令须要中间过程的输出，该怎么办呢？这个简单！

只须要使用 {} 并结合 -i 参数就好了。以下所示，替换在第一个命令的输出应该去的地方的参数：

ls /etc/*.conf | xargs -i cp {} /home/likegeeks/Desktop/out

tail -fn0 logfile | \
while read line ; do
        echo "$line" | grep "pattern"
        if [ $? = 0 ]
        then
                ... do something ...
        fi
done

watch -n 1 -t "ps -ef|grep jar"
watch -n 1 -d "date"


netstat -tunlp|grep 8999

一个目录下文件及文件夹的个数： 
ls | wc -w 
一个目录下文件文件的个数： 
ls -l | grep “^-” |wc -l 
一个目录下文件文件夹的个数： 
ls -l | grep “^d” |wc -l 
统计当前文件夹下文件的个数，包括子文件夹里的: 
ls -lR | grep “^-” |wc -l

ifconfig | grep eth | awk '{print $5}'           #获取mac地址
find . -name '*.py' -print0 | xargs -0 ls -lt | head -20  # 最近修改的前二十个文件

实用主义

1)  lsof -i -n | grep ESTABLISHED                 #查看链接状态的TCP连接2)  ifconfig | grep eth | awk '{print $5}'           #获取mac地址

3)  find . -name '*pdf*' -print0 | xargs -0 ls -lt | head -20          #寻找最新修改的文件

4)  rename "s/ *//g" *.jpg                                    
 #清除文件名中的空白5)  grep -v "^\W$"                      
 #匹配非空行6)  ifdata -pN eth0                                     
   #获取ip地址7)  pwgen -Bnyc                                 
#生成安全的随机密码8)  cat /proc/version                          
 #显示发行版9)  ls -ldct /lost+found |awk '{print $6, $7}'                
     #查看系统安装时间10)  :> ui filename                  
   #删除文件内容，但保留文件11）  mtr google.com                     
      #混合ping和traceroute的工具12）  watch -n1 'ifconfig eth0|grep bytes'                     
     #查看网络流量13)  netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort  | uniq -c | sort -n                                           
 #显示链接到本机上的IP列表14)  
echo SSBMb3ZlIFlvdQo= | base64 -d              
#尝试一下，你就知道15）  timeout 30s ping t.tt                           
#限时执行某项命令，d（天）/h（小时）/m(分钟）/s(秒）
16）  dd if=/dev/urandom  | tr -d -c [:print:] | tr -d " " | dd count=1 bs=8  2> /dev/null; echo                            
#随机建立一个八位的复杂密码17）  alias mm='sh /root/job/passwd.sh'             
#给执行命令语句或命令起个小名18）  ls -R | grep -v keepfilename | xargs rm -Rf          
#排除关键字后rm,切记grep后面加参数v，不然删除关键字文件19）  dirname `pwd`                                            
#获取当目录的父目录20）  cal | egrep -e '^ [0-9]|^[0-9]' | tr '\n' ' ' | awk '{print $NF}'           #显示当月最后一天是几号

序号  任务  命令组合
1   删除0字节文件 find . -type f -size 0 -exec rm -rf {} \; find . type f -size 0 -delete
2   查看进程，按内存从大到小排列  ps -e -o “%C : %p : %z : %a”|sort -k5 -nr
3   按cpu利用率从大到小排列   ps -e -o “%C : %p : %z : %a”|sort -nr
4   打印说cache里的URL   grep -r -a jpg /data/cache/* | strings | grep “http:” | awk -F’http:’ ‘{print “http:”$2;}’
5   查看http的并发请求数及其TCP链接状态   netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
6   sed在这个文里Root的一行，匹配Root一行，将no替换成yes。 sed -i ‘/Root/s/no/yes/’ /etc/ssh/sshd_config
7   如何杀掉mysql进程 ps aux |grep mysql |grep -v grep  |awk ‘{print $2}’ |xargs kill -9 killall -TERM mysqld kill -9 `cat /usr/local/apache2/logs/httpd.pid`
8   显示运行3级别开启的服务(从中了解到cut的用途，截取数据)  ls /etc/rc3.d/S* |cut -c 15-
9   如何在编写SHELL显示多个信息，用EOF   cat << EOF +————————————————————–+ |   === Welcome to Tunoff services ===                         | +————————————————————–+ EOF
10  for的用法(如给mysql建软连接) cd /usr/local/mysql/bin for i in * do ln /usr/local/mysql/bin/$i /usr/bin/$i done
11  取IP地址   ifconfig eth0 |grep “inet addr:” |awk ‘{print $2}’|cut -c 6- ifconfig | grep ‘inet addr:’| grep -v ’127.0.0.1′ |cut -d: -f2 | awk ‘{ print $1}’
12  内存的大小   free -m |grep “Mem” | awk ‘{print $2}’
13  查看80端口的链接，并排序   netstat -an -t | grep “:80″ | grep ESTABLISHED | awk ‘{printf “%s %s\n”,$5,$6}’ | sort
14  查看Apache的并发请求数及其TCP链接状态 netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
15  统计一下服务器下面全部的jpg的文件的大小   find / -name *.jpg -exec wc -c {} \;|awk ‘{print $1}’|awk ‘{a+=$1}END{print a}’
16  CPU的数量  cat /proc/cpuinfo |grep -c processor
17  CPU负载   cat /proc/loadavg
18  CPU负载   mpstat 1 1
19  内存空间    free
20  磁盘空间    df -h
21  如发现某个分区空间接近用尽，能够进入该分区的挂载点，用如下命令找出占用空间最多的文件或目录   du -cks * | sort -rn | head -n 10
22  磁盘I/O负载 iostat -x 1 2
23  网络负载    sar -n DEV
24  网络错误    netstat -i cat /proc/net/dev
25  网络链接数目  netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n
26  进程总数    ps aux | wc -l
27  查看进程树   ps aufx
28  可运行进程数目 vmwtat 1 5
29  检查DNS Server工做是否正常，这里以61.139.2.69为例 dig www.baidu.com @61.139.2.69
30  检查当前登陆的用户个数 who | wc -l
31  日志查看、搜索 cat /var/log/rflogview/*errors grep -i error /var/log/messages grep -i fail /var/log/messages tail -f -n 2000 /var/log/messages
32  内核日志    dmesg
33  时间  date
34  已经打开的句柄数    lsof | wc -l
35  网络抓包，直接输出摘要信息到文件。   tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts
36  而后检查IP的重复数 并从小到大排序 注意 “-t\  +0″ 中间是两个空格，less命令的用法。  less pkts | awk {‘printf $3″\n”‘} | cut -d. -f 1-4 | sort | uniq -c | awk {‘printf $1″ “$2″\n”‘} | sort -n -t\  +0
37  kudzu查看网卡型号 kudzu –probe –class=network

在Unix/Linux下，高效工做方式不是操做图形页面，而是命令行操做，命令行意味着更容易自动化。使用过Linux系统的朋友应该都知道它的命令行强大之处。本文讲述了Linux下的查找,删除,打包,解压,查询及VIM等30个经常使用命令技巧

一、Vim自动添加注释及智能换行

# vi ~/.vimrc 
set autoindent
set tabstop=4
set shiftwidth=4
function AddTitle()
call setline(1,"#!/bin/bash")
call append(1,"#====================================================")
call append(2,"# Author: lizhenliang")
call append(3,"# Create Date: " . strftime("%Y-%m-%d"))
call append(4,"# Description: ")
call append(5,"#====================================================")
endf
map <F4> :call AddTitle()<cr>
打开文件后，按F4就会自动添加注释，省了很多时间!


二、查找并删除/data这个目录7天前建立的文件

# find /data -ctime +7 -exec rm -rf {} \;
# find /data -ctime +7 | xargs rm -rf

三、tar命令压缩排除某个目录
# tar zcvf data.tar.gz /data --exclude=tmp  #--exclude参数为不包含某个目录或文件，后面也能够跟多个

4 查看tar包存档文件，不解压

# tar tf data.tar.gz #t是列出存档文件目录，f是指定存档文件

五、使用stat命令查看一个文件的属性

访问时间（Access）、修改时间（modify）、状态改变时间（Change）
stat index.php
Access: 2018-05-10 02:37:44.169014602 -0500
Modify: 2018-05-09 10:53:14.395999032 -0400
Change: 2018-05-09 10:53:38.855999002 -0400

六、批量解压tar.gz

方法1：

# find . -name "*.tar.gz" -exec tar zxf {} \;
方法2：

# for tar in *.tar.gz; do tar zxvf $tar; done
方法3：

# ls *.tar.gz | xargs -i tar zxvf {}

七、筛除出文件中的注释和空格

方法1：

# grep -v "^#" httpd.conf |grep -v "^$"
方法2：

# sed -e ‘/^$/d' -e ‘/^#/d' httpd.conf > http.conf
或者

# sed -e '/^#/d;/^$/d'   #-e 执行多条sed命令
方法3：

# awk '/^[^#]/|/"^$"' httpd.conf
或者

# awk '!/^#|^$/' httpd.conf

八、筛选/etc/passwd文件中全部的用户

方法1：
# cat /etc/passwd |cut -d: -f1
方法2：
# awk -F ":" '{print $1}' /etc/passwd

九、iptables网站跳转

先开启路由转发：
echo "1" > /proc/sys/net/ipv4/ip_forward #临时生效
内网访问外网（SNAT）：

iptables –t nat -A POSTROUTING -s [内网IP或网段] -j SNAT --to [公网IP]

#内网服务器要指向防火墙内网IP为网关

公网访问内网（DNAT）（公网端口映射内网端口）：

iptables –t nat -A PREROUTING -d [对外IP] -p tcp --dport [对外端口] -j DNAT --to [内网IP:内网端口]

#内网服务器要配置防火墙内网IP为网关，不然数据包回不来。另外，这里不用配置SNAT，由于系统服务会根据数据包来源再返回去。

十、iptables将本机80端口转发到本地8080端口

# iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-ports 8080
十一、find命令查找文件并复制到/opt目录

方法1：

# find /etc -name httpd.conf -exec cp -rf {} /opt/ \;:  #-exec执行后面命令，{}表明前面输出的结果，\;结束命令
方法2：

# find /etc -name httpd.conf |xargs -i cp {} /opt   #-i表示输出的结果由{}代替
十二、查看根目录下大于1G的文件

# find / -size +1024M
默认单位是b，可使用其余单位如，C、K、M

1三、查看服务器IP链接数

# netstat -tun | awk '{print $5}' | cut -d: -f1 |sort | uniq -c | sort -n
-tun：-tu是显示tcp和udp链接，n是以IP地址显示

cut -d：-f1：cut是一个选择性显示一行的内容命令，-d指定：为分隔符，-f1显示分隔符后的第一个字段。

uniq -c：报告或删除文中的重复行，-c在输出行前面加上出现的次数

sort -n：根据不一样类型进行排序，默认排序是升序，-r参数改成降序，-n是根据数值的大小进行排序

1四、插入一行到391行，包括特殊符号"/"

# sed -i "391 s/^/AddType application\/x-httpd-php .php .html/" httpd.conf
1五、列出nginx日志访问最多的10个IP

方法1：

# awk '{print $1}' access.log |sort |uniq -c|sort -nr |head -n 10
sort ：排序

uniq -c：合并重复行，并记录重复次数

sort -nr ：按照数字进行降序排序

方法2：

# awk '{a[$1]++}END{for(v in a)print v,a[v] |"sort -k2 -nr |head -10"}' access.log
1六、显示nginx日志一天访问量最多的前10位IP

# awk '$4>="[16/May/2017:00:00:01" && $4<="[16/May/2017:23:59:59"' access_test.log |sort |uniq -c |sort-nr |head -n 10
 
# awk '$4>="[16/Oct/2017:00:00:01" && $4<="[16/Oct/2017:23:59:59"{a[$1]++}END{for(i in a){print a[i],i|"sort -k1 -nr |head -n 10"}}' access.log
1七、获取当前时间前一分钟日志访问量

# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"` ; awk -vd=$date '$0~d{c++}END{print c}' access.log
# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"`; awk -vd=$date '$4>="["d":00" && $4<="["d":59"{c++}END{print c}' access.log 
# grep `date +%d/%b/%Y:%H:%M --date="-1 minute"` access.log |awk 'END{print NR}'
# start_time=`date +%d/%b/%Y:%H:%M:%S --date="-5 minute"`;end_time=`date +%d/%b/%Y:%H:%M:%S`;awk -vstart_time="[$start_time" -vend_time="[$end_time" '$4>=start_time && $4<=end_time{count++}END{print count}' access.log
1八、找出1-255之间的整数

方法1：

# ifconfig |grep -o '[0-9]\+' #+号匹配前一个字符一次或屡次
方法2：

# ifconfig |egrep -o '\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>'
1九、找出IP地址

# ifconfig |grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}' #-o只显示匹配字符
20、给文档增长开头和结尾说明信息
# awk ‘BEGIN{print "开头显示信息"}{print $1,$NF} END{print "结尾显示信息"}'/etc/passwd
# awk 'BEGIN{printf " date   ip\n------------------\n"} {print $3,$4} END{printf "------------------\nend...\n"}' /var/log/messages     
 date   ip
------------------
03:13:01 localhost
10:51:45 localhost
------------------
end...
2一、查看网络状态命令
# netstat -antp #查看全部网络链接
# netstat -lntp #只查看监听的端口信息
# lsof -p pid #查看进程打开的文件句柄
# lsof -i:80 #查看端口被哪一个进程占用
2二、生成8位随机字符串

方法1：
# echo $RANDOM |md5sum |cut -c 1-8
方法2：

# openssl rand -base64 4
方法3：

# cat /proc/sys/kernel/random/uuid | cut -c 1-8
2三、while死循环

while true; do #条件精确等于真，也能够直接用条件[ "1" == "1" ]，条件一直为真
 
   ping -c 2 www.baidu.com
 
done
24.awk格式化输出

将文本列进行左对齐或右对齐。

左对齐：

# awk '{printf "%-15s %-10s %-20s\n",$1,$2,$3}' test.txt
右对齐：

# awk '{printf "%15s %10s %20s\n",$1,$2,$3}' test.txt
25.整数运算保留小数点

方法1：

# echo 'scale=2; 10/3;'|bc #scale参数表明取小数点位数
方法2：

# awk BEGIN'{printf "%.2f\n",10/3}'
26.数字求和

# cat a.txt

方法1：
#!/bin/bash
while read num;
    do
    sum=`expr $sum + $num`
done < a.txt
    echo $sum
方法2：

# cat a.txt |awk '{sum+=$1}END{print sum}'
2七、判断是否为数字（字符串判断也如此）

# [[ $num =~ ^[0-9]+$ ]] && echo yes || echo no  #[[]]比[]更加通用，支持模式匹配=~和字符串比较使用通配符`
^ $：从开始到结束是数字才知足条件

=~：一个操做符，表示左边是否知足右边（做为一个模式）正则表达式

2八、删除换行符并将空格替换别的字符

# cat a.txt |xargs echo -n |sed 's/[ ]/|/g' #-n 不换行
# cat a.txt |tr -d '\n' #删除换行符
2九、查看文本中20至30行内容（总共100行）

方法1：

# awk '{if(NR > 20 && NR < 31) print $0}' test.txt
方法2：

# sed -n '20,30p' test.txt
方法3：

# head -30 test.txt |tail
30、文本中两列位置替换

# cat a.txt
60.35.1.15   www.baidu.com
45.46.26.85   www.sina.com.cn
# awk '{print $2"\t"$1}' a.txt

head -n 1 filtered_dataset_576.csv|awk -F ',' '{print NF}'

watch -n 1 'ls -l|grep 355'
watch -n 1 'free -h'
free -s 10 -h

丑陋的 shell 来一遍

学习令人进步，好记性不如烂笔头

遍历数组

读取输入参数

$ 的 做用即 取值

想一想二者的区别

如何 debug shell

做业一 修改扩展名

做业二 定时删除或者归档日志文件

小结

实用主义

$ 的做用即取值

做业一修改扩展名

做业二定时删除或者归档日志文件