BASH 进阶（转载防丢）

时间 2019-11-30

标签 bash 进阶转载栏目 Unix 繁體版

原文原文链接

基础

学习 Bash 的基础知识。具体来讲，输入 man bash 并至少全文浏览一遍; 它很简单而且不长。其余的 shell 可能很好用，但 Bash 功能强大且几乎全部状况下都是可用的 ( 只学习 zsh，fish 或其余的 shell 的话，在你本身的电脑上会显得很方便，但在不少状况下会限制你，好比当你须要在服务器上工做时)。css
学习并掌握至少一个基于文本的编辑器。一般 Vim (vi) 会是你最好的选择。html
学会如何使用 man 命令去阅读文档。学会使用 apropos 去查找文档。了解有些命令并不对应可执行文件，而是Bash内置的，可使用 help 和 help -d 命令获取帮助信息。python
学会使用 > 和 < 来重定向输出和输入，学会使用 | 来重定向管道。了解标准输出 stdout 和标准错误 stderr。ios
学会使用通配符 * (或许再算上 ? 和 {...}) 和引用以及引用中 ' 和 " 的区别。git
熟悉 Bash 任务管理工具: &，ctrl-z，ctrl-c，jobs，fg，bg，kill 等。github
了解 ssh，以及基本的无密码认证，ssh-agent，ssh-add 等。web
学会基本的文件管理: ls 和 ls -l (了解 ls -l 中每一列表明的意义)，less，head，tail 和 tail -f (甚至 less +F)，ln 和 ln -s (了解硬连接与软连接的区别)，chown，chmod，du (硬盘使用状况概述: du -hk *)。关于文件系统的管理，学习 df，mount，fdisk，mkfs，lsblk。正则表达式
学习基本的网络管理: ip 或 ifconfig，dig。shell
熟悉正则表达式，以及 grep/egrep 里不一样参数的做用，例如 -i，-o，-A，和 -B。缓存
学会使用 apt-get，yum，dnf 或 pacman (取决于你使用的 Linux 发行版)来查找或安装包。确保你的环境中有 pip 来安装基于 Python 的命令行工具 (部分程序使用 pip 来安装会很简单)。

平常使用

在 Bash 中，可使用 Tab 自动补全参数，使用 ctrl-r 搜索命令行历史。
在 Bash 中，使用 ctrl-w 删除你键入的最后一个单词，使用 ctrl-u 删除整行，使用 alt-b 和 alt-f 按单词移动，使用 ctrl-k 从光标处删除到行尾，使用 ctrl-l 清屏。键入 man readline 查看 Bash 中的默认快捷键，内容不少。例如 alt-. 循环地移向前一个参数，以及 alt-* 展开通配符。
你喜欢的话，能够键入 set -o vi 来使用 vi 风格的快捷键。
键入 history 查看命令行历史记录。其中有许多缩写，例如 !$(最后键入的参数)和 !!(最后键入的命令)，尽管一般被 ctrl-r 和 alt-. 取代。
回到上一个工做路径: cd -
若是你输入命令的时候改变了主意，按下 alt-# 在行首添加 #(将你输入的命令视为注释)，并回车。这样作的话，以后你能够很方便的利用命令行历史回到你刚才输入到一半的命令。
使用 xargs ( 或 parallel)。他们很是给力。注意到你能够控制每行参数个数(-L)和最大并行数(-P)。若是你不肯定它们是否会按你想的那样工做，先使用 xargs echo 查看一下。此外，使用 -I{} 会很方便。例如:

      find . -name '*.py' | xargs grep some_function
      cat hosts | xargs -I{} ssh root@{} hostname

pstree -p 有助于展现进程树。
使用 pgrep 和 pkill 根据名字查找进程或发送信号。
了解你能够发往进程的信号的种类。好比，使用 kill -STOP [pid] 中止一个进程。使用 man 7 signal 查看详细列表。
使用 nohup 或 disown 使一个后台进程持续运行。
使用 netstat -lntp 或 ss -plat 检查哪些进程在监听端口(默认是检查 TCP 端口; 使用参数 -u 检查 UDP 端口)。
有关打开套接字和文件，请参阅 lsof。
在 Bash 脚本中，使用 set -x 去调试输出，尽量的使用严格模式，使用 set -e 令脚本在发生错误时退出而不是继续运行，使用 set -o pipefail 严谨地对待错误(尽管问题可能很微妙)。当牵扯到不少脚本时，使用 trap。
在 Bash 脚本中，子 shell(使用括号(...))是一种便捷的方式去组织参数。一个常见的例子是临时地移动工做路径，代码以下：

      # do something in current dir
      (cd /some/other/dir && other-command)
      # continue in original dir

在 Bash 中，注意到其中有许多形式的扩展。检查变量是否存在: ${name:?error message}。例如，当 Bash 脚本须要一个参数时，可使用这样的代码 input_file=${1:?usage: $0 input_file}。数学表达式: i=$(( (i + 1) % 5 ))。序列: {1..10}。截断字符串: ${var%suffix} 和 ${var#prefix}。例如，假设 var=foo.pdf，那么 echo ${var%.pdf}.txt 将输出 foo.txt。
经过使用 <(some command) 能够将输出视为文件。例如，对比本地文件 /etc/hosts 和一个远程文件:

      diff /etc/hosts <(ssh somehost cat /etc/hosts)

了解 Bash 中的"here documents"，例如 cat <<EOF ...。
在 Bash 中，同时重定向标准输出和标准错误，some-command >logfile 2>&1。一般，为了保证命令不会在标准输入里残留一个打开了的文件句柄致使你当前所在的终端没法操做，添加 </dev/null 是一个好习惯。
使用 man ascii 查看具备十六进制和十进制值的ASCII表。man unicode，man utf-8，以及 man latin1 有助于你去了解通用的编码信息。
使用 screen 或 tmux 来使用多个屏幕，当你在使用 ssh 时(保存 session 信息)将尤其有用。另外一个轻量级的解决方案是 dtach。
ssh 中，了解如何使用 -L 或 -D(偶尔须要用 -R)去开启隧道是很是有用的，例如当你须要从一台远程服务器上访问 web。
对 ssh 设置作一些小优化多是颇有用的，例如这个 ~/.ssh/config 文件包含了防止特定环境下断开链接、压缩数据、多通道等选项：

TCPKeepAlive=yes
      ServerAliveInterval=15
      ServerAliveCountMax=6
      Compression=yes
      ControlMaster auto
      ControlPath /tmp/%r@%h:%p
      ControlPersist yes

部分其余的关于 ssh 的选项是安全敏感且应当当心启用的。例如在可信任的网络中: StrictHostKeyChecking=no，ForwardAgent=yes
获取文件的八进制格式权限，使用相似以下的代码：

      stat -c '%A %a %n' /etc/timezone

使用 percol 能够交互式地从另外一个命令输出中选取值。
使用 fpp(PathPicker)能够与基于另外一个命令(例如 git)输出的文件交互。
将 web 服务器上当前目录下全部的文件(以及子目录)暴露给你所处网络的全部用户，使用： python -m SimpleHTTPServer 7777 (使用端口 7777 和 Python 2)或python -m http.server 7777 (使用端口 7777 和 Python 3)。

文件及数据处理

在当前路径下经过文件名定位一个文件，find . -iname '*something*'(或相似的)。在全部路径下经过文件名查找文件，使用 locate something (但请记住 updatedb 可能没有对最近新建的文件创建索引)。
使用 ag 在源代码或数据文件里检索(比 grep -r 更好)。
将HTML转为文本: lynx -dump -stdin
Markdown，HTML，以及全部文档格式之间的转换，试试 pandoc。
若是你不得不处理 XML，xmlstarlet 宝刀未老。
使用 jq 处理 JSON。
Excel 或 CSV 文件的处理，csvkit 提供了 in2csv，csvcut，csvjoin，csvgrep 等工具。
关于 Amazon S3，s3cmd 很方便而 s4cmd 更快。Amazon 官方的 aws 是其余 AWS 相关工做的基础。
了解如何使用 sort 和 uniq，包括 uniq 的 -u 参数和 -d 参数，详见后文一行代码节。另外能够了解一下 comm。
了解如何使用 cut，paste 和 join 来更改文件。不少人都会使用 cut，但几乎都不会使用 join。
了解如何运用 wc 去计算新行数(-l)，字符数(-m)，单词数(-w)以及字节数(-c)。
了解如何使用 tee 将标准输入复制到文件甚至标准输出，例如 ls -al | tee file.txt。
了解语言环境对许多命令行工具的微妙影响，包括排序的顺序和性能。大多数 Linux 的安装过程会将 LANG 或其余有关的变量设置为符合本地的设置。意识到当你改变语言环境时，排序的结果可能会改变。明白国际化可能会时 sort 或其余命令运行效率降低许多倍。某些状况下(例如集合运算)你能够放心的使用 export LC_ALL=C 来忽略掉国际化并使用基于字节的顺序。
了解 awk 和 sed 关于数据的简单处理的用法。例如，将文本文件中第三列的全部数字求和: awk '{ x += $3 } END { print x }'. 这可能比同等做用的 Python 代码块三倍且代码量少三倍。
替换一个或多个文件中出现的字符串:

      perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt

依据某种模式批量重命名多个文件，使用 rename。对于复杂的重命名规则，repren 或许有帮助。

      # Recover backup files foo.bak -> foo:
      rename 's/\.bak$//' *.bak
      # Full rename of filenames，directories，and contents foo -> bar:
      repren --full --preserve-case --from foo --to bar .

使用 shuf 从一个文件中随机选取行。
了解 sort 的参数。明白键的工做原理(-t 和 -k)。例如，注意到你须要 -k1，1 来仅按第一个域来排序，而 -k1 意味着按整行排序。稳定排序(sort -s)在某些状况下颇有用。例如，以第二个域为主关键字，第一个域为次关键字进行排序，你可使用 sort -k1，1 | sort -s -k2，2。处理可读性数字（例如 du -h 的输出）的时候使用 sort -h 。
若是你想在 Bash 命令行中写 tab 制表符，按下 ctrl-v [Tab] 或键入 $'\t' (后者可能更好，由于你能够复制粘贴它)。
标准的源代码对比及合并工具是 diff 和 patch。使用 diffstat 查看变动总览数据。注意到 diff -r 对整个文件夹有效。使用 diff -r tree1 tree2 | diffstat 查看变动总览数据。
对于二进制文件，使用 hd 使其以十六进制显示以及使用 bvi 来编辑二进制。
一样对于二进制文件，使用 strings(包括 grep 等等)容许你查找一些文本。
二进制文件对比(Delta 压缩)，使用 xdelta3。
使用 iconv 更改文本编码。而更高级的用法，可使用 uconv，它支持一些高级的 Unicode 功能。例如，这条命令将全部元音字母转为小写并移除了:

      uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt

拆分文件，查看 split(按大小拆分)和 csplit(按模式拆分)。
使用 zless，zmore，zcat 和 zgrep对压缩过的文件进行操做。

系统调试

curl 和 curl -I 能够便捷地被应用于 web 调试中，它们的好兄弟 wget 也能够，或者是更潮的 httpie。
使用 iostat、netstat、top (htop 更佳)和 dstat 去获取硬盘、cpu 和网络的状态。熟练掌握这些工具可使你快速的对系统的当前状态有一个大概的认识。
若要对系统有一个深度的整体认识，使用 glances。它在一个终端窗口中向你提供一些系统级的数据。这对于快速的检查各个子系统很是有帮助。
若要了解内存状态，运行并理解 free 和 vmstat 的输出。尤为注意"cached"的值，它指的是 Linux 内核用来做为文件缓存的内存大小，所以它与空闲内存无关。
Java 系统调试则是一件大相径庭的事，一个能够用于 Oracle 的 JVM 或其余 JVM 上的调试的小技巧是你能够运行 kill -3 <pid> 同时一个完整的栈轨迹和堆概述(包括 GC 的细节)会被保存到标准输出/日志文件。
使用 mtr 去跟踪路由，用于肯定网络问题。
用 ncdu 来查看磁盘使用状况，它比经常使用的命令，如 du -sh *，更节省时间。
查找正在使用带宽的套接字链接或进程，使用 iftop 或 nethogs。
ab 工具(捆绑于 Apache)能够简单粗暴地检查 web 服务器的性能。对于更复杂的负载测试，使用 siege。
wireshark，tshark 和 ngrep 可用于复杂的网络调试。
了解 strace 和 ltrace。这俩工具在你的程序运行失败、挂起甚至崩溃，而你殊不知道为何或你想对性能有个整体的认识的时候是很是有用的。注意 profile 参数(-c)和附加到一个运行的进程参数 (-p)。
了解使用 ldd 来检查共享库。
了解如何运用 gdb 链接到一个运行着的进程并获取它的堆栈轨迹。
学会使用 /proc。它在调试正在出现的问题的时候有时会效果惊人。好比: /proc/cpuinfo，/proc/xxx/cwd，/proc/xxx/exe，/proc/xxx/fd/，/proc/xxx/smaps。
当调试一些以前出现的问题的时候，sar 很是有用。它展现了 cpu、内存以及网络等的历史数据。
关于更深层次的系统分析以及性能分析，看看 stap(SystemTap)，perf，以及sysdig。
查看你当前使用的 Linux 发行版(大部分发行版有效): lsb_release -a
不管什么东西工做得很欢乐时试试 dmesg (多是硬件或驱动问题)。

一行代码

一些命令组合的例子:

当你须要对文本文件作集合交、并、差运算时，结合使用 sort/uniq 颇有帮助。假设 a 与 b 是两内容不一样的文件。这种方式效率很高，而且在小文件和上G的文件上都能运用 (sort 不被内存大小约束，尽管在 /tmp 在一个小的根分区上时你可能须要 -T 参数)，参阅前文中关于 LC_ALL 和 sort 的 -u 参数的部分。

      cat a b | sort | uniq > c   # c is a union b
      cat a b | sort | uniq -d > c   # c is a intersect b
      cat a b b | sort | uniq -u > c   # c is set difference a - b

使用 grep . * 来阅读检查目录下全部文件的内容，例如检查一个充满配置文件的目录好比 /sys、/proc、/etc。
计算文本文件第三列中全部数的和(可能比同等做用的 Python 代码快三倍且代码量少三倍):

      awk '{ x += $3 } END { print x }' myfile

若是你想在文件树上查看大小\日期，这可能看起来像递归版的 ls -l 但比 ls -lR 更易于理解:

      find . -type f -ls

尽量的使用 xargs 或 parallel。注意到你能够控制每行参数个数(-L)和最大并行数(-P)。若是你不肯定它们是否会按你想的那样工做，先使用 xargs echo 查看一下。此外，使用 -I{} 会很方便。例如:

      find . -name '*.py' | xargs grep some_function
      cat hosts | xargs -I{} ssh root@{} hostname

假设你有一个相似于 web 服务器日志文件的文本文件，而且一个肯定的值只会出如今某些行上，假设一个 acct_id 参数在URI中。若是你想计算出每一个 acct_id 值有多少次请求，使用以下代码:

      cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn

运行这个函数从这篇文档中随机获取一条小技巧(解析 Markdown 文件并抽取项目):

      function taocl() {
        curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md |
          pandoc -f markdown -t html |
          xmlstarlet fo --html --dropdtd |
          xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" |
          xmlstarlet unesc | fmt -80
      }

冷门但有用

expr: 计算表达式或正则匹配
m4: 简单地宏处理器
yes: 屡次打印字符串
cal: 漂亮的日历
env: 执行一个命令(脚本文件中颇有用)
printenv: 打印环境变量(调试时或在使用脚本文件时颇有用)
look: 查找以特定字符串开头的单词
cut、paste 和 join: 数据修改
fmt: 格式化文本段落
pr: 将文本格式化成页/列形式
fold: 包裹文本中的几行
column: 将文本格式化成多列或表格
expand 和 unexpand: 制表符与空格之间转换
nl: 添加行号
seq: 打印数字
bc: 计算器
factor: 分解因数
gpg: 加密并签名文件
toe: terminfo entries 列表
nc: 网络调试及数据传输
socat: 套接字代理，与 netcat 相似
slurm: 网络可视化
dd: 文件或设备间传输数据
file: 肯定文件类型
tree: 以树的形式显示路径和文件，相似于递归的 ls
stat: 文件信息
tac: 反向输出文件
shuf: 文件中随机选取几行
comm: 一行一行的比较排序过的文件
pv: 监视经过管道的数据
hd 和 bvi: 保存或编辑二进制文件
strings: 从二进制文件中抽取文本
tr: 转换字母
iconv 或 uconv: 简易的文件编码
split 和 csplit: 分割文件
units: 将一种计量单位转换为另外一种等效的计量单位(参阅 /usr/share/units/definitions.units)
7z: 高比例的文件压缩
ldd: 动态库信息
nm: 提取 obj 文件中的符号
ab: 性能分析 web 服务器
strace: 系统调用调试
mtr: 更好的网络调试跟踪工具
cssh: 可视化的并发 shell
rsync: 经过 ssh 同步文件和文件夹
wireshark 和 tshark: 抓包和网络调试工具
ngrep: 网络层的 grep
host 和 dig: DNS 查找
lsof: 列出当前系统打开文件的工具以及查看端口信息
dstat: 系统状态查看
glances: 高层次的多子系统总览
iostat: CPU 和硬盘状态
htop: top 的增强版
last: 登入记录
w: 查看处于登陆状态的用户
id: 用户/组 ID 信息
sar: 系统历史数据
iftop 或 nethogs: 套接字及进程的网络利用
ss: 套接字数据
dmesg: 引导及系统错误信息
hdparm: SATA/ATA 磁盘更改及性能分析
lsb_release: Linux 发行版信息
lsblk: 列出块设备信息: 以树形展现你的磁盘以及磁盘分区信息
lshw，lscpu，lspci，lsusb 和 dmidecode: 查看硬件信息，包括 CPU、BIOS、RAID、显卡、USB设备等
fortune，ddate 和 sl: 额，这主要取决于你是否定为蒸汽火车和莫名其妙的名人名言是否"有用"