bash 命令行学习笔记

命令行学习笔记

该文档为linux bash 命令行学习的笔记摘要，用于记录基本的命令行操做，以及技巧,参考学习连接以下

https://github.com/jlevy/the-art-of-command-line/blob/master/README-zh.md

1、基础

1.文本编辑器emacs操做笔记

详见emacs 内置教程

2.输出输入重定向以及管道命令、标准输入标准输出标准错误

• 标准输入（stdin） -0 、标准输出（stdout）-1 、标准错误（stderr）-2
• 标准输入重定向 cat < in.txt
• 标准输出重定向 覆盖模式：> 追加模式：>>
• 将标准输出重定向到特定文件 echo "123" > out.txt
• 将标准错误重定向到特定文件 cmd 2>error.txt
• 将标准输出和标准错误定向到不一样文件 cmd 1>out.txt 2>err.txt
• 将标准输出和标准错误重定向到同一个文件 cmd >out_err.txt 2>&1
• /dev/null 是一个特殊的文件，写入到它的内容都会被丢弃；若是尝试从该文件读取内容，那么什么也读不到。可是 /dev/null 文件很是有用，将命令的输出重定向到它，会起到"禁止输出"的效果，如$ command > /dev/null 2>&1

3.bash的任务管理工具： &，ctrl-z，ctrl-c，jobs，fg，bg，kill

• & 表示把任务放在后台运行 python test.py > log.txt & 运行test.py程序，并置于后台运行，日志信息重定向到log.txt
• ctrl+c 是强制中断程序的执行。
• ctrl+z 的是将任务中断,可是此任务并无结束,他仍然在进程中他只是维持挂起的状态。
• fg 从新启动被前台中断的任务,把后台的命令调至前台继续运行 fg %job_num
• bg 将后台中断的进程继续运行
• jobs 查看当前有多少在后台运行的命令
• kill 杀掉进程，只有第9种信号(SIGKILL)才能够无条件终止进程，其余信号进程都有权利忽略。下面是经常使用的信号：

1. HUP 1 终端断线
2. INT 2 中断（同 Ctrl + C）
3. QUIT 3 退出（同 Ctrl + \）
4. TERM 15 终止
5. KILL 9 强制终止
6. CONT 18 继续（与STOP相反， fg/bg命令）
7. STOP 19 暂停（同 Ctrl + Z）

• pgrep 和 pkill 根据名字查找进程或发送信号

4.利用ssh进行远程登陆

密码登陆 ssh -p port username@webserverip
密钥登陆 ssh -i ~/.ssh/id_rsa_1 username@webserverip
利用ssh-keygen 生成密钥对，公密: ../.ssh/id_rsa.pub 私密:../.ssh/id_rsa 将公密放到服务器

ssh 配置文件 etc/ssh/sshd_config 设置端口，设置是否容许密码登陆、是否须要进行密钥验证等

Port 32200
RSAAuthentication yes
PubkeyAuthentication yes

5.基本的文件管理工具使用

less、 head、tail、 tail -f、 ln 和 ln -s 、chown、 chmod、 du 、df 、fdisk 、mkfs、 lsblk ，inode
ln 硬链接
ln -s 软链接

6.基本的网络管理工具 ifconfig

ifconfig 查看网络内容，启动或者关掉网卡，修改网络ip，修改mac地址功能

7.版本控制工具git

8.熟悉正则表达式，使用grep，学习参数 -i，-o -v -A -B -C

grep 命令用于查找文件里符合条件的字符串，参数以下：

• -i 忽略大小写
• -o 只显示匹配的内容
• -v 不匹配符合的内容
• -A 除了显示匹配的内容以外，还显示该行以前的n行
• -B 除了显示匹配的内容以外，还显示该行以后的n行
• -C 除了显示匹配的内容以外，还显示改行先后的n行

2、平常使用

1.bash命令操做快捷键

• ctrl-w 删除你键入的最后一个单词
• ctrl-u 能够删除行内光标所在位置以前的内容
• alt-b 和 alt-f 能够以单词为单位移动光标
• ctrl-a 能够将光标移至行首
• ctrl-e 能够将光标移至行尾
• ctrl-k 能够删除光标至行尾的全部内容
• ctrl-l 能够清屏

2.历史记录

键入 history 查看命令行历史记录

• !n（n 是命令编号）就能够再次执行
• !$ 它用于指代上次键入的参数
• !! 能够指代上次键入的命令
• alt-. 循环地移向前显示历史记录
• ctrl+r进行历史命令搜索，重复按会向下继续匹配 ,按入enter会执行当前匹配的历史命令

3.目录操做

• cd 进行目录切换工做
• cd ~ 进行家目录
• cd - 返回前一个工做目录
• cd .. 返回上一个工做目录

4.xargs命令

5.查看进程监听的端口

使用 netstat -lntp 或ss -plat检查哪些进程在监听端口（默认是检查 TCP 端口; 添加参数 -u 则检查 UDP 端口）
或者 lsof -iTCP -sTCP:LISTEN -P -n

netstst部分参数

• -t (tcp) 仅显示tcp相关选项
• -u (udp) 仅显示udp相关选项
• -n 拒绝显示别名，能显示数字的所有转化为数字
• -l 仅列出在Listen(监听)的服务状态
• -p 显示创建相关连接的程序名

查看结果以下：

# netstst -lntp | grep 32200
tcp        0      0 0.0.0.0:32200           0.0.0.0:*               LISTEN      492/sshd

6.查看开启的套接字和文件

lsof(list open files)是一个列出当前系统打开文件的工具。

lsof 输出各列信息含义:

字段	含义
COMMAND	进程名称
PID	进程标识符
USER	进程全部者
FD	文件描述符
TYPE	文件类型
DEVICE	指定磁盘名称
SIZE	文件大小
NODE	索引节点（文件在磁盘的标识）
NAME	打开文件的确切名称

部分lsof命令:

lsof -i:8080 		#查看8080端口占用
lsof abc.txt 		#显示开启文件abc.txt的进程
lsof -c abc 		#显示abc进程如今打开的文件
lsof -c -p 1234 	#列出进程号为1234的进程所打开的文件
lsof -g gid 		#显示归属gid的进程状况
lsof +d /usr/local/ #显示目录下被进程开启的文件
lsof +D /usr/local/ #同上，可是会搜索目录下的目录，时间较长
lsof -d 4 			#显示使用fd为4的进程
lsof -i -U 			#显示全部打开的端口和UNIX domain文件

7.能够把别名、shell 选项和经常使用函数保存在 ~/.bashrc，这样作的话你就能够在全部 shell 会话中使用你的设定,把环境变量的设定以及登录时要执行的命令保存在 ~/.bash_profile。而对于从图形界面启动的 shell 和 cron 启动的 shell，则须要单独配置文件。

8.在 Bash 脚本中，子 shell（使用括号 (...)）是一种组织参数的便捷方式。一个常见的例子是临时地移动工做路径，代码以下：

# do something in current dir
 (cd /some/other/dir && other-command)
 # continue in original dir

9.使用括号扩展（{...}）来减小输入类似文本，并自动化文本组合。这在某些状况下会颇有用

mv foo.{txt,pdf} some-dir 	#同时移动两个文件 
cp somefile{,.bak} 			 #会被扩展成 cp somefile somefile.bak#
mkdir -p test-{a,b,c}/subtest-{1,2,3}	#会被扩展成全部可能的组合，并建立一个目录树

10.使用 man ascii 查看具备十六进制和十进制值的ASCII表。man unicode，man utf-8，以及 man latin1 了解通用的编码信息。

11.将 web 服务器上当前目录下全部的文件（以及子目录）暴露给你所处网络的全部用户

python -m SimpleHTTPServer 7777 （使用端口 7777 和 Python 2）
python -m http.server 7777 （使用端口 7777 和 Python 3）

3、文件以及数据处理

1.文件查找

在当前路径下查找 find . -name '*something*'
在全部路径下经过文件名查找文件，使用locate something
`

2.使用 sort 和 uniq，uniq 的 -u 参数和 -d 参数

sort命令用于将文本文件内容加以排序。

- -b 忽略每行前面开始出的空格字符。
- -c 检查文件是否已经按照顺序排序。
- -d 排序时，处理英文字母、数字及空格字符外，忽略其余的字符。
- -f 排序时，将小写字母视为大写字母。
- -i 排序时，除了040至176之间的ASCII字符外，忽略其余的字符。
- -m 将几个排序好的文件进行合并。
- -M 将前面3个字母依照月份的缩写进行排序。
- -n 依照数值的大小排序。
- -u 意味着是惟一的(unique)，输出的结果是去完重了的。
- -o<输出文件> 将排序后的结果存入指定的文件。
- -r 以相反的顺序来排序。
- -t<分隔字符> 指定排序时所用的栏位分隔字符。
- +<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。
- --help 显示帮助。
- --version 显示版本信息。

uniq 命令用于检查及删除文本文件中重复出现的行列，通常与 sort 命令结合使用。

- -c或--count 在每列旁边显示该行重复出现的次数。
- -d或--repeated 仅显示重复出现的行列。
- -f<栏位>或--skip-fields=<栏位> 忽略比较指定的栏位。
- -s<字符位置>或--skip-chars=<字符位置> 忽略比较指定的字符。
- -u或--unique 仅显示出一次的行列。
- -w<字符位置>或--check-chars=<字符位置> 指定要比较的字符。
- --help 显示帮助。
- --version 显示版本信息。
- [输入文件] 指定已排序好的文本文件。若是不指定此项，则从标准读取数据；
- [输出文件] 指定输出的文件。若是不指定此选项，则将内容显示到标准输出设备（显示终端）

当重复的行并不相邻时，uniq 命令是不起做用的,因此uniq命令每每和sort命令一块儿使用

3.使用 cut，paste 和 join 来更改文件

4.运用 wc 去计算新行数（-l），字符数（-m），单词数（-w）以及字节数（-c）

wc命令用于计算字数，利用wc指令咱们能够计算文件的Byte数、字数、或是列数,参数含义以下：

• -c或--bytes或--chars 只显示Bytes数。
• -l或--lines 只显示行数。
• -w或--words 只显示字数,单词数。
• --help 在线帮助。
• --version 显示版本信息

5.使用 tee 将标准输入复制到文件甚至标准输出，例如 ls -al | tee file.txt

tee命令用于读取标准输入的数据，并将其内容输出成文件

6.使用 awk 和 sed 来进行简单的数据处理

AWK是一种处理文本文件的语言，是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤其强大。简单来讲awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各类分析处理。

基本操做语法

awk -F ':' {pattern + action}' {filenames}
其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令,-F 指定划分的分隔符，默认是空格

awk 内置变量

变量	含义
ARGC	命令行参数个数
ARGV	命令行参数排列
ENVIRON	支持队列中系统环境变量的使用
FILENAME	awk浏览的文件名
FNR	浏览文件的记录数
FS	设置输入域分隔符，等价于命令行 -F选项
NF	浏览记录的域的个数，列数
NR	已读的记录数，行数
OFS	输出域分隔符
ORS	输出记录分隔符
RS	控制记录分隔符

变量$0表示整条记录，$1表示当前行的第一个域 $2表示当前行的第二个域 一次类推
cat /etc/passwd | awk -F ':' '{print $1}' #显示分割后的第一列

sed 命令利用脚原本处理文本文件

语法

sed [-hnV][-e<script>][-f<script文件>][文本文件]
参数说明：
-e 以选项中指定的script来处理输入的文本文件。
-f 以选项中指定的script文件来处理输入的文本文件。
-h或--help 显示帮助。
-n或--quiet或--silent 仅显示script处理后的结果。
-V或--version 显示版本信息。

动做说明：
a ：新增， a 的后面能够接字串，而这些字串会在新的一行出现(目前的下一行)
c ：取代， c 的后面能够接字串，这些字串能够取代 n1,n2 之间的行
d ：删除，由于是删除啊，因此 d 后面一般不接任何咚咚
i ：插入， i 的后面能够接字串，而这些字串会在新的一行出现(目前的上一行)
p ：打印，亦即将某个选择的数据印出。一般 p 会与参数 sed -n 一块儿运行
s ：取代，能够直接进行取代的工做哩！一般这个 s 的动做能够搭配正规表示法

7.使用 repren 来批量重命名文件，或是在多个文件中搜索替换内容。（有些时候 rename 命令也能够批量重命名，但要注意，它在不一样 Linux 发行版中的功能并不彻底同样。）

# 将文件、目录和内容所有重命名 foo -> bar:
repren --full --preserve-case --from foo --to bar .
# 还原全部备份文件 whatever.bak -> whatever:
repren --renames --from '(.*)\.bak' --to '\1' *.bak
# 用 rename 实现上述功能（若可用）:
 rename 's/\.bak$//' *.bak

8.shuf 能够以行为单位来打乱文件的内容或从一个文件中随机选取多行

9.对于二进制文件，使用 hd，hexdump 或者 xxd 使其以十六进制显示，使用 bvi，hexedit 或者 biew 来进行二进制编辑。

10.拆分文件可使用 split（按大小拆分）和 csplit（按模式拆分）

11.使用 getfacl 和 setfacl 以保存和恢复文件权限。

例如：
getfacl -R /some/path > permissions.txt
setfacl --restore=permissions.txt

4、系统调试

1.获取 CPU 和硬盘的使用状态，一般使用使用 top（htop 更佳），iostat 和 iotop。而 iostat -mxz 15 可让你获悉 CPU 和每一个硬盘分区的基本信息和性能表现。

2.若要了解内存状态，运行并理解 free 和 vmstat 的输出。值得留意的是“cached”的值，它指的是 Linux 内核用来做为文件缓存的内存大小，而与空闲内存无关。

3.查看你当前使用的系统，使用 uname，uname -a（Unix／kernel 信息）或者 lsb_release -a（Linux 发行版信息）。

4.若是你删除了一个文件，但经过 du 发现没有释放预期的磁盘空间，请检查文件是否被进程占用： lsof | grep deleted | grep "filename-of-my-big-file"

5、单行脚本

1.当你须要对文本文件作集合交、并、差运算时，sort 和 uniq 会是你的好帮手。此处假设 a 与 b 是两内容不一样的文件。这种方式效率很高，而且在小文件和上 G 的文件上都能运用（注意尽管在 /tmp 在一个小的根分区上时你可能须要 -T 参数，可是实际上 sort 并不被内存大小约束），参阅前文中关于 LC_ALL 和 sort 的 -u 参数的部分。

sort a b | uniq > c   # c 是 a 并 b
sort a b | uniq -d > c   # c 是 a 交 b
sort a b b | uniq -u > c   # c 是 a - b

2.使用 grep . （每行都会附上文件名）或者 head -100 （每一个文件有一个标题）来阅读检查目录下全部文件的内容。这在检查一个充满配置文件的目录（如 /sys、/proc、/etc）时特别好用

$ ls hosts out.txt| head -100 *

==> hosts <==
192.168.15.1
192.168.15.1
awdd
my name is mike hello
i am a teacher
what a stupid gay,fuck!

==> out.txt <==
out.txt
hosts

3.要持续监测文件改动，可使用 watch，例如检查某个文件夹中文件的改变，能够用 watch -d -n 2 'ls -rtlh | tail'；或者在排查 WiFi 设置故障时要监测网络设置的更改，能够用 watch -d -n 2 ifconfig。

4.若是你想在文件树上查看大小/日期，这可能看起来像递归版的 ls -l 但比 ls -lR 更易于理解：

find . -type f -ls

5.计算文本文件第三列中全部数的和（可能比同等做用的 Python 代码快三倍且代码量少三倍）

awk '{ x += $3 } END { print x }' myfile