linux学习笔记【转】

学习计时：共24小时

读书：1小时

代码：8小时

做业：3小时

博客：12小时

1、学习目标

1. 可以独立安装Linux操做系统  

2. 可以熟练使用Linux系统的基本命令  

3. 熟练使用Linux中用户管理命令/系统相关命令/文件目录相关命令/打包压缩相关命令/比较合并相关命令/网络相关命令等

4. 熟练应用“搜索”进行触类旁通的学习

 

2、学习资源

1. 课程资料：https://www.shiyanlou.com/courses/413   实验一，课程邀请码：W7FQKW4Y

2. Linux 基础入门：https://www.shiyanlou.com/courses/1(重点，第一次课考核内容所有从这里面出)

3.  Linux命令：en   cn

3、学习方法

1.  进度很重要：必须跟上每周的进度，阅读，练习，问答，项目。我会认真对待每一位同窗，请你不要由于困难半途而废。

2. 问答很重要：遇到知识难点请多多提问，这是你的权利更是您对本身负责的义务。问答到博客园讨论小组： http://group.cnblogs.com/103791/

3. 实践很重要：解决书中习题，实践书中实例，完成每周项目，才算真的消化了这本好书。经过实验楼环境或本身安装的虚拟机在实践中进行学习

4. 实验报告很重要：详细记录你完成项目任务的思路，得到老师点评和帮助本身复习。学习完成后在博客园中（ http://www.cnblogs.com/）把学习过程经过博客发表，博客标题“信息安全系统设计基础第一周学习总结”

4、学习任务

（提示：请将要求学生完成的任务、测验或思考题列在此处）

1. 重点学习 cheat/find/locate/grep/man/whereis/which/apt-get

   查找帮助文档、各类示例多多练习，这几个命令会贯穿咱们整个学习的学习，掌握这几个命令就能够很好学习其余命令了。

2. 这学期须要掌握的命令有ac,apt-get,bzip2,cat,chgrp,chmod,chown,clear,compress,cp,dd,df,diff,du,dump,evn,find,finger,free,grep,gzip,head,kill,less,ln,locate,l,gout,ls,man,mkdir,more,mount,mt,mv,netstat,nslookup,od,passwd,patch,ps,pstop,pwd,rm,shell,sort,ssh,stty,tail,tar,telnet,touch,tree,uname,unzip,vi,vim,whereis,which,who,write等

3. 测试示例：

• 请在虚拟机中安装DDD软件（其余软件）
• 请演示怎么判断DDD软件能不能安装
• 请查找系统中50M以上的文件
• 请查找系统中两天前修改过的且小于5M的文件
• 请问如何查找操做系统的信息
• 请查找当前目录下全部*.c文件中哪一个文件中包含main函数
• 请创建一个目录，里面创建两个子文目录，如何一条命令删除三个目录？
• 如何把一个目录及子目录拷贝到本身的主目录中
• ...

 

五、后续学习预告（可选）：

Linux下C语言编程基础：

VIM进行编辑

GCC进行编译

GDB进行调试

Make进行自动化

六、学习过程

 

1. 重要知识点总结梳理：

　　1.操做系统：是系统调用和内核那两层，固然直观的来看，咱们使用的操做系统还包含一些在其上运行的应用程序,好比文本编辑器，浏览器，电子邮件。

　　2.最初的操做系统当时的操做系统能运行批处理程序。批处理程序不须要用户的交互，它从文件或者穿孔卡片读取数据，而后输出到另一个文件或者打印机。

二十世纪六十年代初，交互式操做系统开始流行。它不只仅能够交互，还能使多个用户从不一样的终端同时操做主机。这样的操做系统被称做分时操做系统。

　　3.Linux 系统还提供了一个叫作终端模拟器的程序（Terminal），下面几个比较常见的终端模拟器，例如 gnome-terminal，kconsole，xterm，rxvt，kvt，nxterm 和 eterm，

　　4.Unix/Linux 操做系统下的 Shell 既是用户交互的界面，也是控制系统的脚本语言。在 UNIX/Linux 中比较流行的常见的 Shell 有 bash，zsh，ksh，csh 等等，Ubuntu 终端默认使用的是 bash，默认的桌面环境是 GNOME 或者 Unity（基于 GNOME），但咱们的环境中使用的分别是zsh 和 xfce。

　　

　　5.1).重要快捷键：

　　真正学习命令行以前，你先要掌握几个十分有用，必需掌握的小技巧：

　　[Tab]

　　使用Tab键来进行命令补全，Tab键通常键盘是在字母Q旁边，这个技巧给你带来的最大的好处就是当你忘记某个命令的全称时你能够只输入它的开头的一部分而后按下Tab键就能够获得提示或者帮助完成：

　　[Ctrl+c]

　　你就可使用Ctrl+c键来强行终止当前程序（你能够放心它并不会使终端退出）。

其余一些经常使用快捷键

按键         做用

Ctrl+d      键盘输入结束或退出终端

Ctrl+s      暂停当前程序，暂停后按下任意键恢复运行

Ctrl+z      将当前程序放到后台运行，恢复到前台为命令fg

Ctrl+a      将光标移至输入行头，至关于Home键

Ctrl+e      将光标移至输入行末，至关于End键

Ctrl+k      删除从光标所在位置到行末

Alt+Backspace 向前删除一个单词

Shift+PgUp 将终端显示向上滚动

Shift+PgDn 将终端显示向下滚动

　　2).学会利用历史输入命令

　　你可使用键盘上的方向上键，恢复你以前输入过的命令。

　　3).学会使用通配符

　　通配符是一种特殊语句，主要有星号（*）和问号（?），用来对对字符串进行模糊匹配（好比文件名，参数名）。当查找文件夹时，可使用它来代替一个或多个真正字符；当不知道真正字符或者懒得输入完整名字时，经常使用通配符代替一个或多个真正的字符。

 

　　创建多个文件的快捷方式

Shell 经常使用通配符：

字符         含义

*               匹配 0 或多个字符

?               匹配任意一个字符

[list]         匹配 list 中的任意单一字符

[!list]       匹配 除list 中的任意单一字符之外的字符

[c1-c2]     匹配 c1-c2 中的任意单一字符 如：[0-9] [a-z]

{string1,string2,...} 匹配 sring1 或 string2 (或更多)其一字符串

{c2..c2}   匹配 c1-c2 中所有字符 如{1..10}

 

4).学会在命令行中获取帮助

 

在 Linux 环境中，若是你遇到困难，可使用man 命令，它是Manual page的缩写。得到某个命令的说明和使用方式的详细介绍：

 

通常状况下，man 手册里面的内容都是英文的，这就要求你有必定的英文基础。man 手册的内容不少，涉及了 Linux 使用过程当中的方方面面，为了便于查找，是作了分册（分区段）处理的，在Research UNIX、BSD、OS X 和 Linux 中，手册一般被分为8个区段，安排以下：

区段         说明

1      通常命令

2      系统调用

3      库函数，涵盖了C标准函数库

4      特殊文件（一般是/dev中的设备）和驱动程序

5      文件格式和约定

6      游戏和屏保

7      杂项

8      系统管理命令和守护进程

　　　　要查看相应区段的内容，就在 man 后面加上相应区段的数字便可，如：

一般 man 手册中的内容不少，你可能不太容易找到你想要的结果，不过幸运的是你能够在 man 中使用搜索，/<你要搜索的关键字>，查找到后你可使用n键切换到下一个关键字所在处，shift+n为上一个关键字所在处。使用Space(空格键)翻页，Enter(回车键)向下滚动一行，或者使用j,k（vim编辑器的移动键）进行向前向后滚动一行。按下h键为显示使用帮助(由于man使用less做为阅读器，实为less工具的帮助)，按下q退出。

想要得到更详细的帮助，你还可使用info命令，不过一般使用man就足够了。若是你知道某个命令的做用，只是想快速查看一些它的某个具体参数的做用，那么你可使用--help参数，大部分命令都会带有这个参数，如：

ls --help

　　6.输入的who am i表示打开当前伪终端的用户的用户名（要查看当前登陆用户的用户名，去掉空格直接使用 whoami 便可）

　　7.who 命令其它经常使用参数

　　　　　　参数         说明

　　　　　　-a      打印能打印的所有

　　　　　　-d      打印死掉的进程

　　　　　　-m    同am i,mom likes

　　　　　　-q      打印当前登陆用户数及用户名

　　　　　　-u      打印当前登陆用户登陆信息

　　　　　　-r      打印运行等级

　　8.在 Linux 系统里， root 帐户拥有整个系统至高无上的权利，好比 新建/添加 用户。要建立用户须要 root 权限，这里就要用到 sudo 这个命令了。不过使用这个命令有两个大前提，一是你要知道当前登陆用户的密码，二是当前用户必须在 sudo 用户组。

 　　建立新用户lilei,退出当前用户跟退出终端同样可使用 exit 命令或者使用快捷键 Ctrl+d。

　　登录新用户lilei

　　退出当前用户lilei

　　9.

在 Linux 里面知道本身属于哪些用户组的方法

 

方法一：使用groups命令

$ groups shiyanlou

 

 其中冒号以前表示用户，后面表示该用户所属的用户组。这里能够看到 shiyanlou 用户同时属于 shiyanlou用户组，每次新建用户若是不指定用户组的话，默认会自动建立一个与用户名相同的用户组（差很少就至关于家长的意思，或者说是老总）。默认状况下在sudo用户组里的可使用sudo命令得到root权限。

 

方法二：查看/etc/group文件

$ cat /etc/group | sort

 提示 lilei 不在 sudoers 文件中，意思就是 lilei 不在 sudo 用户组中

 

　　使用 usermod 命令能够为用户添加用户组，一样使用该命令你必需有 root 权限，你能够直接使用 root 用户为其它用户添加用户组，或者用其它已经在 sudo 用户组的用户使用 sudo 命令获取权限来执行该命令

这里我用 shiyanlou 用户执行 sudo 命令将 lilei 添加到 sudo 用户组，让它也可使用 sudo 命令得到 root 权限

$ su shiyanlou

$ groups lilei

$ sudo usermod -G sudo lilei

$ groups lilei

而后你再切换会 lilei 用户，如今就可使用 sudo 获取 root 权限了。

　　删除用户:

　　10.查看文件权限

•文件类型

关于文件类型，这里有一点你必需时刻牢记Linux 里面一切皆文件，正由于这一点才有了设备文件（ /dev 目录下有各类设备文件，大都跟具体的硬件设备相关）这一说，还有 socket（网络套接字，具体是什么，感兴趣的用户能够本身去了解或期待实验楼的后续相关课程），和 pipe (管道，这个东西很重要，咱们之后将会讨论到，这里你先知道有它的存在便可)。软连接文件，连接文件是分为两种的，另外一种固然是“硬连接”(硬连接不经常使用，具体内容不做为本课程讨论重点，而软连接等同于Windows 上的快捷方式,你记住这一点就够了）

•文件权限

读权限，表示你可使用 cat <file name> 之类的命令来读取某个文件的内容;写权限，表示你能够编辑和修改某个文件； 执行权限，一般指能够运行的二进制程序文件或者脚本文件，如同 Windows 上的 'exe' 后缀的文件，不过 Linux 上不是经过文件后缀名来区分文件的类型。你须要注意的一点是，一个目录要同时具备读权限和执行权限才能够打开，而一个目录要有写权限才容许在其中建立其它文件，这是由于目录文件实际保存着该目录里面的文件的列表等信息

全部者权限，这一点相信你应该明白了，至于所属用户组权限，是指你所在的用户组中的全部其它用户对于该文件的权限，好比，你有一个艾派德,那么这个用户组权限就决定了你的兄弟姐妹有没有权限使用它破坏它和占有它。

•连接数

连接到该文件所在的 inode 结点的文件名数目（关于这个概念涉及到 Linux 文件系统的相关概念知识，不在本课程的讨论范围，感兴趣的用户能够本身去了解）。

•文件大小

以 inode 结点大小为单位来表示的文件大小，你能够给 ls 加上 -lh 参数来更直观的查看文件的大小。

　　ls的其余命令

 

　　　　显示除了 '.'(当前目录)，'..' 上一级目录以外的全部包含隐藏文件（Linux 下以 '.' 开头的文件为隐藏文件）

　　　　　　$ ls -A

　　　　查看某一个目录的完整属性，而不是显示目录里面的文件属性：

　　　　　　$ ls -Al

　　　　显示全部文件大小，并以普通人类能看懂的方式呈现：

　　　　　　$ ls -dl <目录名>

　　　　其中小 s 为显示文件大小，大 S 为按文件大小排序，若须要知道如何按其它方式排序，请使用“man”命令查询。

　　　　　　$ ls -AsSh

 　　11.变动文件全部者

文件music的全部者是用户lilei,将其拥有者修改成shiyanlou

12.修改文件权限

•方式一：二进制数字表示

 

 

 

每一个文件的三组权限（拥有者，所属用户组，其余用户,记住这个顺序是必定的）就对应这一个 "rwx"，也就是一个 '7' 。

•方式二：加减赋值操做

 

13.

FHS 定义了两层规范，第一层是， / 下面的各个目录应该要放什么文件数据，例如 /etc 应该要放置设置文件，/bin 与 /sbin 则应该要放置可执行文件等等。

 第二层则是针对 /usr 及 /var 这两个目录的子目录来定义。例如 /var/log 放置系统登陆文件、/usr/share 放置共享数据等等。

 

使用 cd 命令能够切换目录，在 Linux 里面使用 . 表示当前目录，.. 表示上一级目录（**注意，还记得咱们上一节介绍过的，以 . 开头的文件都是隐藏文件，因此这两个目录必然也是隐藏的，你可使用 ls -a 命令查看隐藏文件）, - 表示上一次所在目录，～ 一般表示当前用户的"home"目录。使用 pwd 命令能够获取当前所在路径（绝对路径）。

进入上一级目录：

$ cd ..

 

 

进入你的“home”目录：

$ cd ~

# 或者 cd /home/<你的用户名>

 

 

使用 pwd 获取当前路径：

$ pwd

绝对路径

 关于绝对路径，简单地说就是以根"/"目录为起点的完整路径，以你所要到的目录为终点，表现形式如： /usr/local/bin，表示根目录下的 usr 目录中的 local 目录中的 bin 目录。

 

相对路径

 

相对路径，也就是相对于你当前的目录的路径，相对路径是以当前目录 . 为起点，以你所要到的目录为终点，表现形式如： usr/local/bin （这里假设你当前目录为根目录）。

提示：在进行目录切换的过程当中请多使用 Tab 键自动补全，可避免输入错误，连续按两次Tab能够显示所有候选结果

1.新建

 新建空白文件

 使用 touch 命令建立空白文件，建立名为 test 的空白文件，由于在其余目录没有权限，因此须要先 cd ~ 切换回用户的 /home/shiyanlou 目录：

$ cd ~

$ touch test

 

新建目录

 使用 mkdir（make directories）命令能够建立一个空目录,也可同时指定建立目录的权限属性

 

建立名为"mydir"的空目录：

$ mkdir mydir

 

 使用 -p 参数，同时建立父目录（若是不存在该父目录），以下咱们同时建立一个多级目录（这在有时候安装软件，配置安装路径时很是有用）：

$ mkdir -p father/son/grandson

2.复制

 

复制文件

 

使用cp（copy）命令复制一个文件或目录到指定目录。将以前建立的"test"文件复制到"/home/shiyanlou/father/son/grandson"目录中：

$ cp test father/son/grandson

复制目录

 

要成功复制目录须要加上-r或者-R参数，表示递归复制，就是说有点“株连九族”的意思：

$ cp -r father family

3.删除

 

删除文件

 

使用rm（remove files or directories）命令，删除一个文件或目录：

$ rm test

你若是想忽略这提示，直接删除文件，可使用-f参数强制删除：

$ rm -f test

删除目录

 

跟复制目录同样，要删除一个目录，也须要加上-r或-R参数：

$ rm -r family

4.移动文件与文件重命名

 

移动文件

 

使用mv(move or rename files)命令，移动文件（剪切）。将文件"file1"移动到"Documents"目录mv 源目录文件 目的目录：

$ mv file1 Documents

重命名文件

 

将文件"file1"重命名为"myfile" mv 旧的文件名 新的文件名：

$ mv file1 myfile

5.查看文件

 

使用cat,tac和nl命令查看文件

 

这两个命令都是用来打印文件内容到标准输出（终端）,其中cat为正序显示，tac倒序显示。

nl命令，添加行号并打印，这是个比cat -n更专业的行号打印命令。

 

这里简单列举它的经常使用的几个参数：

-b : 指定添加行号的方式，主要有两种：

    -b a:表示不管是否为空行，一样列出行号("cat -n"就是这种方式)

    -b t:只列出非空行的编号并列出（默认为这种方式）

-n : 设置行号的样式，主要有三种：

    -n ln:在行号字段最左端显示

    -n rn:在行号字段最右边显示，且不加 0

    -n rz:在行号字段最右边显示，且加 0

-w : 行号字段占用的位数(默认为 6 位)

使用more工具打开passwd文件：

$ more passwd

这里想到系统新增长一个用户，应该会将用户的信息添加到passwd文件的最后，那么这时候咱们就可使用tail命令了：

$ tail /etc/passwd

 

 

甚至更直接的只看一行， 加上-n参数，后面紧跟行数：

$ tail -n 1 /etc/passwd

6.查看文件类型

 

前面我提到过，在 Linux 下面文件的类型不是根据文件后缀来判断的，咱们一般使用file命令能够查看文件的类型：

$ file /bin/ls

7.编辑文件

$ vimtutor

　　15.

1、环境变量

 1.变量

变量的做用域即变量的有效范围（好比一个函数中、一个源文件中或者全局范围），在该范围内只能有一个同名变量。一旦离开则该变量无效，如同不存在这个变量通常。

使用=号赋值运算符为变量 tmp 赋值为 shiyanlou：

$ tmp=shiyanlou

读取变量的值，使用echo命令和$符号（$符号用于表示引用一个变量的值，初学者常常会忘记输入）：

$ echo $tmp

2.环境变量

简单理解了变量的概念，就很好解释环境变量了，环境变量就是做用域比自定义变量要大，如Shell 的环境变量做用于自身和它的子进程。

一般咱们会涉及到的环境变量有三种：

•当前 Shell 进程私有用户自定义变量，如上面咱们建立的 temp 变量，只在当前 Shell 中有效。

•Shell 自己内建的变量。

•从自定义变量导出的环境变量。

 

也有三个与上述三种环境变量相关的命令，set，env，export。

 

命令　　说明

set 　　　　显示当前 Shell 全部环境变量，包括其内建环境变量（与 Shell 外观等相关），用户自定义变量及导出的环境变量

env 　　　  显示与当前用户相关的环境变量，还可让命令在指定环境中运行

export 　　显示从 Shell 中导出成环境变量的变量，也能经过它将自定义变量导出为环境变量

3.命令的查找路径与顺序

咱们在 Shell 中输入一个命令，Shell 是怎么知道在哪去找到这个命令而后执行的呢？这是经过环境变量PATH来进行搜索的，这个PATH里面就保存了Shell中执行的命令的搜索路径。

 查看PATH环境变量的内容：

$ echo $PATH

一般这一类目录下放的都是可执行文件，当咱们在 Shell 中执行一个命令时，系统就会按照 PATH 中设定的路径按照顺序依次到目录中去查找，若是存在同名的命令，则执行先找到的那个。

建立一个 Shell 脚本文件：

$ vim hello_shell.sh

在脚本中添加以下内容，保存并退出（注意不要省掉第一行，这不是注释，论坛有用户反应会有语法错误，就是由于没有了第一行）：

#!/bin/zsh

for ((i=0; i<10; i++));do

    echo "hello shell"

done

exit 0

文件添加可执行权限：

$ chmod 755 hello_shell.sh

执行脚本

$ ./hello_shell.sh

建立一个 C 语言"hello world"程序：

$ vim hello_world.c

#include <stdio.h>

int main(void)

{

    printf("hello world!\n");

    return 0;

}

使用 gcc 生成可执行文件：

$ gcc -o hello_world hello_world.c

gcc 生成二进制文件默认具备可执行权限，不须要修改

在 shiyanlou 家目录建立一个mybin目录，并将上述 hello_shell.sh 和 hello_world 文件移动到其中：

$ mkdir mybin

$ mv hello_shell.sh hello_world mybin/

如今你能够在mybin目录中分别运行你刚刚建立的两个程序：

$ cd mybin

$ ./hello_shell.sh

$ ./hello_world

 4.添加自定义路径到“PATH”环境变量

在前面咱们应该注意到PATH里面的路径是以：做为分割符，因此咱们能够这样添加自定义路径：

$ PATH=$PATH:/home/shiyanlou/mybin

注意这里必定要使用绝对路径

$ echo "PATH=$PATH:/home/shiyanlou/mybin" >> .zshrc

 

 

上述命令中>>表示将标准输出以追加的方式重定向到一个文件中，注意前面用到的>是以覆盖的方式重定向到一个文件中，使用的时候必定要注意分辨。在指定文件不存在的状况下都会建立新的文件。

5.修改和删除已有变量

 

变量修改

变量的修改有如下几种方式：

变量设置方式         说明

${变量名#匹配字串}     从头向后开始匹配，删除符合匹配字串的最短数据

${变量名##匹配字串}   从头向后开始匹配，删除符合匹配字串的最长数据

${变量名%匹配字串}    从尾向前开始匹配，删除符合匹配字串的最短数据

${变量名%%匹配字串} 从尾向前开始匹配，删除符合匹配字串的最长数据

${变量名/旧的字串/新的字串}  将符合旧字串的第一个字串替换为新的字串

${变量名//旧的字串/新的字串} 将符合旧字串的所有字串替换为新的字串

 

变量删除

可使用unset命令删除一个环境变量：

$ unset temp

 

6.如何让环境变量当即生效

在上面咱们在 Shell 中修改了一个配置脚本文件以后（好比 zsh 的配置文件 home 目录下的.zshrc），每次都要退出终端从新打开甚至重启主机以后其才能生效，非常麻烦，咱们可使用source命令来让其当即生效，如：

$ source .zshrc

$ . ./.zshrc

注意第一个点后面有一个空格，并且后面的文件必须指定完整的绝对或相对路径名，source 则不须要。

　　16.搜索文件

与搜索相关的命令经常使用的有以下几个whereis,which,find,locate。

 

•whereis简单快速

$whereis who

若是想要得到更全面的搜索结果可使用locate命令。（注意,它不仅是在 etc 目录下查找并会自动递归子目录进行查找）

•locate快而全

 查找 /usr/share/ 下全部 jpg 文件：

$ locate /usr/share/\*.jpg

注意要添加*号前面的反斜杠转义，不然会没法找到

若是想只统计数目能够加上-c参数，-i参数能够忽略大小写进行查找，whereis 的-b,-m，-s一样能够是使用。

 which小而精

which自己是 Shell 内建的一个命令，咱们一般使用which来肯定是否安装了某个指定的软件，由于它只从PATH环境变量指定的路径中去搜索命令：

$ which man

 •find精而细

find应该是这几个命令中最强大的了，它不但能够经过文件类型、文件名进行查找并且能够根据文件的属性（如文件的时间戳，文件的权限等）进行搜索。find命令强大到，要把它将明白至少须要单独好几节课程才行，咱们这里只介绍一些经常使用的内容。

在指定目录下搜索指定文件名的文件：

$ find /etc/ -name interfaces

 注意 find 命令的路径是做为第一个参数的， 基本命令格式为 find [path] [option] [action]

与时间相关的命令参数：

 

参数         说明

 

-atime 最后访问时间 

 

-ctime 建立时间

 

-mtime 最后修改时间

 

 

 

下面以-mtime参数举例：

 

•-mtime n: n 为数字，表示为在n天以前的”一天以内“修改过的文件

 

•-mtime +n: 列出在n天以前（不包含n天自己）被修改过的文件

 

•-mtime -n: 列出在n天以前（包含n天自己）被修改过的文件

 

•newer file: file为一个已存在的文件，列出比file还要新的文件名

 

列出 home 目录中，当天（24 小时以内）有改动的文件：

 

$ find ~ -mtime 0

 

列出用户家目录下比Code文件夹新的文件：

$ find ~ -newer /home/shiyanlou/Code

17.文件打包和解压缩

在讲 Linux 上的解压缩工具以前，有必要先了解如下常见经常使用的压缩包文件格式。在 Windows 上咱们最多见的不外乎这三种*.zip,*.rar,*.7z后缀的压缩文件，而在 Linux 上面常见经常使用的除了以上这三种外，还有*.gz,*.xz,*.bz2,*.tar,*.tar.gz,*.tar.xz,*tar.bz2，简单介绍以下：

文件后缀名     说明

*.zip zip             程序打包压缩的文件

*.rar rar            程序压缩的文件

*.7z 7zip           程序压缩的文件

*.tar tar            程序打包，未压缩的文件

*.gz gzip           程序(GNU zip)压缩的文件

*.xz xz               程序压缩的文件

*.bz2 bzip2       程序压缩的文件

*.tar.gz tar       打包，gzip程序压缩的文件

*.tar.xz tar       打包，xz程序压缩的文件

*tar.bz2 tar      打包，bzip2程序压缩的文件

*.tar.7z tar       打包，7z程序压缩的文件

讲了这么多种压缩文件，这么多个命令，不过咱们通常只须要掌握几个命令便可，包括zip,rar,tar。

1.zip压缩打包程序

•使用zip打包文件夹：

•设置压缩级别为9和1（9最大,1最小），从新打包：

$ zip -r -9 -q -o shiyanlou_9.zip /home/shiyanlou -x ~/*.zip

$ zip -r -1 -q -o shiyanlou_1.zip /home/shiyanlou -x ~/*.zip

这里添加了一个参数用于设置压缩级别-[1-9]，1表示最快压缩但体积大，9表示体积最小但耗时最久。最后那个-x是为了排除咱们上一次建立的 zip 文件，不然又会被打包进这一次的压缩文件中，注意:这里只能使用绝对路径，不然不起做用。

咱们再用du命令分别查看默认压缩级别、最低、最高压缩级别及未压缩的文件的大小：

$ du -h -d 0 *.zip ~ | sort

经过man 手册可知：

•h, --human-readable（顾名思义，你能够试试不加的状况）

•d, --max-depth（所查看文件的深度）

•建立加密zip包

 

使用-e参数能够建立加密压缩包：

$ zip -r -e -o shiyanlou_encryption.zip /home/shiyanlou

 

 

注意: 关于zip命令，由于 Windows 系统与 Linux/Unix 在文本文件格式上的一些兼容问题，好比换行符（为不可见字符），在 Windows 为 CR+LF（Carriage-Return+Line-Feed：回车加换行），而在 Linux/Unix 上为 LF（换行），因此若是在不加处理的状况下，在 Linux 上编辑的文本，在 Windows 系统上打开可能看起来是没有换行的。若是你想让你在 Linux 建立的 zip 压缩文件在 Windows 上解压后没有任何问题，那么你还须要对命令作一些修改：

$ zip -r -l -o shiyanlou.zip /home/shiyanlou

18.使用unzip命令解压缩zip文件

将shiyanlou.zip解压到当前目录：

$ unzip shiyanlou.zip

 使用安静模式，将文件解压到指定目录：

$ unzip -q shiyanlou.zip -d ziptest

若是你不想解压只想查看压缩包的内容你可使用-l参数：

$ unzip -l shiyanlou.zip

 

 

注意： 使用unzip解压文件时咱们一样应该注意兼容问题，不过这里咱们关心的再也不是上面的问题，而是中文编码的问题，一般 Windows 系统上面建立的压缩文件，若是有有包含中文的文档或以中文做为文件名的文件时默认会采用 GBK 或其它编码，而 Linux 上面默认使用的是 UTF-8 编码，若是不加任何处理，直接解压的话可能会出现中文乱码的问题（有时候它会自动帮你处理），为了解决这个问题，咱们能够在解压时指定编码类型。

 

使用-O（英文字母，大写o）参数指定编码类型：

unzip -O GBK 中文压缩文件.zip

3.rar打包压缩命令

 

rar也是 Windows 上经常使用的一种压缩文件格式，在 Linux 上可使用rar和unrar工具分别建立和解压 rar 压缩包。

•安装rar和unrar工具：

$ sudo apt-get update

$ sudo apt-get install rar unrar

 

•从指定文件或目录建立压缩包或添加文件到压缩包：

$ rm *.zip

$ rar a shiyanlou.rar .

 

 

上面的命令使用a参数添加一个目录～到一个归档文件中，若是该文件不存在就会自动建立。

 

注意：rar 的命令参数没有-，若是加上会报错。

•从指定压缩包文件中删除某个文件：

$ rar d shiyanlou.rar .zshrc

 

•查看不解压文件：

$ rar l shiyanlou.rar

 

•使用unrar解压rar文件

 

全路径解压：

$ unrar x shiyanlou.rar

 

 

去掉路径解压：

$ mkdir tmp

$ unrar e shiyanlou.rar tmp/

 

 

4.tar打包工具

tar 的解压和压缩都是同一个命令，只需参数不一样，使用比较方便。

 

下面先掌握tar命令一些基本的使用方式，即不进行压缩只是进行打包（建立归档文件）和解包的操做。

•建立一个 tar 包：

$ tar -cf shiyanlou.tar ~

•解包一个文件(-x参数)到指定路径的已存在目录(-C参数)：

$ mkdir tardir

$ tar -xf shiyanlou.tar -C tardir

 

•只查看不解包文件-t参数：

$ tar -tf shiyanlou.tar

 

•保留文件属性和跟随连接（符号连接或软连接），有时候咱们使用tar备份文件当你在其余主机还原时但愿保留文件的属性(-p参数)和备份连接指向的源文件而不是连接自己(-h参数)：

$ tar -cphf etc.tar /etc

 

 

对于建立不一样的压缩格式的文件，对于tar来讲是至关简单的，须要的只是换一个参数，这里咱们就以使用gzip工具建立*.tar.gz文件为例来讲明。

•咱们只须要在建立 tar 文件的基础上添加-z参数，使用gzip来压缩文件：

$ tar -czf shiyanlou.tar.gz ~

 

•解压*.tar.gz文件：

$ tar -xzf shiyanlou.tar.gz

如今咱们要使用其余的压缩工具建立或解压相应文件只须要更改一个参数便可：

压缩文件格式         参数

*.tar.gz                     -z

*.tar.xz                      -J

*tar.bz2                      -j

19.简单文件系统操做

1.查看磁盘和目录的容量

使用 df 命令查看磁盘的容量

$ df

$ df -h

如今你就可使用命令查看你主机磁盘的使用状况了。至于挂载点若是你还记得前面第 4 节介绍 Linux 目录树结构的内容，那么你就应该能很好的理解挂载的概念，这里就再也不赘述。

 使用 du 命令查看目录的容量，这个命令前面其实已经用了不少次了：

# 默认一样以 blocks 的大小展现

$ du

# 加上`-h`参数，以更易读的方式展现

$ du -h

 

-d参数指定查看目录的深度

# 只查看1级目录的信息

$ du -h -d 0 ~

# 查看2级

$ du -h -d 1 ~

du（estimate file space usage）命令与df（report file system disk space usage）只用一字只差，首先就但愿注意不要弄混淆了,以能够像我这样从man手册中获取命令的完整描述，记全称就不会搞混了。

2、简单的磁盘管理

下面涉及的命令具备必定的危险性，操做不当可能会丢失你的我的数据，初学者建议在虚拟环境中进行操做

 

1. 建立虚拟磁盘

的命令行语句与其余的 Linux 程序不一样，由于它的命令行选项格式为选项=值，而不是更标准的--选项 值或-选项=值。dd默认从标准输入中读取，并写入到标准输出中，但能够用选项if（input file，输入文件）和of（output file，输出文件）改变。

咱们先来试试用dd命令从标准输入读入用户输入到标准输出或者一个文件：

# 输出到文件

$ dd of=test bs=10 count=1 # 或者 dd if=/dev/stdin of=test bs=10 count=1

# 输出到标准输出

$ dd if=/dev/stdin of=/dev/stdout bs=10 count=1

将输出的英文字符转换为大写再写入文件：

$ dd if=/dev/stdin of=test bs=10 count=1 conv=ucase

使用 dd 命令建立虚拟镜像文件

经过上面一小节，你应该掌握了dd的基本使用，下面就来使用dd命令来完成建立虚拟磁盘的第一步。

从/dev/zero设备建立一个容量为 256M 的空文件：

$ dd if=/dev/zero of=virtual.img bs=1M count=256

$ du -h virtual.img

 

使用 mkfs 命令格式化磁盘（咱们这里是本身建立的虚拟磁盘镜像）

你能够在命令行输入 mkfs 而后按下Tab键，你能够看到不少个以 mkfs 为前缀的命令，这些不一样的后缀其实就是表示着不一样的文件系统，能够用 mkfs 格式化成的文件系统：

咱们能够简单的使用下面的命令来将咱们的虚拟磁盘镜像格式化为ext4文件系统：

$ mkfs.ext4 virtual.img

 

 

使用 mount 命令挂载磁盘到目录树

 

咱们先来使用mount来查看下主机已经挂载的文件系统：

$ sudo mount

那么咱们如何挂载真正的磁盘到目录树呢，mount命令的通常格式以下：

mount [options] [source] [directory]

 

 一些经常使用操做：

 

mount [-o [操做选项]] [-t 文件系统类型] [-w|--rw|--ro] [文件系统源] [挂载点]

咱们如今直接来挂载咱们建立的虚拟磁盘镜像到/mnt目录：

$ mount -o loop -t ext4 virtual.img /mnt

# 也能够省略挂载类型，不少时候 mount 会自动识别

# 以只读方式挂载

$ mount -o loop --ro virtual.img /mnt

# 或者mount -o loop,ro virtual.img /mnt

 

使用 umount 命令卸载已挂载磁盘

# 命令格式 sudo umount 已挂载设备名或者挂载点，如：

$ sudo umount /mnt

咱们重点开一下中间的分区信息，/dev/sda1，/dev/sda2 为主分区分别安装了 Windows 和 Linux 操做系统，/dev/sda3 为交换分区（能够理解为虚拟内存），/dev/sda4 为扩展分区其中包含 /dev/sda5，/dev/sda6，/dev/sda7，/dev/sda8 四个逻辑分区，由于主机上有几个分区之间有空隙，没有对齐边界扇区,因此分区之间的不是彻底连续的。

 

# 进入磁盘分区模式

$ sudo fdisk virtual.img

使用 losetup 命令创建镜像与回环设备的关联

$ sudo losetup /dev/loop0 virtual.img

 

# 若是提示设备忙你也可使用其它的回环设备，"ls /dev/loop*"参看全部回环设备# 解除设备关联

 

$ sudo losetup -d /dev/loop0

而后再使用mkfs格式化各分区（前面咱们是格式化整个虚拟磁盘镜像文件或磁盘），不过格式化以前，咱们还要为各分区创建虚拟设备的映射，用到kpartx工具，须要先安装：

$ sudo apt-get install kpartx

$ sudo kpart kpartx -av /dev/loop0

# 取消映射

$ sudo kpart kpartx -dv /dev/loop0接着再是格式化，咱们将其所有格式化为 ext4：

 

$ sudo mkfs.ext4 -q /dev/mapper/loop0p1

 

$ sudo mkfs.ext4 -q /dev/mapper/loop0p5

 

$ sudo mkfs.ext4 -q /dev/mapper/loop0p6

 

 格式化完成后在/media目录下新建四个空目录用于挂载虚拟磁盘：

 

$ mkdir -p /media/virtualdisk_{1..3}

# 挂载磁盘分区

$ sudo mount /dev/mapper/loop0p1 /media/virtualdisk_1

$ sudo mount /dev/mapper/loop0p5 /media/virtualdisk_2

$ sudo mount /dev/mapper/loop0p6 /media/virtualdisk_3

# 卸载磁盘分区

$ sudo umount /dev/mapper/loop0p1

$ sudo umount /dev/mapper/loop0p5

$ sudo umount /dev/mapper/loop0p6

而后：

$ df -h

　　20.1、命令执行顺序的控制

顺序执行多条命令:简单的顺序执行你可使用;来完成

有选择的执行命令:那么咱们须要可以有选择性的来执行命令，好比上一条命令执行成功才继续下一条，或者不成功又该作出其它什么处理,好比咱们使用which来查找是否安装某个命令，若是找到就执行该命令，不然什么也不作（虽然这个操做没有什么实际意义，但可帮你更好的理解一些概念）：

$ which cowsay>/dev/null && cowsay -f head-in ohch~

你若是没有安装cowsay，你能够先执行一次上述命令，你会发现什么也没发生，你再安装好以后你再执行一次上述命令，你也会发现一些惊喜。上面的&&就是用来实现选择性执行的，它表示若是前面的命令执行结果（不是表示终端输出的内容，而是表示命令执行状态的结果）返回0则执行后面的，不然不执行，你能够从$?环境变量获取上一次命令的返回结果：

||在这里就是与&&相反的控制效果，当上一条命令执行结果为≠0($?≠0)时则执行它后面的命令

 

　　2、管道

1.试用

先试用一下管道，好比查看/etc目录下有哪些文件和目录，使用ls命令来查看：

$ ls -al /etc

有太多内容，屏幕不能彻底显示，这时候可使用滚动条或快捷键滚动窗口来查看。不过这时候可使用管道：

$ ls -al /etc | less

 

经过管道将前一个命令(ls)的输出做为下一个命令(less)的输入，而后就能够一行一行地看。

2.cut 命令，打印每一行的某一字段

打印/etc/passwd文件中以:为分隔符的第1个字段和第6个字段分别表示用户名和其家目录：

$ cut /etc/passwd -d ':' -f 1,6

打印/etc/passwd文件中每一行的前N个字符：

 

# 前五个（包含第五个）

$ cut /etc/passwd -c -5

# 前五个以后的（包含第五个）

$ cut /etc/passwd -c 5-

# 第五个

$ cut /etc/passwd -c 5

# 2到5之间的（包含第五个）

$ cut /etc/passwd -c 2-5

　　3.grep 命令，在文本中或 stdin 中查找匹配字符串

grep命令是很强大的，也是至关经常使用的一个命令，它结合正则表达式能够实现很复杂却很高效的匹配和查找，不过在学习正则表达式以前，这里介绍它简单的使用，而关于正则表达式后面将会有单独一小节介绍到时会再继续学习grep命令和其余一些命令。

grep命令的通常形式为：grep [命令选项]... 用于匹配的表达式 [文件]...

仍是先体验一下，咱们搜索/home/shiyanlou目录下全部包含"shiyanlou"的全部文本文件，并显示出如今文本中的行号：

$ grep -rnI "shiyanlou" ~

-r 参数表示递归搜索子目录中的文件,-n表示打印匹配项行号，-I表示忽略二进制文件。这个操做实际没有多大意义，但能够感觉到grep命令的强大与实用。

固然也能够在匹配字段中使用正则表达式，下面简单的演示：

# 查看环境变量中以"yanlou"结尾的字符串

$ export | grep ".*yanlou$"

4. wc 命令，简单小巧的计数工具

wc 命令用于统计并输出一个文件中行、单词和字节的数目，好比输出/etc/passwd文件的统计信息：

$ wc /etc/passwd

 分别只输出行数、单词数、字节数、字符数和输入文本中最长一行的字节数：

# 行数

$ wc -l /etc/passwd

# 单词数

$ wc -w /etc/passwd

# 字节数

$ wc -c /etc/passwd

# 字符数

$ wc -m /etc/passwd

# 最长行字节数

$ wc -L /etc/passwd

注意：对于西文字符来讲，一个字符就是一个字节，但对于中文字符一个汉字是大于2个字节的，具体数目是由字符编码决定的

再来结合管道来操做一下，下面统计 /etc 下面全部目录数：

$ ls -dl /etc/*/ | wc -l

5.sort 排序命令

这个命令前面咱们也是用过屡次，功能很简单就是将输入按照必定方式排序，而后再输出,它支持的排序有按字典排序,数字排序，按月份排序，随机排序，反转排序，指定特定字段进行排序等等。

默认为字典排序：

$ cat /etc/passswd | sort

 

反转排序：

$ cat /etc/passwd | sort -r

按特定字段排序：

$ cat /etc/passwd | sort -t':' -k 3

上面的-t参数用于指定字段的分隔符，这里是以":"做为分隔符；-k 字段号用于指定对哪个字段进行排序。这里/etc/passwd文件的第三个字段为数字，默认状况下是一字典序排序的，若是要按照数字排序就要加上-n参数：

 

$ cat /etc/passwd | sort -t':' -k 3 -n

6. uniq 去重命令

uniq命令能够用于过滤或者输出重复行。

 

• •过滤重复行可使用history命令查看最近执行过的命令（实际为读取${SHELL}_history文件,如咱们环境中的~/.zsh_history文件），不过你可能只想查看使用了那个命令而不须要知道具体干了什么，那么你可能就会要想去掉命令后面的参数而后去掉重复的命令：

 

$ history | cut -c 8- | cut -d ' ' -f 1 | uniq

不那么明显，之因此不明显是由于uniq命令只能去连续重复的行，不是全文去重，因此要达到预期效果，咱们先排序：

 

$ history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq

# 或者$ history | cut -c 8- | cut -d ' ' -f 1 | sort -u

 

• •输出重复行

# 输出重复过的行（重复的只输出一个）及重复次数

$ history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -dc

# 输出全部重复的行

$ history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -D

 21.文本处理命令

 

1.tr 命令

 

tr 命令能够用来删除一段文本信息中的某些文字。或者将其进行转换。

使用方式：

tr [option]...SET1 [SET2]

经常使用的选项有：

选项   说明

-d 删除和set1匹配的字符，注意不是全词匹配也不是按字符顺序匹配

-s 去除set1指定的在输入文本中连续并重复的字符

操做举例：

# 删除 "hello shiyanlou" 中全部的'o','l','h'

$ echo 'hello shiyanlou' | tr -d 'olh'

# 将"hello" 中的ll,去重为一个l

$ echo 'hello' | tr -s 'l'

# 将输入文本，所有转换为大写或小写输出

$ cat /etc/passwd | tr '[:lower:]' '[:upper:]'

# 上面的'[:lower:]' '[:upper:]'你也能够简单的写做'[a-z]' '[A-Z]',固然反过来将大写变小写也是能够的

2.col 命令

 

col 命令能够将Tab换成对等数量的空格建，或反转这个操做。

 使用方式：

col [option]

经常使用的选项有：

选项            说明

-x 将Tab转换为空格

-h 将空格转换为Tab（默认选项）

 

操做举例：

# 查看 /etc/protocols 中的不可见字符，能够看到不少 ^I ，这其实就是 Tab 转义成可见字符的符号

$ cat -A /etc/protocols

# 使用 col -x 将 /etc/protocols 中的 Tab 转换为空格,而后再使用 cat 查看，你发现 ^I 不见了

$ cat /etc/protocols | col -x | cat -A

3.join命令

学过数据库的用户对这个应该不会陌生，这个命令就是用于将两个文件中包含相同内容的那一行合并在一块儿。

使用方式：

join [option]... file1 file2

经常使用的选项有：

选项            说明

-t 指定分隔符，默认为空格

-i 忽略大小写的差别

-1 指明第一个文件要用哪一个字段来对比，，默认对比第一个字段

-2 指明第二个文件要用哪一个字段来对比，，默认对比第一个字段

 

操做举例：

# 建立两个文件

$ echo '1 hello' > file1

$ echo '1 shiyanlou' > file2

$ join file1 file2

# 将/etc/passwd与/etc/shadow两个文件合并，指定以':'做为分隔符

$ sudo join -t':' /etc/passwd /etc/shadow

# 将/etc/passwd与/etc/group两个文件合并，指定以':'做为分隔符, 分别比对第4和第3个字段

$ sudo join -t':' -1 4 /etc/passwd -2 3 /etc/group

4.paste命令

paste这个命令与join 命令相似，它是在不对比数据的状况下，简单地将多个文件合并一块儿，以Tab隔开。

使用方式：

paste [option] file...

经常使用的选项有：

选项   说明

-d 指定合并的分隔符，默认为Tab

-s 不合并到一行，每一个文件为一行

 

操做举例：

$ echo hello > file1

$ echo shiyanlou > file2

$ echo www.shiyanlou.com > file3

$ paste -d ':' file1 file2 file3

$ paste -s file1 file2 file3

 

 

23.简单的重定向

 在更多了解 Linux 的重定向以前，咱们须要先知道一些基本的东西，前面咱们已经提到过 Linux 默认提供了三个特殊设备，用于终端的显示和输出，分别为stdin（标准输入,对应于你在终端的输入），stdout（标准输出，对应于终端的输出），stderr（标准错误输出，对应于终端的输出）。

文件描述符

 

设备文件　　说明

0 /dev/stdin 标准输入

1 /dev/stdout 标准输出

2 /dev/stderr 标准错误

咱们能够这样使用这些文件描述符：

 

默认使用终端的标准输入做为命令的输入和标准输出做为命令的输出

$ cat

（按Ctrl+C退出）

 

 

将cat的连续输出（heredoc方式）重定向到一个文件

$ mkdir Documents

$ cat > Documents/test.c\~ <<EOF

#include <stdio.h>

 

int main()

{

    printf("hello world\n");

    return 0;

}

 

EOF

 

 

将一个文件做为命令的输入，标准输出做为命令的输出

$ cat Documents/test.c\~

 

 

将echo命令经过管道传过来的数据做为cat命令的输入，将标准输出做为命令的输出

$ echo 'hi' | cat

 

 

将echo命令的输出从默认的标准输出重定向到一个普通文件

$ echo 'hello shiyanlou' > redirect

$ cat redirect

.标准错误重定向

 

重定向标准输出到文件，这是一个很实用的操做，另外一个很实用的操做是将标准错误重定向，标准输出和标准错误都被指向伪终端的屏幕显示，因此咱们常常看到的一个命令的输出一般是同时包含了标准输出和标准错误的结果的。好比下面的操做：

# 使用cat 命令同时读取两个文件，其中一个存在，另外一个不存在

$ cat Documents/test.c\~ hello.c

# 你能够看到除了正确输出了前一个文件的内容，还在末尾出现了一条错误信息

# 下面咱们将输出重定向到一个文件，根据咱们前面的经验，这里将在看不到任何输出了

$ cat Documents/test.c\~ hello.c > somefile

# 将标准错误重定向到标准输出，再将标准输出重定向到文件，注意要将重定向到文件写到前面

$ cat Documents/test.c\~ hello.c >somefile  2>&1

# 或者只用bash提供的特殊的重定向符号"&"将标准错误和标准输出同时重定向到文件

$ cat Documents/test.c\~ hello.c &>somefilehell

 

 

注意你应该在输出重定向文件描述符前加上&,不然shell会当作重定向到一个文件名为1的文件中

3.使用tee命令同时重定向到多个文件

 

常常你可能还有这样的需求，除了将须要将输出重定向到文件以外也须要将信息打印在终端，那么你可使用tee命令来实现：

$ echo 'hello shiyanlou' | tee hello

4.永久重定向

你应该能够看出咱们前面的重定向操做都只是临时性的，即只对当前命令有效，那如何作到“永久”有效呢，好比在一个脚本中，你须要某一部分的命令的输出所有进行重定向，难道要让你在每一个命令上面加上临时重定向的操做嘛，固然不须要，咱们可使用exec命令实现“永久”重定向。exec命令的做用是使用指定的命令替换当前的 Shell，及使用一个进程替换当前进程，或者指定新的重定向：

# 先开启一个子 Shell

$ zsh

# 使用exec替换当前进程的重定向，将标准输出重定向到一个文件

$ exec 1>somefile

# 后面你执行的命令的输出都将被重定向到文件中,直到你退出当前子shell，或取消exec的重定向（后面将告诉你怎么作）

$ ls

$ exit

$ cat somefile

5.建立输出文件描述符

默认在 Shell 中能够有9个打开的文件描述符，上面咱们使用了也是它默认提供的0,1,2号文件描述符，另外咱们还可使用3-8的文件描述符，只是它们默认没有打开而已，你可使用下面命令查看当前 Shell 进程中打开的文件描述符：

$ cd /dev/fd/;ls -Al

一样使用exec命令能够建立新的文件描述符：

$ zsh

$ exec 3>somefile

# 先进入目录，再查看，不然你可能不能获得正确的结果，而后再回到上一次的目录

$ cd /dev/fd/;ls -Al;cd -

# 注意下面的命令>与&之间不该该有空格，若是有空格则会出错

$ echo "this is test" >&3

$ cat somefile

$ exit

 

6.关闭文件描述符

 

如上面咱们打开的3号文件描述符，可使用以下操做将它关闭：

$ exec 3>&-

$ cd /dev/fd;ls -Al;cd -

 

 

7.彻底屏蔽命令的输出

 

在 Linux 中有一个被成为“黑洞”的设备文件,因此导入它的数据都将被“吞噬”。

 

 

在类 UNIX 系统中，/dev/null，或称空设备，是一个特殊的设备文件，它一般被用于丢弃不须要的输出流，或做为用于输入流的空文件，这些操做一般由重定向完成。读取它则会当即获得一个EOF。

 

咱们能够利用设个/dev/null屏蔽命令的输出：

$ cat Documents/test.c\~ nefile 1>/dev/null 2>&1

 

 

向上面这样的操做将使你得不到任何输出结果。

8.使用 xargs 分割参数列表

xargs 是一条 UNIX 和类 UNIX 操做系统的经常使用命令。它的做用是将参数列表转换成小块分段传递给其余命令，以免参数列表过长的问题。

这个命令在有些时候十分有用，特别是当用来处理产生大量输出结果的命令如 find，locate 和 grep 的结果，详细用法请参看 man 文档。

$ cut -d: -f1 < /etc/passwd | sort | xargs echo

上面这个命令用于将/etc/passwd文件按:分割取第一个字段排序后，使用echo命令生成一个列表。

 24.1、正则表达式

正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为 regex、regexp 或 RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在不少文本编辑器里，正则表达式一般被用来检索、替换那些符合某个模式的文本。

2.基本语法：

 一个正则表达式一般被称为一个模式（pattern），为用来描述或者匹配一系列符合某个句法规则的字符串。

 

选择

 

|竖直分隔符表示选择，例如"boy|girl"能够匹配"boy"或者"girl"

 

数量限定

 

数量限定除了咱们举例用的*,还有+加号,?问号,.点号，若是在一个模式中不加数量限定符则表示出现一次且仅出现一次：

• •+表示前面的字符必须出现至少一次(1次或屡次)，例如，"goo+gle",能够匹配"gooogle","goooogle"等；
• •?表示前面的字符最多出现一次(0次或1次)，例如，"colou?r",能够匹配"color"或者"colour";
• •*星号表明前面的字符能够不出现，也能够出现一次或者屡次（0次、或1次、或屡次），例如，“0*42”能够匹配4二、04二、004二、00042等。

 

范围和优先级

 

()圆括号能够用来定义模式字符串的范围和优先级，这能够简单的理解为是否将括号内的模式串做为一个总体。例如，"gr(a|e)y"等价于"gray|grey"，（这里体现了优先级，竖直分隔符用于选择a或者e而不是gra和ey），"(grand)?father"匹配father和grandfather（这里体验了范围，?将圆括号内容做为一个总体匹配）。

 

语法（部分）

 

正则表达式有多种不一样的风格，下面列举一些经常使用的做为 PCRE 子集的适用于perl和python编程语言及grep或egrep的正则表达式匹配规则：(因为markdown表格解析的问题，下面的竖直分隔符用全角字符代替，实际使用时请换回半角字符)

 

 

PCRE（Perl Compatible Regular Expressions中文含义：perl语言兼容正则表达式）是一个用 C 语言编写的正则表达式函数库，由菲利普.海泽(Philip Hazel)编写。PCRE是一个轻量级的函数库，比Boost 之类的正则表达式库小得多。PCRE 十分易用，同时功能也很强大，性能超过了 POSIX 正则表达式库和一些经典的正则表达式库。

 

 

字符

 

描述

 

 

\ 将下一个字符标记为一个特殊字符、或一个原义字符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。序列“\\”匹配“\”而“\(”则匹配“(”。

^ 匹配输入字符串的开始位置。

$ 匹配输入字符串的结束位置。

{n} n是一个非负整数。匹配肯定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，可是能匹配“food”中的两个o。

{n,} n是一个非负整数。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的全部o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。

{n,m} m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。

* 匹配前面的子表达式零次或屡次。例如，zo*能匹配“z”、“zo”以及“zoo”。*等价于{0,}。

+ 匹配前面的子表达式一次或屡次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。

? 匹配前面的子表达式零次或一次。例如，“do(es)?”能够匹配“do”或“does”中的“do”。?等价于{0,1}。

? 当该字符紧跟在任何一个其余限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽量少的匹配所搜索的字符串，而默认的贪婪模式则尽量多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o+?”将匹配单个“o”，而“o+”将匹配全部“o”。

. 匹配除“\n”以外的任何单个字符。要匹配包括“\n”在内的任何字符，请使用像“(.｜\n)”的模式。

(pattern) 匹配pattern并获取这一匹配的子字符串。该子字符串用于向后引用。要匹配圆括号字符，请使用“\(”或“\)”。

x｜y 匹配x或y。例如，“z｜food”能匹配“z”或“food”。“(z｜f)ood”则匹配“zood”或“food”。

[xyz] 字符集合（character class）。匹配所包含的任意一个字符。例如，“[abc]”能够匹配“plain”中的“a”。其中特殊字符仅有反斜线\保持特殊含义，用于转义字符。其它特殊字符如星号、加号、各类括号等均做为普通字符。脱字符^若是出如今首位则表示负值字符集合；若是出如今字符串中间就仅做为普通字符。连字符 - 若是出如今字符串中间表示字符范围描述；若是若是出如今首位则仅做为普通字符。

[^xyz] 排除型（negate）字符集合。匹配未列出的任意字符。例如，“[^abc]”能够匹配“plain”中的“plin”。

[a-z] 字符范围。匹配指定范围内的任意字符。例如，“[a-z]”能够匹配“a”到“z”范围内的任意小写字母字符。

[^a-z] 排除型的字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”能够匹配任何不在“a”到“z”范围内的任意字符。

 

优先级

 

优先级为从上到下从左到右，依次下降：

 

 

运算符

 

说明

 

 

\ 转义符

(), (?:), (?=), [] 括号和中括号

*、+、?、{n}、{n,}、{n,m} 限定符

^、$、\任何元字符 定位点和序列 

｜ 　选择

 

更多正则表达式的内容能够参考如下连接：

• •正则表达式wiki
• •几种正则表达式引擎的语法差别
• •各语言各平台对正则表达式的支持

 

2、grep模式匹配命令

 

上面空谈了那么多正则表达式的内容也并无说起具体该如何使用它，实在枯燥，若是说正则表达式是一门武功话，那它也只能算得上一些口诀招式罢了，要把它真正练起来还得须要一些兵器在手才行，这里咱们要介绍的grep命令以及后面要讲的sed,awk这些就该算做是这样的兵器了。

 

1.基本操做

 

grep命令用于打印输出文本中匹配的模式串，它使用正则表达式做为模式匹配的条件。grep支持三种正则表达式引擎，分别用三个参数指定：

 

 

参数

 

说明

 

 

-E POSIX扩展正则表达式，ERE

-G POSIX基本正则表达式，BRE

-P Perl正则表达式，PCRE

 

不过在你没学过perl语言的大多数状况下你将只会使用到ERE和BRE,因此咱们接下来的内容都不会讨论到PCRE中特有的一些正则表达式语法（它们之间大部份内容是存在交集的，因此你不用担忧会遗漏多少重要内容）

 

在经过grep命令使用正则表达式以前，先介绍一下它的经常使用参数：

 

 

参数

 

说明

 

 

-b 将二进制文件做为文原本进行匹配

-c 统计以模式匹配的数目

-i 忽略大小写

-n 显示匹配文本所在行的行号

-v 反选，输出不匹配行的内容

-r 递归匹配查找

-A n n为正整数，表示after的意思，除了列出匹配行以外，还列出后面的n行

-B n n为正整数，表示before的意思，除了列出匹配行以外，还列出前面的n行

--color=auto 将输出中的匹配项设置为自动颜色显示

 

 

注：在大多数发行版中是默认设置了grep的颜色的，你能够经过参数指定或修改GREP_COLOR环境变量。

2.使用正则表达式

 

使用基本正则表达式，BRE

• •位置

 

查找/etc/group文件中以"shiyanlou"为开头的行

$ grep 'shiyanlou' /etc/group

$ grep '^shiyanlou' /etc/group

• •数量

# 将匹配以'z'开头以'o'结尾的全部字符串

$ echo 'zero\nzo\nzoo' | grep 'z.*o'

# 将匹配以'z'开头以'o'结尾，中间包含一个任意字符的字符串

$ echo 'zero\nzo\nzoo' | grep 'z.o'

# 将匹配以'z'开头,以任意多个'o'结尾的字符串

$ echo 'zero\nzo\nzoo' | grep 'zo*'

• •选择

# grep默认是区分大小写的，这里将匹配全部的小写字母

$ echo '1234\nabcd' | grep '[a-z]'

# 将匹配全部的数字

$ echo '1234\nabcd' | grep '[0-9]'

# 将匹配全部的数字

$ echo '1234\nabcd' | grep '[[:digit:]]'

# 将匹配全部的小写字母

$ echo '1234\nabcd' | grep '[[:lower:]]'

# 将匹配全部的大写字母

$ echo '1234\nabcd' | grep '[[:upper:]]'

# 将匹配全部的字母和数字，包括0-9,a-z,A-Z

$ echo '1234\nabcd' | grep '[[:alnum:]]'

# 将匹配全部的字母

$ echo '1234\nabcd' | grep '[[:alpha:]]'

下面包含完整的特殊符号及说明：

 

 

特殊符号

 

说明

 

 

[:alnum:] 表明英文大小写字节及数字，亦即 0-9, A-Z, a-z

[:alpha:] 表明任何英文大小写字节，亦即 A-Z, a-z

[:blank:] 表明空白键与 [Tab] 按键二者

[:cntrl:] 表明键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等

[:digit:] 表明数字而已，亦即 0-9

[:graph:] 除了空白字节 (空白键与 [Tab] 按键) 外的其余全部按键

[:lower:] 表明小写字节，亦即 a-z

[:print:] 表明任何能够被列印出来的字节

[:punct:] 表明标点符号 (punctuation symbol)，亦即：" ' ? ! ; : # $...

[:upper:] 表明大写字节，亦即 A-Z

[:space:] 任何会产生空白的字节，包括空白键, [Tab], CR 等等

[:xdigit:] 表明 16 进位的数字类型，所以包括： 0-9, A-F, a-f 的数字与字节

# 排除字符

$ echo 'geek|good' | grep '[^o]'

注意:当^放到中括号内为排除字符，不然表示行首。

3、sed 流编辑器

 

sed工具在 man 手册里面的全名为"sed - stream editor for filtering and transforming text "，意即，用于过滤和转换文本的流编辑器。

 

在 Linux/UNIX 的世界里敢称为编辑器的工具，大都非等闲之辈，好比前面的"vi/vim(编辑器之神)","emacs(神的编辑器)","gedit"这些个编辑器。sed与上述的最大不一样之处大于它是一个非交互式的编辑器，下面咱们就开始介绍sed这个编辑器。

 

sed经常使用参数介绍

 

sed 命令基本格式：

sed [参数]... [执行命令] [输入文件]...

# 形如：

$ sed -i '1s/sad/happy/' test # 表示将test文件中第一行的"sad"替换为"happy"

 

 

 

参数

 

说明

 

 

-n 安静模式，只打印受影响的行，默认打印输入数据的所有内容

-e 用于在脚本中添加多个执行命令一次执行，在命令行中执行多个命令一般不须要加该参数

-f filename 指定执行filename文件中的命令

-r 使用扩展正则表达式，默认为标准正则表达式

-i 将直接修改输入文件内容，而不是打印到标准输出设备

 

sed编辑器的执行命令（这里”执行“解释为名词）

 

sed执行命令格式：

[n1][,n2]command

[n1][~step]command

# 其中一些命令能够在后面加上做用范围，形如：

$ sed -i 's/sad/happy/g' test # g表示全局范围

$ sed -i 's/sad/happy/4' test # 4表示指定行中的第四个匹配字符串

 

 

其中n1,n2表示输入内容的行号，它们之间为,逗号则表示从n1到n2行，若是为～波浪号则表示从n1开始以step为步进的全部行；command为执行动做，下面为一些经常使用动做指令：

 

 

命令

 

说明

 

 

s 行内替换

c 整行替换

a 插入到指定行的后面

i 插入到指定行的前面

p 打印指定行，一般与-n参数配合使用

d 删除指定行

 

sed操做举例

 

咱们先找一个用于练习的文本文件：

$ cp /etc/passwd ~

 

 

打印指定行

# 打印2-5行

$ nl passwd | sed -n '2,5p'

# 打印奇数行

$ nl passwd | sed -n '1~2p'

行内替换

# 将输入文本中"shiyanlou" 全局替换为"hehe",并只打印替换的那一行，注意这里不能省略最后的"p"命令

$ sed -n 's/shiyanlou/hehe/gp' passwd

 

 

 

注意： 行内替换能够结合正则表达式使用。

 

行间替换

$ nl passwd | grep "shiyanlou"

# 删除第21行

$ sed -n '21c\www.shiyanlou.com' passwd

4、awk文本处理语言

在咱们的环境中ubuntu上，默认提供的是mawk，不过咱们一般能够直接使用awk命令（awk语言的解释器），由于系统已经为咱们建立好了awk指向mawk的符号连接。

$ ll /usr/bin/awk

2.awk的一些基础概念

 

awk全部的操做都是基于pattern(模式)—action(动做)对来完成的，以下面的形式：

$ pattern {action}

.awk命令基本格式

awk [-F fs] [-v var=value] [-f prog-file | 'program text'] [file...]

 

 

其中-F参数用于预先指定前面提到的字段分隔符（还有其余指定字段的方式） ，-v用于预先为awk程序指定变量，-f参数用于指定awk命令要执行的程序文件，或者在不加-f参数的状况下直接将程序语句放在这里，最后为awk须要处理的文本输入，且能够同时输入多个文本文件。

4.awk操做体验

 

先用vim新建一个文本文档

$ vim test

 

 

包含以下内容：

I like linux

www.shiyanlou.com

 

• •使用awk将文本内容打印到终端

# "quote>" 不用输入

$ awk '{

> print

> }' test

# 或者写到一行

$ awk '{print}' test

• •将test的第一行的每一个字段单独显示为一行

$ awk '{

> if(NR==1){

> print $1 "\n" $2 "\n" $3

> } else {

> print}

> }' test

 

# 或者

$ awk '{

> if(NR==1){

> OFS="\n"

> print $1, $2, $3

> } else {

> print}

> }' test

• •将test的第二行的以点为分段的字段换成以空格为分隔

$ awk -F'.' '{

> if(NR==2){

> print $1 "\t" $2 "\t" $3

> }}' test

 

# 或者

$ awk '

> BEGIN{

> FS="."

> OFS="\t"  # 若是写为一行，两个动做语句之间应该以";"号分开 

> }{

> if(NR==2){

> print $1, $2, $3

> }}' test

6.awk经常使用的内置变量

 

 

变量名

 

说明

 

 

FILENAME 当前输入文件名，如有多个文件，则只表示第一个。若是输入是来自标准输入，则为空字符串

$0 当前记录的内容

$N N表示字段号，最大值为NF变量的值

FS 字段分隔符，由正则表达式表示，默认为" "空格

RS 输入记录分隔符，默认为"\n"，即一行为一个记录

NF 当前记录字段数

NR 已经读入的记录数

FNR 当前输入文件的记录数，请注意它与NR的区别

OFS 输出字段分隔符，默认为" "空格

ORS 输出记录分隔符，默认为"\n"

 24.1、Linux 上的软件安装

 

一般 Linux 上的软件安装主要有三种方式：

•在线安装

•从磁盘安装deb软件包

•从二进制软件包安装

•从源代码编译安装

2、在线安装

在 Linux 下，一个命令加回车，等待一下，软件就安装好了，这就是方便的在线安装软件的方式。好比咱们想安装一个软件，名字叫作 w3m(w3m是一个命令行的简易网页浏览器)，那么输入以下命令：

$ sudo apt-get install w3m

2. apt 包管理工具介绍

 

 

APT是Advance Packaging Tool（高级包装工具）的缩写，是Debian及其派生发行版的软件包管理器，APT能够自动下载，配置，安装二进制或者源代码格式的软件包，所以简化了Unix系统上管理软件的过程。APT最先被设计成dpkg的前端，用来处理deb格式的软件包。如今通过APT-RPM组织修改，APT已经能够安装在支持RPM的系统管理RPM包。这个包管理器包含以 apt- 开头的的多个工具，如 apt-get apt-cache apt-cdrom 等，在Debian系列的发行版中使用。

 

当你在执行安装操做时，首先apt-get 工具会在本地的一个数据库中搜索关于 w3m 软件的相关信息，并根据这些信息在相关的服务器上下载软件安装，这里你们可能会一个疑问：既然是在线安装软件，为啥会在本地的数据库中搜索？要解释这个问题就得提到几个名词了：

•软件源镜像服务器

•软件源

.apt-get

 

apt-get使用各用于处理apt包的公用程序集，咱们能够用它来在线安装、卸载和升级软件包等，下面列出一些apt-get包含的经常使用的一些工具：

 

 

工具

 

说明

 

 

install 其后加上软件包名，用于安装一个软件包

update 从软件源镜像服务器上下载/更新用于更新本地软件源的软件包列表

upgrade 升级本地可更新的所有软件包，但存在依赖问题时将不会升级，一般会在更新以前执行一次update

dist-upgrade 解决依赖关系并升级(存在必定危险性)

remove 移除已安装的软件包，包括与被移除软件包有依赖关系的软件包，但不包含软件包的配置文件

autoremove 移除以前被其余软件包依赖，但如今再也不被使用的软件包

purge 与remove相同，但会彻底移除软件包，包含其配置文件

clean 移除下载到本地的已经安装的软件包，默认保存在/var/cache/apt/archives/

autoclean 移除已安装的软件的旧版本软件包

 

下面是一些apt-get经常使用的参数：

 

 

参数

 

说明

 

 

-y 自动回应是否安装软件包的选项，在一些自动化安装脚本中使用这个参数将十分有用

-s 模拟安装

-q 静默安装方式，指定多个q或者-q=#,#表示数字，用于设定静默级别，这在你不想要在安装软件包时屏幕输出过多时颇有用

-f 修复损坏的依赖关系

-d 只下载不安装

--reinstall 从新安装已经安装但可能存在问题的软件包

--install-suggests 同时安装APT给出的建议安装的软件包

 

4.安装软件包

 

关于安装，如前面演示的同样你只须要执行apt-get install <软件包名>便可，除了这一点，你还应该掌握的是如何从新安装软件包。 不少时候咱们须要从新安装一个软件包，好比你的系统被破坏，或者一些错误的配置致使软件没法正常工做。

 

你可使用以下方式从新安装：

$ sudo apt-get --reinstall install w3m

 

 

另外一个你须要掌握的是，如何在不知道软件包完整名的时候进行安装。一般咱们是使用Tab键补全软件包名，后面会介绍更好的方法来搜索软件包。有时候你须要同时安装多个软件包，你还可使用正则表达式匹配软件包名进行批量安装。

5.软件升级

# 更新软件源

$ sudo apt-get update

# 升级没有依赖问题的软件包

$ sudo apt-get upgrade

# 升级并解决依赖关系

$ sudo apt-get dist-upgrade

 

 

6.卸载软件

 

若是你如今以为 w3m 这个软件不合本身的胃口，或者是找到了更好的，你须要卸载它，那么简单！一样是一个命令加回车 sudo apt-get remove w3m ，系统会有一个确认的操做，以后这个软件便“滚蛋了”。

7.软件搜索

 

当本身刚知道了一个软件，想下载使用，须要确认软件仓库里面有没有，就须要用到搜索功能了，命令以下：

sudo apt-cache search softname1 softname2 softname3……

3、使用 dpkg 从本地磁盘安装 deb 软件包

 

1. dpkg 介绍

dpkg经常使用参数介绍：

 

 

参数

 

说明

 

 

-i 安装指定deb包

-R 后面加上目录名，用于安装该目录下的全部deb安装包

-r remove，移除某个已安装的软件包

-I 显示deb包文件的信息

-s 显示已安装软件的信息 

-S 搜索已安装的软件包

-L 显示已安装软件包的目录信息

2.使用dpkg安装deb软件包

 

咱们先使用apt-get加上-d参数只下载不安装，下载emacs编辑器的deb包，下载完成后，咱们能够查看/var/cache/apt/archives/目录下的内容，而后咱们将第一个deb拷贝到home目录下，并使用dpkg安装

$ cp /var/cache/apt/archives/emacs24_24.3+1-4ubuntu1_amd64.deb ~

# 安装以前参看deb包的信息

$ sudo dpkg -I emacs24_24.3+1-4ubuntu1_amd64.deb

 

 

如你所见，这个包还额外依赖了一些软件包，这意味着，若是主机目前没有这些被依赖的软件包，直接使用dpkg安装可能会存在一些问题，由于dpkg并不能为你解决依赖关系。

# 使用dpkg安装

$ sudo dpkg -i emacs24_24.3+1-4ubuntu1_amd64.deb

们将如何解决这个错误了，这就要用到apt-get了，使用它的-f参数了，修复依赖关系的安装

$ sudo apt-get -f install

3.查看已安装软件包的安装目录

 

若是你依然在纠结到底linux将软件安装到了什么地方，那么很幸运你将能够经过dpkg找到答案

 

使用dpkg -L查看deb包目录信息

$ sudo dpkg -L emacs

4、从二进制包安装

 

二进制包的安装比较简单，咱们须要作的只是将从网络上下载的二进制包解压后放到合适的目录，而后将包含可执行的主程序文件的目录添加进PATH环境变量便可，若是你不知道该放到什么位置，请从新复习第四节关于 Linux 目录结构的内容。

 

3. 课后做业

课程第二节实验内容，安装banner，toilet，figlet

课程第三节做业：

课程第四节做业：

课程第五节做业：

《黑客帝国》电影里满屏幕代码的“数字雨”，在 Linux 里面你也能够轻松实现这样的效果，你只须要一个命令cmatrix。

课程六做业：

天冷的时候，要是有个火炉就行了。这里有个有趣的程序：

$ sudo apt-get install libaa-bin

# 提示command not found，请自行解决

$ aafire

课程七做业：

cowsay命令，可让你在终端里以一种动物说话的形式打印出一段话。

课程八做业：

使用之前介绍过的方法，安装aview和imagemagick，而后用asciiview命令显示图片，使用方法能够用 man 命令查看。

课程九做业： dos 文本格式到 UNIX 文本格式的转换

#从dos 到unix文本格式转换
$ cat -A [dos] | tr -d '^M' | cat -A [dos]

课程十做业：以前介绍过一个在命令行将图片转换为 ascii 字符查看的工具 aview/asciiview，不过它是黑白的。如今，这里是个彩色的：

$ sudo apt-get install caca-utils $ cacaview <pic_file> $ cacademo $ cacafire



课程11做业：
 

 

 

 参考论文：http://www.cricode.com/3388.html

参考网站：http://blog.csdn.net/fan_hai_ping/article/details/8352087

 

 

 

 

7、遇到的问题及解决

1.在使用aview打开图片时，因为terminal终端默认的用户是shiyanlou，它是在shiyanlou下搜索文件，刚开始我将图片放置于桌面，不能打开，将其移动到shiyanlou目录下就能成功地打开图片了。

 

3.

 

 

 

 

8、其余

（提示：此处由学生填写，灵感，领悟等）