1.一、cat
cat命令主要用来查看文件内容,建立文件,文件合并,追加文件内容等功能。
经常使用选项
-n :查看文本时显示行号
-b :查看文本时显示行号,有空白的行不计其内
-E :显示是否换行,结尾以"$"结尾表示有换行
-A :显示TAB是否有加键,一个"^I"表示一个TAB
-s :压缩相邻的空行为一个php
(1)测试文件 [root@kube-master ~]# cat F1 123 456 789 123123 (2)-n :查看文本时显示行号 [root@kube-master ~]# cat -n F1 1 123 2 456 3 789 4 123123 5 6 (3)-b :查看文本时显示行号,有空白的行不计其内 [root@kube-master ~]# cat -b F1 1 123 2 456 3 789 4 123123 (4)-E :显示是否换行,结尾以"$"结尾表示有换行 [root@kube-master ~]# cat -E F1 123$ 456$ 789 $ 123123 $ $ $ (5) -A :显示TAB是否有加键,一个"^I"表示一个TAB [root@kube-master ~]# cat -A F1 123$ 456$ 789 $ 123123^I^I $ $ $ (6)-s :压缩相邻的空行为一个 [root@kube-master ~]# cat -s F1 123 456 789 123123 (7)生成文件 [root@kube-master ~]# cat > F2 test ctrl + d退出 [root@kube-master ~]# cat F2 test (9)合并文件 [root@kube-master ~]# cat F1 F2 > F3 [root@kube-master ~]# cat F3 123 456 789 123123 test
1.二、tac
将文本倒过来查看mysql
(1)将文本倒过来查看 [root@kube-master ~]# tac F1 123123 789 456 123
1.三、rev
反向显示nginx
(1)反向显示内容 [root@kube-master ~]# echo "abcd" | rev dcba [root@kube-master ~]# rev < /etc/fstab # batsf/cte/ # 9102 24:54:90 13 naJ uhT no adnocana yb detaerC # # 'ksid/ved/' rednu deniatniam era ,ecnerefer yb ,smetsyselif elbisseccA # ofni erom rof )8(diklb ro/dna )8(tnuom ,)8(sfdnif ,)5(batsf segap nam eeS # # 0 0 stluafed sfx / toor-sotnec/reppam/ved/ 0 0 stluafed sfx toob/ 5fe0eaa3ec3f-6eb9-5234-0aee-21b8c81d=DIUU 0 0 stluafed paws paws paws-sotnec/reppam/ved/
1.四、head
显示头几行或者头几个字节
经常使用选项
-# :#表示数字,表示显示前几#行
-n # :#表示数字,表示显示前几#行,跟上面-#相似
-c # :#表示数字,表示显示前几个字节的数据git
(1)-# :#表示数字,表示显示前几#行 [root@kube-master ~]# head -5 /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin (2)-n # :#表示数字,表示显示前几#行,跟上面-#相似 [root@kube-master ~]# head -n 5 /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin (3)-c # :#表示数字,表示显示前几个字节的数据 [root@kube-master ~]# head -c 5 /etc/passwd root:
1.五、tail
显示倒数后几行或倒数后几个字节,固然tail使用起来更加丰富
经常使用选项
-# :显示倒数后#行
-n # :跟-#同样,显示倒数后#行
-c # :显示倒数后#字节
-f :实时显示最后一行
-F :实时显示最后一行,当文件不存在则显示文件不存在web
(1)-# :显示倒数后#行 [root@kube-master ~]# tail -5 /etc/passwd gitlab-prometheus:x:993:990::/var/opt/gitlab/prometheus:/bin/sh jenkins:x:992:989:Jenkins Automation Server:/var/lib/jenkins:/bin/false ntp:x:38:38::/etc/ntp:/sbin/nologin nginx:x:991:988:Nginx web server:/var/lib/nginx:/sbin/nologin mysql:x:990:987::/home/mysql:/sbin/nologin (2)-n # :跟-#同样,显示倒数后#行 [root@kube-master ~]# tail -n 5 /etc/passwd gitlab-prometheus:x:993:990::/var/opt/gitlab/prometheus:/bin/sh jenkins:x:992:989:Jenkins Automation Server:/var/lib/jenkins:/bin/false ntp:x:38:38::/etc/ntp:/sbin/nologin nginx:x:991:988:Nginx web server:/var/lib/nginx:/sbin/nologin mysql:x:990:987::/home/mysql:/sbin/nologin (3)-c # :显示倒数后#字节 [root@kube-master ~]# tail -c 10 /etc/passwd n/nologin (4) -f :实时显示最后一行, 默认状况会打印后10行而且监控最后一行,当增长一行机会实时显示数据出来 [root@kube-master ~]# tail -f F1 123 456 789 123123 [root@kube-master ~]# echo "testline" >> F1 [root@kube-master ~]# tail -f F1 123 456 789 123123 testline 实时监测只显示最后一行 [root@squid ~]# tail -n 0 -f /etc/fstab tesst (5) -F :实时显示最后一行,当文件不存在则显示文件不存在 [root@kube-master ~]# tail -F F1 123 456 789 123123 testline [root@kube-master ~]# rm -f F1 [root@kube-master ~]# tail -F F1 123 456 789 123123 testline tail: ‘F1’ has become inaccessible: No such file or directory
1.六、tailf
跟tail -f 同样,可是性能更高,当文件发生变化才输出内容,不实监测磁盘,省电,减小磁盘读写.sql
[root@kube-master ~]# tailf /var/log/nginx/access.log
1.七、tr
对标准输入作文本的删除,替换等
经常使用选项
-d :对标准输入删除指定内容
-s : 缩减连续重复的字符成指定的单个字符json
(1)测试文件 [root@kube-master ~]# cat > F1 123 34545 asdasdas 123 7878 ctrl + d退出 [root@kube-master ~]# cat F1 123 34545 asdasdas 123 7878 (2)删除文件内容,删除带有"123"字眼的内容 [root@kube-master ~]# tr -d "123" < F1 4545 asdasdas 7878 (3)将小写字母替换成大写字母,标准输出生成F3文件 [root@kube-master ~]# tr "a-z" "A-Z" < F1 > F3 [root@kube-master ~]# cat F3 123 34545 ASDASDAS 123 7878 (4)将多列空白压缩成一列 [root@kube-master ~]# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/centos-root 120527360 54045264 66482096 45% / devtmpfs 1919508 0 1919508 0% /dev tmpfs 1931784 0 1931784 0% /dev/shm tmpfs 1931784 11968 1919816 1% /run tmpfs 1931784 0 1931784 0% /sys/fs/cgroup /dev/sda1 1038336 145300 893036 14% /boot tmpfs 386360 0 386360 0% /run/user/0 [root@kube-master ~]# df -h | tr -s " " Filesystem Size Used Avail Use% Mounted on /dev/mapper/centos-root 115G 52G 64G 45% / devtmpfs 1.9G 0 1.9G 0% /dev tmpfs 1.9G 0 1.9G 0% /dev/shm tmpfs 1.9G 12M 1.9G 1% /run tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup /dev/sda1 1014M 142M 873M 14% /boot tmpfs 378M 0 378M 0% /run/user/0
1.八、cut
对列切割
经常使用选项
-d :以什么做为分隔符
-c :取出第几列
--output-delimeter="#" :输出内容的时候以什么做为分隔符centos
(1)以/etc/passwd为列子前5行为列子 [root@kube-master ~]# cat /etc/passwd | head -5 root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin (2)取出第1列,用户名 [root@kube-master ~]# cut -d : -f 1 /etc/passwd | head -5 root bin daemon adm lp (3)取出第1和第3列 [root@kube-master ~]# cut -d : -f 1,3 /etc/passwd | head -5 root:0 bin:1 daemon:2 adm:3 lp:4 (4)取出第1列至第3列 [root@kube-master ~]# cut -d : -f 1-3 /etc/passwd | head -5 root:x:0 bin:x:1 daemon:x:2 adm:x:3 lp:x:4 (5)取出第1列至第3列,以|号为分割符输出 [root@kube-master ~]# cut --output-delimiter="|" -d : -f 1-3 /etc/passwd | head -5 root|x|0 bin|x|1 daemon|x|2 adm|x|3 lp|x|4
1.九、paste
将两文件横向合并,默认将第1个文件的第一行和第2个文件的第一行合并在一块儿以此类推
经常使用选项
-d :合并中间输出的分隔符,默认为空格
-s :将每一个文件的全部行合并成1行,第1个文件全部内容合并成第一行,第2个文件的全部内容合并成第二行api
(1)你们若是用过ansible都知道,若是使用ansible批量发送SSH公钥须要在/etc/ansible/hosts中 定义每一个主机的SSH用户和密码,通常在管理主机的时候咱们都会将密码类的信息记录在xls中, 这时候就排上用场了(假若有100台主机,密码都不同)将xls记录的IP列复制到F1文件,不排除有 windwos的"^M"回车,使用dos2unix清除,下面F2,F3文件也同样,固然ansible_ssh_user, ansible_ssh_pss不是xls记录内容,还须要先合并F1,F2这个我就不讲了,下面会了就明白了。 文件1 [root@kube-master ~]# cat F1 [host] 10.1.1.1 10.1.1.2 10.1.1.3 10.1.1.4 文件2 [root@kube-master ~]# cat F2 ansible_ssh_user=root ansible_ssh_user=root ansible_ssh_user=root ansible_ssh_user=root 文件3 [root@kube-master ~]# cat F3 ansible_ssh_pass=123 ansible_ssh_pass=456 ansible_ssh_pass=789 ansible_ssh_pass=910 合成文件,循序要F1,F2,F3 [root@kube-master ~]# paste F1 F2 F3 [host] 10.1.1.1 ansible_ssh_user=root ansible_ssh_pass=123 10.1.1.2 ansible_ssh_user=root ansible_ssh_pass=456 10.1.1.3 ansible_ssh_user=root ansible_ssh_pass=789 10.1.1.4 ansible_ssh_user=root ansible_ssh_pass=910 (2)加上-d选项的效果 [root@kube-master ~]# paste -d : F1 F2 F3 [host]:: 10.1.1.1:ansible_ssh_user=root:ansible_ssh_pass=123 10.1.1.2:ansible_ssh_user=root:ansible_ssh_pass=456 10.1.1.3:ansible_ssh_user=root:ansible_ssh_pass=789 10.1.1.4:ansible_ssh_user=root:ansible_ssh_pass=910 (3)-s :将每一个文件的全部行合并成1行,第1个文件全部内容合并成第一行,第2个文件的全部内容合并成第二行 [root@kube-master ~]# paste -s F1 F2 F3 [host] 10.1.1.1 10.1.1.2 10.1.1.3 10.1.1.4 ansible_ssh_user=root ansible_ssh_user=root ansible_ssh_user=root ansible_ssh_user=root ansible_ssh_pass=123 ansible_ssh_pass=456 ansible_ssh_pass=789 ansible_ssh_pass=910
2.0、wc
-l :统计多少行
-w :统计多少个单词
-c :统计多少个字节
-m :统计多少个字符
-L :显示文件中最长行的长度bash
(1)以这个为列子 [root@kube-master ~]# cat F1 [host] 10.1.1.1 10.1.1.2 10.1.1.3 10.1.1.4 (2)默认不加任何选项表示为,5行,5个单词,43个字节数 [root@kube-master ~]# wc F1 5 5 43 F1 (3)-l :统计多少行 [root@kube-master ~]# cat F1 | wc -l 5 (4)-w :统计多少个单词 [root@kube-master ~]# cat F1 | wc -w 5 (5)-c :统计多少个字节 [root@kube-master ~]# cat F1 | wc -c 43 (6)-m :统计多少个字符 [root@kube-master ~]# cat F1 | wc -m 43 -L :显示文件中最长行的长度 [root@kube-master ~]# cat F1 | wc -L 8
2.一、sort
对内容排序或者去重复等,默认以每行第一个字符排序
经常使用选项
-t :指定分隔符
-k :指定对哪一列排序,通常跟-t配合使用
-n :按数字排序,默认按升序排序,从小到大1,2,3,4,5,6
-r :倒序
-u :排序同时去掉重复的行,相邻和不相邻的重复行也会删除
-f :忽略大小写
(1)以/etc/passwd为列子前5行为列子 [root@kube-master ~]# cat /etc/passwd | head -5 root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin (2)默认状况不加任何选项以每行第一个字符排序,adm,bin,daemon,lp,root [root@kube-master ~]# cat /etc/passwd | head -5 | sort adm:x:3:4:adm:/var/adm:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin root:x:0:0:root:/root:/bin/bash (3)指定以第3列UID排序,而且以数字排序,升序 [root@kube-master ~]# cat /etc/passwd | head -5 | sort -t : -k 3 -n root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin (4)-r 倒排 [root@kube-master ~]# cat /etc/passwd | head -5 | sort -t : -k 3 -n -r lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin root:x:0:0:root:/root:/bin/bash (5)去掉重复的行 [root@kube-master ~]# cat F1 11 11 2 3 4 5 22 22 [root@kube-master ~]# cat F1 | sort -u 11 2 22 3 4 5
2.二、uniq
去重复行或者对重复行统计
经常使用选项
-c :对连续重复以及不连续重复的行统计
-u :只显示不连续重复的行
-d :只显示相邻而且连续重复的行
(1)以这个为例子 [root@kube-master ~]# cat F1 11 11 2 3 4 5 22 22 (2)-c :对连续重复以及不连续重复的行统计 [root@kube-master ~]# cat F1 | uniq -c 2 11 1 2 1 3 1 4 1 5 2 22 (3) -u :只显示不连续重复的行 [root@kube-master ~]# cat F1 | uniq -u 2 3 4 5 (4)-d :只显示相邻而且连续重复的行 [root@kube-master ~]# cat F1 | uniq -d 11 22
2.三、其余
(1)生成随机数取前30个字节 base64 openssl rand -base64 30 | head -c 30 16进制 openssl rand -hex 30 | head -c 30 随机生成30个数字 tr -dc '[[:digit:]]' < /dev/urandom | head -c 30 随机生成30个小写字母 tr -dc '[[:lower:]]' < /dev/urandom | head -c 30 随机生成30个大写字母 tr -dc '[[:upper:]]' < /dev/urandom | head -c 30
1.一、UV
UV即用户访问量,通常统计以不重复的单个IP之和来衡量
(1)以这个nginx日志文件为例子 [root@kube-master ~]# cat access.log | head -1 192.168.126.111 - - [20/Feb/2019:15:35:16 +0800] "GET / HTTP/1.1" 200 1482 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36" (2)先取出第1例,而后对他进行排序,排序完就去重复,而后统计 [root@kube-master ~]# cat access.log | cut -d " " -f 1 | sort -n | sort -u | wc -l 4 [root@kube-master ~]# cat access.log | cut -d " " -f 1 | sort -n | uniq | wc -l 4
1.二、PV
PV即页面访问量,每一个页面的访问量多少
(1)以这个nginx日志文件为例子 [root@kube-master ~]# cat access.log | head -1 192.168.126.111 - - [20/Feb/2019:15:35:16 +0800] "GET / HTTP/1.1" 200 1482 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36" (2)首先取出URI第7列,而后按字符排序,而后uniq -c对重复或者不重复的进行统计,而后升序排序,找出页面访问最大的URI [root@kube-master ~]# cat access.log | cut -d " " -f 7 | sort | uniq -c | sort -r -n 60 /favicon.ico 3 /zabbix 3 /lnmp.gif 3 / 1 /zabbix/api_jsonrpc.php
一步一步来!!!!!!!!!!!!!!!!!!!!!!其实很简单哒!!!!!!!!!!!!!!!!!!!!!