系统监控工具

时间 2019-12-08

标签系统监控工具繁體版

原文原文链接

系统监控工具

top、free、vmstat、iostat、pmap、glances、dstat、iotop、lsofcss

1 命令top

动态监控系统状态，在命令行输入top，界面以下ios

格式：
top [选项]
选项：
-p：指定进程
-b：所有显示全部进程
-H ：线程模式，示例：top -H -p 5155
-n#：刷新多少次后退出
-d#：指定刷新时间间隔，默认为3秒
执行界面

   
   
   
   
   
   
   
   
   
   
    
    
    
    
    1
    
    
    
    
    2
    
    
    
    
    3
    
    
    
    
    4
    
    
    
    
    5
    
    
    
    
    6
    
    
    
    
    7
    
    
    
    
    8
    
    
    
    
    9
    
    
    
    
    10
    
    
    
    
    11
    
    
    
    
    12
   
   
   
   
   
1. |top - 21:01:47 up 10:45,  4 users,  load average: 0.04, 0.03, 0.05|
   |命令uptime信息|
2. |Tasks: 259 total, |  1 running, |258 sleeping, |  0 stopped, |  0 zombie
   |  总进程数         |   活动进程   |   睡眠进程    |   中止进程  |  僵尸进程|
3. |%Cpu(s): | 0.1 us, | 0.2 sy, |       0.0 ni,        | 99.8 id,| 0.0 wa, | 0.0 hi, | 0.0 si, | 0.0 st|
   | cpu状态 |用户占用比例|内核占用|改变过ni优先级的进程占用| 空闲占比 |等待IO时间|  硬中断  |软终端|丢失的时间片|
4. |KiB Mem :  1514076 total, |   76768 free, |  791284 used, |  646024 buff/cache|
	|            总内存        |     剩余量    |     使用量     |用于缓存的量|
5. |KiB Swap:  3145724 total, | 3145724 free, |       0 used. |  503752 avail Mem |
   |        虚拟内存总量       |      空闲量    |     使用量    |缓冲的交换区总量|
   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                          
   742 root      20   0  320060   6536   5072 S   0.3  0.4   0:49.45 vmtoolsd

首部信息显示隐藏开关web
1. uptime信息：开关 l
2. tasks信息与cpu：开关 t
3. memory信息：开关 m
4. cpu分别显示：（数字）1，显示全部核心信息
  st：丢失的时间片，系统识别虚拟机，但不会识别虚拟机中运行的，cpu会分配给虚拟机中一些进程用，就会产生未知时间片
排序：shell
1. p：以占据的cpu百分比%cpu
2. M：占据内存百分比，%MEM
3. T：累计占据CPU时长，TIME+
管理指令：编程
1. q：退出命令
2. S：修改刷新时间间隔
3. k：终止指定进程
4. W：保存至root/.toprc

####7.5.1 htop命令：EPEL源
与top命令类似，UI设计前卫一些缓存

格式
htop [选项]
选项：
-d#：指定延迟时间
-u UserName：仅显示指定用户的进程
-s COLUME：以指定字段进行排序
子命令
s：跟踪选定进程系统调用
l：显示选定进程打开的文件列表
a：将选定的进程绑定至某指定CPU核心
t：显示进程树

2 内存空间管理

2.1 命令free

内存空间使用状态bash

格式：free[OPTION]服务器
选项
-b：以字节为单位
-m：以MB为单位
-g：以GB为单位
-h：易读模式
-t：显示RAM+swap的总和
-s n：刷新间隔为n秒
-c n：刷新n次后即退出markdown

执行结果
buffers，解决速度不匹配问题；cache缓存，提升访问速度的网络

     
     
     
     
     
     
     
     
     
     
      
      
      
      
      1
      
      
      
      
      2
      
      
      
      
      3
      
      
      
      
      4
      
      
      
      
      5
     
     
     
     
     
[v9@hai7 ~]$free
              total       used       free      shared     buffers     cached									             
1：Mem:       1003020     887824     115196       4104      89252     428612
2：-/+ buffers/cache:     369960     633060      
3：Swap:      2097148       1076    2096072

内存使用状况
-/+ buffers/cach
(-buffers/cache) used内存数： used – buffers – cached
(+buffers/cache) free内存数：free + buffers + cached
虚拟内存信息

2.2 vmstat命令

虚拟内存信息

格式
vmstat [options][delay[count]]
选项：
-s：显示内存的统计数据
示例：
vmstat 1 动态观察，1秒刷新一次
vmstat 1 10 执行10次退出，1秒执行一次

执行结果说明

     
     
     
     
     
     
     
     
     
     
      
      
      
      
      1
      
      
      
      
      2
      
      
      
      
      3
      
      
      
      
      4
      
      
      
      
      5
     
     
     
     
     
vmstat -n
|procs| |-----------memory--------| |-swap-| -|---io---|-|system ||-------cpu-----|
	1                 2                 3          4        5              6
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs  us sy id wa st
 0  0      0 107296  94720 442468    0    0     5     1   17   16  0  0 100  0  0

procs:
r:可运行（正运行或等待运行）进程的个数，和核心数有关
b:处于不可中断睡眠态的进程个数（被阻塞的队列的长度）
memory:
swpd：交换内存的使用总量
free: 空闲物理内存总量
buffer：用于buffer的内存总量
cache：用于cache的内存容量
swap
si：从磁盘交换进内存的数据速率（kb/s）
so：从内存交换至磁盘的数据速率（kb/s）
io：
bi：从块设备读入数据到系统的速率（kb/s）
bo：保存数据至块设备的速率
system：
in：interrupts终端速率，包括时钟
cs：context switch 进程切换速率
cpu：
us：运行非内核代码的时间
sy：运行内核代码的时间
id：空闲时间.Linux2.5.41前，包括IO-wait time
wa：I/O等待时间. 2.5.41前，包括in idle
st：丢失时间.

2.3命令iostat

与vmstat使用方法类似，统计CPU和设备IO信息

格式
iostat [选项] [-p [device…] [interval [count] ]
选项
-c：仅显示CPU统计信息.与-d选项互斥.
-d：仅显示磁盘统计信息.与-c选项互斥.
-k：以K为单位显示每秒的磁盘请求数,默认单位块.
-p：device | ALL 与-x选项互斥,用于显示块设备及系统分区的统计信息.
-t：在输出数据时,打印搜集数据的时间.
-V：打印版本号和帮助信息.
-x ：输出扩展信息.
示例

示例1. 监控设备adv1的扩展数据，每秒刷新一次，执行10次

   
   
   
   
   
   
   
   
   
   
    
    
    
    
    1
    
    
    
    
    2
    
    
    
    
    3
   
   
   
   
   
[v9@hai7 ~]$iostat -x -d sda1 1 10
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda1              0.00     0.00    0.01    0.00     0.09     0.00     8.42     0.00    0.07    0.07    0.14   0.07   0.00

rrqm/s：每秒这个设备相关的读取请求有多少被合并了
rsec/s：每秒读取的扇区数
avgrq-sz：平均请求扇区的大小
avgqu-sz：是平均请求队列的长度，越短越好
await： I/O响应时间，通常低于5ms，await与svctm差值越小，则说明队列时间越短，反之差值越大，队列时间越长，说明系统出了问题。
svctm：表示平均每次设备I/O操做的服务时间
%util：在统计时间内全部处理IO时间，除以总共统计时间。例如，若是统计间隔1秒，该设备有0.8秒在处理IO，而0.2秒闲置，那么该设备的%util = 0.8/1 = 80%，因此该参数暗示了设备的繁忙程度

示例2. 以k为单位显示磁盘使用状况，每2秒刷新一次

   
   
   
   
   
   
   
   
   
   
    
    
    
    
    1
   
   
   
   
   
[v9@hai7 ~]$iostat -d -k 2

示例3. 默认执行结果示例

[v9@hai7 ~]$iostat
1：Linux 2.6.32-754.el6.x86_64 (hai6) 	09/06/2018 	_x86_64_	(4 CPU)

2：avg-cpu: %user %nice %system %iowait %steal %idle
0.02 0.00 0.16 0.00 0.00 99.81

3：Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
scd0 0.01 0.03 0.00 1540 0
sda 0.46 19.71 2.57 1047842 136528

架构CPU信息
CPU信息
块设备信息
1. tps: 每秒钟发送到的I/O请求数.
2. Blk_read /s: 每秒读取的block数.
3. Blk_wrtn/s: 每秒写入的block数.
4. Blk_read: 读入的block总数.
5. Blk_wrtn: 写入的block总数.

2.4 命令pmap

进程对应的内存映射，与文件/proc/PID(进程编号)/maps相似

格式
pmap [options] pid […]
选项
-x：显示详细格式的信息

执行示例，查看进程7795的内存占用信息

[v9@hai7 ~]$pmap -x 7795
7795:   nano
Address           Kbytes     RSS   Dirty Mode   Mapping
0000000000400000     168     112       0 r-x--  nano
0000000000629000       8       8       4 rw---  nano
0000000001fd9000     528     468     468 rw---    [ anon ]
...               <==省略

[v9@hai7 ~]$cat /proc/7795/maps <==与pmap显示内容类似

RSS：真正占用空间
Dirty：脏数据，数据没有最终结束，处于中间状态

3. 命令glances

EPEL源，能够跨网络监控

格式
glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [–password] [-t refresh] [-f file][-o output]
经常使用选项：

选项	含义
-b	以Byte为单位显示网卡数据速率
-d	关闭磁盘I/O模块
-f /path/to/somefile	设定输入文件位置
-o{HTML	CSV}
-m	输入格式
-n	禁用mount模块
-t	延迟时间间隔
-1	每一个CPU的相关数据单独显示

内建命令

选项	含义
a	按进程自动排序
l	显示或隐藏日志
c	按 CPU% 排序
b	Bytes or bits for network I/O
m	按 MEM% 排序
w	删除警告日志
p	按用户排序
x	删除警告和关键日志
i	按I/O使用情况排序
1	流显示每一个CPU内核的使用状况
d	显示隐藏磁盘读写情况
h	帮助信息
f	显示系统信息
t	View network I/O as combination
n	显示网络状态
u	View cumulative network I/O
s	显示传感器信息
q	离开程序
y	hddtemp统计信息

C/S模式下运行glances命令，跨网络访问

服务器模式( S )：
1. 格式
  glances -s -B IPADDR
2. 选项：
  -s ：表示以服务器端
  -B：开启某一个监听地址，不加是全部网卡都参与
  IPADDR：指明监听的本机那个地址
客户端模式( C )：
1. 格式
  glances -c IPADDR
2. 选项
  -c：以客户端
  IPADDR：要连入的服务器端地址,服务器指定的地址

4 命令dstat

系统资源统计，代替vmstat,iostat

格式
dstat [-afv] [options…] [delay[count]]
选项

选项	含义
-c	显示cpu相关信息
-C	此参数可按需分别显示cpu状态，例：-C 0,1 是显示cpu0和cpu1的信息
-d	显示disk相关信息
-D	total,sda,sdb…
-g	显示page相关统计数据
-m	显示memory相关统计数据
-n	显示network相关统计数据
-p	显示process相关统计数据
-r	显示io请求相关统计数据
-s	显示swapped相关统计数据
-y	系统状态
- -socket	用来显示tcp udp端口状态
- -ipc	显示ipc消息队列，信号等信息
- -top-cpu	显示最占用CPU的进程
- -top-io	显示最占用io的进程
- -top-mem	显示最占用内存的进程
- -top-latency	显示延迟最大的进程
- -output	将状态信息以##.csv后缀定向到指定目录下

示例
默认输入 dstat 等于输入了dstat -cdngy 1或dstat -a 1

 
 
 
 
 
 
 
 
 
 
  
  
  
  
  1
  
  
  
  
  2
  
  
  
  
  3
  
  
  
  
  4
  
  
  
  
  5
 
 
 
 
 dstat   
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw
  0   0 100   0   0   0|   0     0 | 424B  346B|   0     0 | 121   104 
  0   0 100   0   0   0|   0     0 | 240B  346B|   0     0 | 102    92

system：int、csw分别为系统的中断次数（interrupt）和上下文切换（context switch）

5. 命令iotop

是一个用来监视磁盘I/O使用情况的top类工具备与top类似的UI，其中包括PID、用户、I/O、进程等相关信息，可查看每一个进程是如何使用IO

 
 
 
 
 
 
 
 
 
 
  
  
  
  
  1
  
  
  
  
  2
  
  
  
  
  3
  
  
  
  
  4
  
  
  
  
  5
  
  
  
  
  6
  
  
  
  
  7
 
 
 
 
 
[root@hai7 ~]$iotop 
1：Total DISK READ :       0.00 B/s | Total DISK WRITE :       0.00 B/s
2：Actual DISK READ:       0.00 B/s | Actual DISK WRITE:       0.00 B/s
3： PID PRIO<  USER     DISK READ  DISK WRITE  SWAPIN      IO    COMMAND                                                             
  1936 ?dif root        0.00 B/s    0.00 B/s  0.00 %  0.00 % tracker-extract
  1943 ?dif root        0.00 B/s    0.00 B/s  0.00 %  0.00 % tracker-miner-fs
     7 rt/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [migration/0]

界面如上所示
1. Read和Write速率总计
2. 实际的Read和Write速率
3. 参数以下
  PID：线程ID
  PRIO：优先级
  USER：用户
  DISK：磁盘读速率
  SWAPIN：swap交换百分比
  IO：IO等待所占的百分比
  COMMAND：线程/进程命令
iotop经常使用参数

选项	含义
-o,–only	只显示正在成I/O的进程或线程，除了传参，能够在运行过程总按o生效
-b,–batch	非交互模式，通常用来记录日志
-n NUM,–iter=NUM	设置监测的次数，默认无限。在非交互模式下颇有用
-d SEC,–delay=SEC	设置每次检测的间隔，默认1秒，接受非整型数据例如1.1
-p PID,–pid=PID	指定检测的进程/线程
-u USER,–user=USER	指定监测某个用户产生的I/O
-P --processes	仅显示进程，默认iotop显示全部线程
-a,–accumulated	显示累计的I/O，而不是带宽
-k,–kilobytes	使用KB单位，而不是对人友好的单位，在非交互模式下，脚本编程有用
-t,–time	加上时间戳，非交互非模式
-q，–quiet	禁止头几行，非交互模式，有三种指定方式
-q	只在第一次监测时显示列名
-qq	永远不显示列名
-qqq	永远不显示I/O汇总

交互按键

按键	用途
left和right方向键	改变排序
r	反向排序
o	切换至选项–only
p	切换至–processes选项
a	切换至–accumulatd选项
q	退出
i	改变线程的优先级

6. 命令lsof

list open files查看当前系统文件的工具，在Linux环境下，一切皆文件，用户经过文件不只能够访问常规数据，还能够访问网络链接和硬件如传输控制协议（TCP）和用户数据协议（UDP）套接字等，系统在后台都为该应用程序分配了一个文件描述符

格式
lsof [选项]
选项

选项	含义
-a	列出打开文件存在的进程
-c	显示command列中包含指定字符的进程所打开的文件
-g	列出GID号进程详情
-d FD	列出占用该文件号的进程
+d /DIR/	列出目录下被打开的文件
+D /DIR/	递归列出目录下被打开的文件
-n目录	列出使用NFS的文件
-i条件	列出符合条件的进程（四、六、协议、：端口、@ip）
-p进程号	列出指定进程号所打开的文件
-u	列出UID号进程详情
-h	列出UID号进程详情
-v	显示版本信息
-n	不反向解析网络名字

示例

查看由登陆用户启动而非系统启动的进程

 
 
 
 
 
 
 
 
 
 
  
  
  
  
  1
  
  
  
  
  2
  
  
  
  
  3
  
  
  
  
  4
  
  
  
  
  5
  
  
  
  
  6
  
  
  
  
  7
 
 
 
 
 
[root@hai7 ~]$tty
/dev/pts/0
[root@hai7 ~]$lsof /dev/pts/0
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
bash    2189 root    0u   CHR  136,0      0t0    3 /dev/pts/0
bash    2189 root    1u   CHR  136,0      0t0    3 /dev/pts/0
bash    2189 root    2u   CHR  136,0      0t0    3 /dev/pts/0

指定进程号，能够查看该进程打开的文件

 
 
 
 
 
 
 
 
 
 
  
  
  
  
  1
  
  
  
  
  2
  
  
  
  
  3
  
  
  
  
  4
  
  
  
  
  5
  
  
  
  
  6
 
 
 
 
 
[root@hai7 ~]$lsof -p 2189
COMMAND  PID USER   FD   TYPE DEVICE  SIZE/OFF      NODE NAME
bash    2189 root  cwd    DIR    8,3      4096        64 /data
bash    2189 root  mem    REG    8,2 106070960 101092451 /usr/lib/locale/locale-archive
...                              <==省略部份内容
bash    2189 root   0u    CHR  136,0       0t0         3 /dev/pts/0

经过参数-i查看网络链接的状况，包括链接的ip、端口等以及一些服务的链接状况，例如：sshd等，也能够经过制定ip查看该ip的网络链接状况
lsof -i -n
lsof -i@127.0.0.1
经过参数-i：端口，能够查看端口的占用状况，-i参数还有查看协议，ip的链接状况等
lsof -i:80 -n
查看指定状态的网络链接
lsof -n -P -i TCP -s TCP:ESTABLISHED
-n：no host names, -p：no port names
-i：TCP指定协议
-s：指定协议状态经过多个参数能够清晰的查看网络链接状况、协议链接状况等

恢复删除文件，此方法只适用于正在使用的文件

 
 
 
 
 
 
 
 
 
 
  
  
  
  
  1
  
  
  
  
  2
  
  
  
  
  3
  
  
  
  
  4
  
  
  
  
  5
  
  
  
  
  6
  
  
  
  
  7
  
  
  
  
  8
  
  
  
  
  9
  
  
  
  
  10
  
  
  
  
  11
  
  
  
  
  12
  
  
  
  
  13
  
  
  
  
  14
  
  
  
  
  15
  
  
  
  
  16
 
 
 
 
 1. 肯定文件是在使用中
[root@hai7 ~]$lsof  /var/log/messages
2. 删除文件
[root@hai7 ~]$rm  -f  /var/log/messages
3. 查看文件进程，拿到进程编号
[root@hai7 ~]$lsof |grep  /var/log/messages
4. 进入对应进程下的fd文件
[root@hai7 ~]$cd  /proc/1027/fd/
5. 查看文件列表，能够看到带有(deleted)的文件
[root@hai7 ~]$ll
lrwx------ 1 root root 64 Sep  6 14:15 3 -> socket:[28141]
l-wx------ 1 root root 64 Sep  6 14:15 4 -> /var/log/messages (deleted)   <==丢失的文件
6. 恢复文件，查看丢失的文件，这里会显示内容，重定向到删除目录
[root@hai7 ~]$cat /proc/1027/fd/4>/var/log/messages
[root@hai7 ~]$ls /var/log/messages
/var/log/messages       <==已恢复

执行结果说明

   
   
   
   
   
    
    
    
    
    1
    
    
    
    
    2
    
    
    
    
    3
    
    
    
    
    4
   
   
   
   
   $lsof -i tcp
COMMAND    PID    USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rpcbind    744     rpc    8u  IPv4  15285      0t0  TCP *:sunrpc (LISTEN)
rpcbind    744     rpc   11u  IPv6  15288      0t0  TCP *:sunrpc (LISTEN

COMMAND：进程的名称
PID：进程标识符
USER：进程全部者
FD：文件描述符，应用程序经过文件描述符识别该文件。如cwd、txt等
TYPE：文件类型，如DIR、REG等
DEVICE：指定磁盘的名称
SIZE：文件的大小
NODE：索引节点（文件在磁盘上的标识）
NAME：打开文件的确切名称

7 命令kill、pkill

7.1 kill命令

用来删除执行中的程序或工做，kill可将指定的信息送至程序。预设的信息为SIGTERM(15)，可将指定程序终止。若仍没法终止该程序，可以使用SIGKILL(9)信息尝试强制删除程序。程序或工做的编号可利用ps指令或job指令查看

格式
kill [选项] [参数]
选项
-l ：列出指定编号的信息，不指定则列出所有的信息名称
-n：指定信号，编号或名称均可以
-u：指定用户
信号
1. 介绍
  向进程发送控制信号，以实现对进程管理，每一个信号对应一个数字，信号名称以SIG开头，不区分大小写
2. 查看
  显示当前系统可用信号：kill -l, trap -l
  经常使用信号：man 7 signal
3. 指定信号的方法
  （1）信号的数字标识：一、二、9
  （2）信号完整名称：SIGHUP
  （3）信号的简写名称：HUP
4. 经常使用信号

编号	名称	做用
1	SIGHUP	无须关闭进程而让其重读配置文件
2	SIGINT	终止正在运行的进程；至关于Ctrl+c\
3	SIGQUIT	至关于ctrl+\
9	SIGKILL	强制杀死正在运行的进程
15	SIGTERM	终止正在运行的进程
18	SIGCONT	继续运行
19	SIGSTOP	后台休眠

示例

终止程序nano

   
   
   
   
   
   
   
   
   
   
    
    
    
    
    1
    
    
    
    
    2
    
    
    
    
    3
    
    
    
    
    4
    
    
    
    
    5
    
    
    
    
    6
   
   
   
   
   1: 找到对应PID
[root@hai7 ~]$ps -C nano           
 PID TTY          TIME CMD
4763 pts/0    00:00:00 nano
2：终止进程，指定信号15
[root@hai7 ~]$kill -n 15 4812

强制终止httpd服务

   
   
   
   
   
   
   
   
   
   
    
    
    
    
    1
    
    
    
    
    2
    
    
    
    
    3
    
    
    
    
    4
   
   
   
   
   
[root@hai7 ~]$echo $$      <==查看当前bash进程
		2189
[root@hai7 ~]$kill 2189       <==尝试终止进程，没有终止
[root@hai7 ~]$kill    -9   2189        <==使用9信号，强制终止

终止所有同名进程

   
   
   
   
   
   
   
   
   
   
    
    
    
    
    1
    
    
    
    
    2
    
    
    
    
    3
   
   
   
   
   
[root@hai7 ~]$pidof httpd              <==httpd有不少进程，也能够直接终止父进程
		9919 9918 9917 9916 9915 9914 9913 9912 9909
[root@hai7 ~]$killall -15 httpd        <==这里主要为说明killall用法

7.2 命令pkill

与pgrep用法类似，查找同时能够终止进程

格式
pkill [options] pattern
选项

选项	含义
-signal	发送信号给匹配到的进程
-u uid	effective user,生效者
-U uid	real user ,真正发起运行命令者
-t terminal	与指定终端相关的进程
-l	显示进程名（pgrep可用）
-a	显示完整格式的进程名（pgrep可用）
-P pid	显示指定进程的子进程

示例

删除全部以http开头的进程
pkill -9 "^http"
删除终端1的进程

   
   
   
   
   
   
   
   
   
   
    
    
    
    
    1
    
    
    
    
    2
   
   
   
   
   
[root@hai7 ~]$pkill -t pts/1          <==结束部分运行进程
[root@hai7 ~]$pkill -t pts/1  -9      <==连同终端一块儿关闭

</div>
					<link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-7f770a53f2.css" rel="stylesheet">
            </div>