Python监控进程状态并实现告警

公司的应用程序有时候会莫名其妙地挂掉，若是咱们常常去登陆服务器看是否是程序挂了，挂了再拉起，那样是很是耗时和麻烦的事情。
后来咱们经过使用 supervisor 去守护启动，实现方法以下：
那什么是 supervisor了？
Supervisor是用 Python 开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具，不支持Windows系统。它能够很方便地监听、启动、中止、重启一个或多个进程。用Supervisor管理的进程，当一个进程意外被杀死，或者是意外被中止（系统负载太高，cpu占用率很高等），supervisor 监听到进程死后，会自动将它从新拉起来，很方便地作到进程自动恢复的功能，再也不须要本身写shell脚原本控制。通常状况下，yum直接安装便可。yum install supervisor
首先咱们须要首先注意的一个地方是配置文件的后缀。
vim /etc/supervisord.conf
[include]

files = supervisord.d/*.ini

若是你想配置文件为其余格式，好比 conf 格式的话， 须要更改 iles = supervisord.d/*.conf 。
好比咱们须要守护启动一个进程，咱们就以守护Prometheus 为例:
vim /etc/supervisord.d/proms.ini

[program:proms]

command=/opt/prometheus/server/prometheus/prometheus

directory=/opt/prometheus/server/prometheus

stdout_logfile=/home/data/logs/prometheus/sever.log

autostart=true

autorestart=true

redirect_stderr=true

user=root

startsecs=3

supervisor配置文件详解:
program: 指定的守护进程名

command: 命令

stdout_logfile： 日志路径

autostart： supervisor启动的时候是否随着同时启动，默认为 true

autorestart: 是否挂了自动重启

redirect_stderr：标准错误重定向

startsecs： 子进程启动多少秒以后，此时的状态是running

启动supervisor--(yum方式安装的)
/usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf

或者

systemctl start supervisord.service

所以 咱们可使用以下的命令进行进程的中止，启动，重启等操做。

supervisorctl status # 查看应用启动状态

supervisorctl stop proms # 中止prometheus应用

supervisorctl start proms # 启动prometheus应用

supervisorctl restart proms # 重启prometheus应用

虽然使用上面的策略 supervisor, 能够实现进程的守护启动，若是进程挂了，会自动拉起，可是并无告警通知的功能。因此咱们须要监控进程的状态并实现告警 通知到对应的开发人员以及运维人员。对于这样的场景，咱们如何去实现了？

分析
对于这种状况，咱们可使用以下的方案去实现：
方案一:使用 Zabbix/Prometheus监控系统，对Java应用程序作 TCP 端口检测。若是检测端口不通，就设置检测失败的触发器。而后实现告警.
方案二: 使用 Zabbix的自定义Key去实现告警，自定义key 的内容是执行一个shell脚本，Shell脚本用来检测进程是否存在，不存在的话，输出为 0，存在输出为1。而后Zabbix 的触发器 设置最近的T值 不为1，从而来实现进程状态检测的告警。
方案三：编写Python脚本用来检测进程的状态，而后使用Python的内置库，实现邮件告警。

解决
思路整理
这里咱们重点讲下python如何检测。
1.首先Python程序须要检测 Java进程是否存在。
2.检测到进程若是存在不作任何处理，若是不存在，就须要触发邮件告警的函数
3.Python程序须要定时按期地去执行检测脚本。

代码实现
第一阶
首先咱们先来实现判断进程是否存在的逻辑，判断进程是否存在，咱们采用 psutil来实现。库的安装方法以下:
pip3 install psutil
检测进程存在的代码逻辑以下：

#coding:utf-8

import psutil

def checkprocess(processname):

pl = psutil.pids()

for pid in pl:

    if p.utilutil.Process.pid).name() == processname:

        return pid

if isinstance(checkprocess("notepad++.exe"),int):

print("进程存在")

else:

print(：进程不存在")

解析:
首先咱们先定义一个 checkprocess 函数，函数的第一个参数传入进程名, 其中 pl = psutil.pids() 表示把全部的进程列出来。
接着咱们for循环一下pid的列表，当找到 psutil.Process(pid).name() 的名词为传入的参数的名字的时候就返回pid值，没有就不作任何操做（能够认为返回内容为空）
接着 isinstance 用于检测返回内容。
那什么是 isinstance 了？
咱们能够直接看看官方文档， https://docs.python.org/3/library/functions.html ，https://docs.python.org/3/library/functions.html

isinstance(object, classinfo)

Return True if the object argument is an instance of the classinfo argument, or of a (direct, indirect or virtual) subclass thereof. If object is not an object of the given type, the function always returns False. If classinfo is a tuple of type objects (or recursively, other such tuples), return True if object is an instance of any of the types. If classinfo is not a type or tuple of types and such tuples, a TypeError exception is raised.

咱们翻译成中文，能够这样理解：
1.格式
isinstance(object,type-or-tuple-or-class) -> bool
2.做用
判断一个对象是某个类或子类的实例。
3.参数介绍
第一个参数（object）为对象，第二个参数（type）为类型名(int...)或类型名的一个列表((int,list,float)是一个列表)。其返回值为布尔型（True or flase）。
当第二个参数是type-or-tuple时
若第二个参数只有一个单独的类型，对象的类型与参数二的类型相同则返回True；
若第二个参数为一个元组类型，则若对象类型与元组中类型名之一相同即返回True。

第二阶段
咱们在第一阶段实现了检测进程的相关代码，如今咱们来实现发送邮件的代码实现，代码：内容以下：
#coding:utf-8

import smtplib

from email.mime.text import MIMEText

#第三方 SMTP 服务

mail_host = "smtp.exmail.qq.com" # SMTP服务器

mail_user = "tech.sys@aa.cn" # 用户名

mail_pass = "aapwd" # 密码

sender = 'tech.sys@aa.cn' # 发件人邮箱

#多个邮箱用逗号隔开构成列表

receivers = ['yyy@qq.com','xxx@qq.com'] # 接收人邮箱

定义函数。传入3个参数，第一个是接收者，第二个是主题，第三个是正文内容

def SendMail(receivers,title,content):

# content = '这是正文'

# title = '这是主题'  # 邮件主题

message = MIMEText(content, 'plain', 'utf-8')  # 内容, 格式, 编码

message['From'] = "{}".format(sender)

message['To'] = ",".join(receivers)

message['Subject'] = title

try:

    smtpObj = smtplib.SMTP_SSL(mail_host, 465)  # 启用SSL发信, 端口通常是465

    smtpObj.login(mail_user, mail_pass)  # 登陆验证

    smtpObj.sendmail(sender, message['To'].split(','), message.as_string())  #邮件发"
    发" int("mail has been send successfully.")

except smtplib.SMTPException as e:

    print(e)

##测试邮件发送

SendMail(receivers,"主题","正文2")

解析：
上面的代码已经作了注释，代码功能不作详解。咱们要注意的一点的是:smtpObj.sendmail(sender, message['To'].split(','), message.as_string())
由于以前咱们的收件人，是列表的形式，因此在发送邮件的时候，咱们须要 使用, 用 收件人进行逐一发送邮件。

第三阶段
整合以上两段代码，既能够检测进程又能够发送邮件：
#coding:utf-8

import smtplib

from email.mime.text import MIMEText

import psutil

#定义第三方 SMTP 服务

mail_host = "smtp.exmail.qq.com" # SMTP服务器

mail_user = "tech.sys@aa.cn" # 用户名

mail_pass = "aapwd" # 密码

sender = 'tech.sys@aa.cn' # 发件人邮箱

receivers = ['yy@qq.com','xx@qq.com'] ## 多个邮箱用逗号隔开构成列表

#定义进程名

P_name = "node_exporter"

#邮件发送函数

def SendMail(receivers,title,content):

# content = '这是正文'

# title = '这是主题'  # 邮件主题

message = MIMEText(content, 'plain', 'utf-8')  # 内容, 格式, 编码

message['From'] = "{}".format(sender)

message['To'] = ",".join(receivers)

message['Subject'] = title

try:

    smtpObj = smtplib.SMTP_SSL(mail_host, 465)  # 启用SSL发信, 端口通常是465

    smtpObj.login(mail_user, mail_pass)  # 登陆验证

    smtpObj.sendmail(sender, message['To'].split(','), message.as_string())  # 发送

    print("mail has been send successfully.")

except smtplib.SMTPException as e:

    print(e)

#定义检测进程函数

def checkprocess(processname):

pl = psutil.pids()

for pid in pl:

    if psutil.Process(pid).name() == processname:

        return pid

#SendMail(receivers,"主题","正文2")

if isinstance(checkprocess(P_name),int):

pass   # 进程存在

else:

print("{0}进程不存在,发送邮件".format(P_name))

SendMail(receivers,"{0}进程down掉了".format(P_name),"{0}进程down掉了，请检测缘由....".format(P_name))

解析：
上面的代码逻辑只是整合了两段代码, 并无作其余的处理。首先是导入须要的模块，而后定义所须要的变量，以及函数，最后经过format函数将变量传入函数中而已。
须要注意的一点是，由于收件人是列表，那么在邮件发送的时候须要把列表进行切分，也就是使用split把收件人一个个地拿出来，而后再去进行邮件发送。

message['To'].split 切分出每一个收件人(',') #split 切分出每一个收件人

咱们执行一下这段函数结果以下：

[root@me03 www]# python3 check_mail.py

node_exporter进程不存在,发送邮件

mail has been send successfully.
至此咱们基本上实现了能够经过检测进程而后实现告警了。可是在咱们编程当中，咱们须要有模块化的编程思想，也就是有一些组件若是能模块化就进行模块化，那样子若是你有其余需求的话，想复用原来脚本的函数的话就不须要再去写重复的函数了。
因此咱们能够经过类的方式进行导入。而后实现模块化的编程。

第四阶段
模块化编程，咱们能够把邮件发送封装成一个类，用的时候直接导入便可。目录结构以下:
[www@me03 ~]$ tree ee/

ee/

├── check.py

└── S_mail.py

0 directories, 2 files

[www@me03 ~]$

S_mail.py 代码以下:
#coding:utf-8

import smtplib

from email.mime.text import MIMEText

class SendEMail(object):

# 定义第三方 SMTP 服务

def __init__(self):

    self.mail_host = "smtp.exmail.qq.com"  # SMTP服务器

    self.mail_user = "tech.sys@aa.cn"  # 用户名

    self.mail_pass = "aapwd"  # 密码

    self.sender = 'tech.sys@aa.cn'  # 发件人邮箱

    self.smtpObj = smtplib.SMTP_SSL(self.mail_host, 465)

    self.smtpObj.login(self.mail_user, self.mail_pass)  # 登陆验证

def sendmail(self, receivers, title, content):

    message = MIMEText(content, 'plain', 'utf-8')  # 内容, 格式, 编码

    message['From'] = "{}".format(self.sender)

    message['To'] = ",".join(receivers)

    message['Subject'] = title

    try:

        self.smtpObj.sendmail(self.sender, message['To'].split(','), message.as_string())  # 发送

        print("mail has been send successfully.")

    except smtplib.SMTPException as e:

        print(e)

if name == 'main':

sm = SendEMail()

sm.sendmail(['1093381395@qq.com'], '主题', '正文')

解析：
构造函数中初始化了邮件发送人、 smtp服务器等等。mail邮件发送函数进行发送邮件。要注意sm.sendmail` 传入的收件人是列表
咱们再看看check.py 的内容。

#coding:utf-8

from S_mail import SendEMail #导入邮件类

import psutil

#实例化邮件类

sm = SendEMail()

#定义收件人

receivers = ['1093381395@qq.com','xx@qq.com'] # 接收人邮箱

#定义进程名

P_name="node_exporter"

#定义检测进程函数

def checkprocess(processname):

pl = psutil.pids()

for pid in pl:

    if psutil.Process(pid).name() == processname:

        return pid

if isinstance(checkprocess(P_name),int):

pass   # 进程存在

else:

print("{0}进程不存在,发送邮件".format(P_name))

sm.sendmail(receivers,"{0}进程down掉了".format(P_name),"{0}进程down掉了，请检测缘由....".format(P_name))

</code></pre>

check.py的代码就更加简单了，首先咱们先是导入了邮件类，类的做用是用来发送邮件用的，而后实例化邮件类，再定义一些变量信息。好比收件人等。最后咱们经过编写进程检测函数，用来检测进程，若是进程不存在则会调用邮件类里的邮件发送函数来实现告警

第四阶段:
咱们实现了检测进程是否存在而后实现告警的代码，如今咱们须要它定时去检测，而后实现告警。咱们加到计划任务里去。这两个文件放到一个指定的目录 下。（必定要放到同一个目录下，否则没法导入。若是放到其余的目录的话，须要修改check.py的模块导入路径才行）
/1 * python3 /home/data/scripts/check.py到此，咱们经过定时执行脚本检测进程并实现告警的需求得以实现。