如何实现python自动化

linux环境下实现python自动化

今天主要介绍 Linux 下的 cron 这个服务，熟练使用它可让你在工做中省去大部分时间，提升工做效率

1、安装cron

基本上全部的Linux发行版在默认状况下都预安装了cron工具。 即便未预装cron，也很简单，执行几条简单的命令就可手动安装

# 检查是否已经预装了cron
service cron status
复制代码

默认通常状况是出现如下结果，说明已经可使用cron了

root@vmi411292:~# servide cron status
-bash: servide: command not found
root@vmi411292:~# service cron status
● cron.service - Regular background program processing daemon
   Loaded: loaded (/lib/systemd/system/cron.service; enabled; vendor preset: enabled)
   Active: active (running) since Wed 2020-07-01 04:36:42 CST; 5 months 2 days ago
     Docs: man:cron(8)
 Main PID: 487 (cron)
    Tasks: 1
   Memory: 10.0M
      CPU: 25min 11.945s
   CGroup: /system.slice/cron.service
           └─487 /usr/sbin/cron -f

复制代码

若是没安装的话输入按照下表操做

安装：apt-get install cron
启动/中止/重启：service cron start/stop/restart
查询当前任务：crontab -l
复制代码

2、cron相关用法

有几个关于cron的简单用法能够了解一下，后面也会经过一个案例详细介绍如何使用

首先，列出当前用户计划的cron做业：

crontab -l
复制代码

查看其它用户的cron做业：

crontab –l –u username
复制代码

移除已经计划的cron做业：

crontab –r
#注意这个命令会移除所有设置好的自动化命令，要删除其中一条使用crontab -e进行编辑
复制代码

熟悉了cron的查看，接下来进行语法的介绍

m h dom mon dow commmand
复制代码

这个是crontab调度做业的一个使用，能够用来设置定时任务 ，具体一点的语法是这样的：

m h dom mon dow command
* * * * * command
- - - - - -
| | | | | |
| | | | | --- 预执行的命令
| | | | ----- 表示星期0～7（其中星期天能够用0或7表示）
| | | ------- 表示月份1～12
| | --------- 表示日期1～31
| ----------- 表示小时1～23（0表示0点）
------------- 表示分钟1～59 每分钟用*或者 */1表示
复制代码

举几个简单的应用案例：

• 天天 04:00 执行任务

0 4 * * * command
复制代码

• 天天 5:00和17:00执行任务

0 5,17 * * * command
复制代码

• 每10min 执行一次任务

*/10 * * * * command
复制代码

• 在特定的某几个月的周日 17:00 执行任务

0 17 * jan,may,aug sun command
复制代码

上面案例中的command 表示你具体须要执行的任务
例如打印一段话：

echo "Hello World"
复制代码

或者将这段话输出到txt中：

echo "Hello World" >> /tmp/test.txt 
复制代码

或者是你须要执行一个Python脚本：

python demo.py filepath
复制代码

3、定时任务实战

上面的都搞清楚了，就能够开始今天的重头戏了

首先咱们须要天天从ftp服务器中下载最新的任务数据，将数据下载到本地后经过Python进行数据汇总统计，最后将结果存入数据库中，若是期间某个环节出现问题则发送告警邮件。

一、编写Python脚本

首先须要编写Python脚本完成如下功能：

• 从数据库中获取最新数据日期
• 从ftp中下载最新数据到本地
• 对本地最新数据进行汇总统计
• 统计结果存入数据库汇总
• 邮件通知

上面这个流程大体的伪代码是这样的：

if __name__ == '__main__':
    """获取最新数据日期"""
    latest_date = get_max_date()
    # 以最新日期为名建立文件夹
    download_dir = os.path.join(sys.argv[1], latest_date)
    if not os.path.exists(download_dir):
        os.makedirs(download_dir)
        
    """从ftp中下载最新数据"""
    download_file(latest_date, download_dir)
    """处理最新数据并保存"""
    process_data(latest_date, download_dir)
复制代码

邮件监控能够在加一个try catch的异常捕获，有异常发生的时候则发送邮件 二、 编写cron定时任务 打开crontab，编辑以下内容到最后一行，保存并退出

crontab是会自动实时更新任务列表的，若是不放心也能够经过restart命令重启cron 服务

05 8,18 * * * python /home/demo.py /home/定时任务源数据
复制代码

这里有个小建议，全部的路径都填写绝对路径

若是Python代码没有问题，任务会定时执行。

这里建议能够把本身的command单独在控制台运行下，没有问题的时候再写进到cron任务列表红。

4、总结

使用cron仍是很方便的，若是说你平时的工做有不少重复的任务，像平常指标的采集、取数汇总统计、邮件自动转发等等

一旦这些工做你能够经过脚本设置好逻辑，自动化任务也就能够实现它，最多就须要你天天注意一下邮件，看看有没有发生错误就好了。

5、题外话

有时候若是你的服务器被黑客攻击了，也能够用cron -l查看黑客有没有在你的服务器执行自动化定时任务，由于大部分黑客用的注入都是定时的执行他的脚本，用你的电脑挖矿等等，小编曾经就遭受过好几回黑客的攻击，这个话题有兴趣的能够下次再聊，感兴趣的朋友看完记得点个赞再走哦，码字不易哈哈