Python 全栈开发九 日志模块

日志是一种能够追踪某些软件运行时所发生事件的方法。软件开发人员能够向他们的代码中调用日志记录相关的方法来代表发生了某些事情。一个事件能够用一个可包含可选变量数据的消息来描述。此外，事件也有重要性的概念，这个重要性也能够被称为严重性级别（level）。

1.日志的做用

经过log的分析，能够方便用户了解系统或软件、应用的运行状况；若是你的应用log足够丰富，也能够分析以往用户的操做行为、类型喜爱、地域分布或其余更多信息；若是一个应用的log同时也分了多个级别，那么能够很轻易地分析获得该应用的健康情况，及时发现问题并快速定位、解决问题，补救损失。
简单来说就是，咱们经过记录和分析日志能够了解一个系统或软件程序运行状况是否正常，也能够在应用程序出现故障时快速定位问题。好比，作运维的同窗，在接收到报警或各类问题反馈后，进行问题排查时一般都会先去看各类日志，大部分问题均可以在日志中找到答案。再好比，作开发的同窗，能够经过IDE控制台上输出的各类日志进行程序调试。对于运维老司机或者有经验的开发人员，能够快速的经过日志定位到问题的根源。可见，日志的重要性不可小觑。日志的做用能够简单总结为如下3点：

• 程序调试
• 了解软件程序运行状况，是否正常
• 软件程序运行故障分析与问题定位

若是应用的日志信息足够详细和丰富，还能够用来作用户行为分析，如：分析用户的操做行为、类型洗好、地域分布以及其它更多的信息，由此能够实现改进业务、提升商业利益。

2.日志的等级

咱们先来思考下下面的两个问题：

• 做为开发人员，在开发一个应用程序时须要什么日志信息？在应用程序正式上线后须要什么日志信息？
• 做为应用运维人员，在部署开发环境时须要什么日志信息？在部署生产环境时须要什么日志信息？

在软件开发阶段或部署开发环境时，为了尽量详细的查看应用程序的运行状态来保证上线后的稳定性，咱们可能须要把该应用程序全部的运行日志所有记录下来进行分析，这是很是耗费机器性能的。当应用程序正式发布或在生产环境部署应用程序时，咱们一般只须要记录应用程序的异常信息、错误信息等，这样既能够减少服务器的I/O压力，也能够避免咱们在排查故障时被淹没在日志的海洋里。那么，怎样才能在不改动应用程序代码的状况下实如今不一样的环境记录不一样详细程度的日志呢？这就是日志等级的做用了，咱们经过配置文件指定咱们须要的日志等级就能够了。

不一样的应用程序所定义的日志等级可能会有所差异，分的详细点的会包含如下几个等级：

• DEBUG
• INFO
• NOTICE
• WARNING
• ERROR
• CRITICAL
• ALERT
• EMERGENCY

3.日志字段信息与日志格式

本节开始问题提到过，一条日志信息对应的是一个事件的发生，而一个事件一般须要包括如下几个内容：

• 事件发生时间
• 事件发生位置
• 事件的严重程度--日志级别
• 事件内容

上面这些都是一条日志记录中可能包含的字段信息，固然还能够包括一些其余信息，如进程ID、进程名称、线程ID、线程名称等。日志格式就是用来定义一条日志记录中包含那些字段的，且日志格式一般都是能够自定义的。

说明：

输出一条日志时，日志内容和日志级别是须要开发人员明确指定的。对于而其它字段信息，只须要是否显示在日志中就能够了。

4.日志功能的实现

几乎全部开发语言都会内置日志相关功能，或者会有比较优秀的第三方库来提供日志操做功能，好比：log4j，log4php等。它们功能强大、使用简单。Python自身也提供了一个用于记录日志的标准库模块--logging。

2、logging模块简介

---

logging模块定义的函数和类为应用程序和库的开发实现了一个灵活的事件日志系统。logging模块是Python的一个标准库模块，由标准库模块提供日志记录API的关键好处是全部Python模块均可以使用这个日志记录功能。因此，你的应用日志能够将你本身的日志信息与来自第三方模块的信息整合起来。

1. logging模块的日志级别

logging模块默认定义了如下几个日志等级，它容许开发人员自定义其余日志级别，可是这是不被推荐的，尤为是在开发供别人使用的库时，由于这会致使日志级别的混乱。

日志等级（level）	描述
DEBUG	最详细的日志信息，典型应用场景是 问题诊断
INFO	信息详细程度仅次于DEBUG，一般只记录关键节点信息，用于确认一切都是按照咱们预期的那样进行工做
WARNING	当某些不指望的事情发生时记录的信息（如，磁盘可用空间较低），可是此时应用程序仍是正常运行的
ERROR	因为一个更严重的问题致使某些功能不能正常运行时记录的信息
CRITICAL	当发生严重错误，致使应用程序不能继续运行时记录的信息

开发应用程序或部署开发环境时，可使用DEBUG或INFO级别的日志获取尽量详细的日志信息来进行开发或部署调试；应用上线或部署生产环境时，应该使用WARNING或ERROR或CRITICAL级别的日志来下降机器的I/O压力和提升获取错误日志信息的效率。日志级别的指定一般都是在应用程序的配置文件中进行指定的。

说明：

• 上面列表中的日志等级是从上到下依次升高的，即：DEBUG < INFO < WARNING < ERROR < CRITICAL，而日志的信息量是依次减小的；
• 当为某个应用程序指定一个日志级别后，应用程序会记录全部日志级别大于或等于指定日志级别的日志信息，而不是仅仅记录指定级别的日志信息，nginx、php等应用程序以及这里要提升的python的logging模块都是这样的。一样，logging模块也能够指定日志记录器的日志级别，只有级别大于或等于该指定日志级别的日志记录才会被输出，小于该等级的日志记录将会被丢弃。

2. logging模块的使用方式介绍

logging模块提供了两种记录日志的方式：

• 第一种方式是使用logging提供的模块级别的函数
• 第二种方式是使用Logging日志系统的四大组件

其实，logging所提供的模块级别的日志记录函数也是对logging日志系统相关类的封装而已。

logging模块定义的模块级别的经常使用函数

函数	说明
logging.debug(msg, *args, **kwargs)	建立一条严重级别为DEBUG的日志记录
logging.info(msg, *args, **kwargs)	建立一条严重级别为INFO的日志记录
logging.warning(msg, *args, **kwargs)	建立一条严重级别为WARNING的日志记录
logging.error(msg, *args, **kwargs)	建立一条严重级别为ERROR的日志记录
logging.critical(msg, *args, **kwargs)	建立一条严重级别为CRITICAL的日志记录
logging.log(level, *args, **kwargs)	建立一条严重级别为level的日志记录
logging.basicConfig(**kwargs)	对root logger进行一次性配置

其中logging.basicConfig(**kwargs)函数用于指定“要记录的日志级别”、“日志格式”、“日志输出位置”、“日志文件的打开模式”等信息，其余几个都是用于记录各个级别日志的函数。

logging模块的四大组件

组件	说明
loggers	提供应用程序代码直接使用的接口
handlers	用于将日志记录发送到指定的目的位置
filters	提供更细粒度的日志过滤功能，用于决定哪些日志记录将会被输出（其它的日志记录将会被忽略）
formatters	用于控制日志信息的最终输出格式

说明： logging模块提供的模块级别的那些函数实际上也是经过这几个组件的相关实现类来记录日志的，只是在建立这些类的实例时设置了一些默认值。

3、使用logging提供的模块级别的函数记录日志

 

1 import logging
2 
3 logging.debug("This is a debug log.")
4 logging.info("This is a info log.")
5 logging.warning("This is a warning log.")
6 logging.error("This is a error log.")
7 logging.critical("This is a critical log.")

模式

1 logging.log(logging.DEBUG, "This is a debug log.")
2 logging.log(logging.INFO, "This is a info log.")
3 logging.log(logging.WARNING, "This is a warning log.")
4 logging.log(logging.ERROR, "This is a error log.")
5 logging.log(logging.CRITICAL, "This is a critical log.")

输出结果：

1 WARNING:root:This is a warning log.
2 ERROR:root:This is a error log.
3 CRITICAL:root:This is a critical log

2. 那么问题来了

问题1：为何前面两条日志没有被打印出来？

这是由于logging模块提供的日志记录函数所使用的日志器设置的日志级别是WARNING，所以只有WARNING级别的日志记录以及大于它的ERROR和CRITICAL级别的日志记录被输出了，而小于它的DEBUG和INFO级别的日志记录被丢弃了。

问题2：打印出来的日志信息中各字段表示什么意思？为何会这样输出？

上面输出结果中每行日志记录的各个字段含义分别是：

日志级别：日志名称：日志内容

之因此会这样输出，是由于logging模块提供的日志记录函数所使用的日志器设置的日志格式默认是BASIC_FORMAT，其值为：

1 "%(levelname)s:%(name)s:%(message)s"

问题3：若是将日志记录输出到文件中，而不是打印到控制台？

由于在logging模块提供的日志记录函数所使用的日志器设置的处理器所指定的日志输出位置默认为:
sys.stderr。

问题4：我是怎么知道这些的？

查看这些日志记录函数的实现代码，能够发现：当咱们没有提供任何配置信息的时候，这些函数都会去调用logging.basicConfig(**kwargs)方法，且不会向该方法传递任何参数。继续查看basicConfig()方法的代码就能够找到上面这些问题的答案了。

问题5：怎么修改这些默认设置呢？

其实很简单，在咱们调用上面这些日志记录函数以前，手动调用一下basicConfig()方法，把咱们想设置的内容以参数的形式传递进去就能够了。

3. logging.basicConfig()函数说明

该方法用于为logging日志系统作一些基本配置，方法定义以下：

logging.basicConfig(**kwargs)

该函数可接收的关键字参数以下：

参数名称	描述
filename	指定日志输出目标文件的文件名，指定该设置项后日志信心就不会被输出到控制台了
filemode	指定日志文件的打开模式，默认为'a'。须要注意的是，该选项要在filename指定时才有效
format	指定日志格式字符串，即指定日志输出时所包含的字段信息以及它们的顺序。logging模块定义的格式字段下面会列出。
datefmt	指定日期/时间格式。须要注意的是，该选项要在format中包含时间字段%(asctime)s时才有效
level	指定日志器的日志级别
stream	指定日志输出目标stream，如sys.stdout、sys.stderr以及网络stream。须要说明的是，stream和filename不能同时提供，不然会引起 ValueError异常
style	Python 3.2中新添加的配置项。指定format格式字符串的风格，可取值为'%'、'{'和'$'，默认为'%'
handlers	Python 3.3中新添加的配置项。该选项若是被指定，它应该是一个建立了多个Handler的可迭代对象，这些handler将会被添加到root logger。须要说明的是：filename、stream和handlers这三个配置项只能有一个存在，不能同时出现2个或3个，不然会引起ValueError异常。

4. logging模块定义的格式字符串字段

咱们来列举一下logging模块中定义好的能够用于format格式字符串中字段有哪些：

字段/属性名称	使用格式	描述
asctime	%(asctime)s	日志事件发生的时间--人类可读时间，如：2003-07-08 16:49:45,896
created	%(created)f	日志事件发生的时间--时间戳，就是当时调用time.time()函数返回的值
relativeCreated	%(relativeCreated)d	日志事件发生的时间相对于logging模块加载时间的相对毫秒数（目前还不知道干吗用的）
msecs	%(msecs)d	日志事件发生事件的毫秒部分
levelname	%(levelname)s	该日志记录的文字形式的日志级别（'DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL'）
levelno	%(levelno)s	该日志记录的数字形式的日志级别（10, 20, 30, 40, 50）
name	%(name)s	所使用的日志器名称，默认是'root'，由于默认使用的是 rootLogger
message	%(message)s	日志记录的文本内容，经过 msg % args计算获得的
pathname	%(pathname)s	调用日志记录函数的源码文件的全路径
filename	%(filename)s	pathname的文件名部分，包含文件后缀
module	%(module)s	filename的名称部分，不包含后缀
lineno	%(lineno)d	调用日志记录函数的源代码所在的行号
funcName	%(funcName)s	调用日志记录函数的函数名
process	%(process)d	进程ID
processName	%(processName)s	进程名称，Python 3.1新增
thread	%(thread)d	线程ID
threadName	%(thread)s	线程名称

5.通过配置的日志输出

先简单配置下日志器的日志级别

logging.basicConfig(level=logging.DEBUG)

logging.debug("This is a debug log.")
logging.info("This is a info log.")
logging.warning("This is a warning log.")
logging.error("This is a error log.")
logging.critical("This is a critical log.")

输出结果：

DEBUG:root:This is a debug log.
INFO:root:This is a info log.
WARNING:root:This is a warning log.
ERROR:root:This is a error log.
CRITICAL:root:This is a critical log.

全部等级的日志信息都被输出了，说明配置生效了。

在配置日志器日志级别的基础上，在配置下日志输出目标文件和日志格式

LOG_FORMAT = "%(asctime)s - %(levelname)s - %(message)s"
logging.basicConfig(filename='my.log', level=logging.DEBUG, format=LOG_FORMAT)

logging.debug("This is a debug log.")
logging.info("This is a info log.")
logging.warning("This is a warning log.")
logging.error("This is a error log.")
logging.critical("This is a critical log.")

此时会发现控制台中已经没有输出日志内容了，可是在python代码文件的相同目录下会生成一个名为'my.log'的日志文件，该文件中的内容为：

2017-05-08 14:29:53,783 - DEBUG - This is a debug log.
2017-05-08 14:29:53,784 - INFO - This is a info log.
2017-05-08 14:29:53,784 - WARNING - This is a warning log.
2017-05-08 14:29:53,784 - ERROR - This is a error log.
2017-05-08 14:29:53,784 - CRITICAL - This is a critical log.

在上面的基础上，咱们再来设置下日期/时间格式

LOG_FORMAT = "%(asctime)s - %(levelname)s - %(message)s"
DATE_FORMAT = "%m/%d/%Y %H:%M:%S %p"

logging.basicConfig(filename='my.log', level=logging.DEBUG, format=LOG_FORMAT, datefmt=DATE_FORMAT)

logging.debug("This is a debug log.")
logging.info("This is a info log.")
logging.warning("This is a warning log.")
logging.error("This is a error log.")
logging.critical("This is a critical log.")

此时会在my.log日志文件中看到以下输出内容：

05/08/2017 14:29:04 PM - DEBUG - This is a debug log.
05/08/2017 14:29:04 PM - INFO - This is a info log.
05/08/2017 14:29:04 PM - WARNING - This is a warning log.
05/08/2017 14:29:04 PM - ERROR - This is a error log.
05/08/2017 14:29:04 PM - CRITICAL - This is a critical log.

掌握了上面的内容以后，已经可以知足咱们平时开发中须要的日志记录功能。

6. 其余说明

几个要说明的内容：

• logging.basicConfig()函数是一个一次性的简单配置工具使，也就是说只有在第一次调用该函数时会起做用，后续再次调用该函数时彻底不会产生任何操做的，屡次调用的设置并非累加操做。
• 日志器（Logger）是有层级关系的，上面调用的logging模块级别的函数所使用的日志器是RootLogger类的实例，其名称为'root'，它是处于日志器层级关系最顶层的日志器，且该实例是以单例模式存在的。
• 若是要记录的日志中包含变量数据，可以使用一个格式字符串做为这个事件的描述消息（logging.debug、logging.info等函数的第一个参数），而后将变量数据做为第二个参数*args的值进行传递，如:logging.warning('%s is %d years old.', 'Tom', 10)，输出内容为WARNING:root:Tom is 10 years old.
• logging.debug(), logging.info()等方法的定义中，除了msg和args参数外，还有一个**kwargs参数。它们支持3个关键字参数: exc_info, stack_info, extra，下面对这几个关键字参数做个说明。

关于exc_info, stack_info, extra关键词参数的说明:

• exc_info： 其值为布尔值，若是该参数的值设置为True，则会将异常异常信息添加到日志消息中。若是没有异常信息则添加None到日志信息中。
• stack_info： 其值也为布尔值，默认值为False。若是该参数的值设置为True，栈信息将会被添加到日志信息中。
• extra： 这是一个字典（dict）参数，它能够用来自定义消息格式中所包含的字段，可是它的key不能与logging模块定义的字段冲突。

一个例子：

在日志消息中添加exc_info和stack_info信息，并添加两个自定义的字端 ip和user

LOG_FORMAT = "%(asctime)s - %(levelname)s - %(user)s[%(ip)s] - %(message)s"
DATE_FORMAT = "%m/%d/%Y %H:%M:%S %p"

logging.basicConfig(format=LOG_FORMAT, datefmt=DATE_FORMAT)
logging.warning("Some one delete the log file.", exc_info=True, stack_info=True, extra={'user': 'Tom', 'ip':'47.98.53.222'})

输出结果：

05/08/2017 16:35:00 PM - WARNING - Tom[47.98.53.222] - Some one delete the log file.
NoneType
Stack (most recent call last):
  File "C:/Users/wader/PycharmProjects/LearnPython/day06/log.py", line 45, in <module>
    logging.warning("Some one delete the log file.", exc_info=True, stack_info=True, extra={'user': 'Tom', 'ip':'47.98.53.222'})

4、logging模块日志流处理流程

---

在介绍logging模块的高级用法以前，颇有必要对logging模块所包含的重要组件以及其工做流程作个全面、简要的介绍，这有助于咱们更好的理解咱们所写的代码（将会触发什么样的操做）。

1. logging日志模块四大组件

在介绍logging模块的日志流处理流程以前，咱们先来介绍下logging模块的四大组件：

组件名称	对应类名	功能描述
日志器	Logger	提供了应用程序可一直使用的接口
处理器	Handler	将logger建立的日志记录发送到合适的目的输出
过滤器	Filter	提供了更细粒度的控制工具来决定输出哪条日志记录，丢弃哪条日志记录
格式器	Formatter	决定日志记录的最终输出格式

logging模块就是经过这些组件来完成日志处理的，上面所使用的logging模块级别的函数也是经过这些组件对应的类来实现的。

这些组件之间的关系描述：

• 日志器（logger）须要经过处理器（handler）将日志信息输出到目标位置，如：文件、sys.stdout、网络等；
• 不一样的处理器（handler）能够将日志输出到不一样的位置；
• 日志器（logger）能够设置多个处理器（handler）将同一条日志记录输出到不一样的位置；
• 每一个处理器（handler）均可以设置本身的过滤器（filter）实现日志过滤，从而只保留感兴趣的日志；
• 每一个处理器（handler）均可以设置本身的格式器（formatter）实现同一条日志以不一样的格式输出到不一样的地方。

简单点说就是：日志器（logger）是入口，真正干活儿的是处理器（handler），处理器（handler）还能够经过过滤器（filter）和格式器（formatter）对要输出的日志内容作过滤和格式化等处理操做。

2. logging日志模块相关类及其经常使用方法介绍

下面介绍下与logging四大组件相关的类：Logger, Handler, Filter, Formatter。

Logger类

Logger对象有3个任务要作：

• 1）向应用程序代码暴露几个方法，使应用程序能够在运行时记录日志消息；
• 2）基于日志严重等级（默认的过滤设施）或filter对象来决定要对哪些日志进行后续处理；
• 3）将日志消息传送给全部感兴趣的日志handlers。

Logger对象最经常使用的方法分为两类：配置方法 和 消息发送方法

最经常使用的配置方法以下：

方法	描述
Logger.setLevel()	设置日志器将会处理的日志消息的最低严重级别
Logger.addHandler() 和 Logger.removeHandler()	为该logger对象添加 和 移除一个handler对象
Logger.addFilter() 和 Logger.removeFilter()	为该logger对象添加 和 移除一个filter对象

关于Logger.setLevel()方法的说明：

内建等级中，级别最低的是DEBUG，级别最高的是CRITICAL。例如setLevel(logging.INFO)，此时函数参数为INFO，那么该logger将只会处理INFO、WARNING、ERROR和CRITICAL级别的日志，而DEBUG级别的消息将会被忽略/丢弃。

logger对象配置完成后，可使用下面的方法来建立日志记录：

方法	描述
Logger.debug(), Logger.info(), Logger.warning(), Logger.error(), Logger.critical()	建立一个与它们的方法名对应等级的日志记录
Logger.exception()	建立一个相似于Logger.error()的日志消息
Logger.log()	须要获取一个明确的日志level参数来建立一个日志记录

说明：

• Logger.exception()与Logger.error()的区别在于：Logger.exception()将会输出堆栈追踪信息，另外一般只是在一个exception handler中调用该方法。
• Logger.log()与Logger.debug()、Logger.info()等方法相比，虽然须要多传一个level参数，显得不是那么方便，可是当须要记录自定义level的日志时仍是须要该方法来完成。

那么，怎样获得一个Logger对象呢？一种方式是经过Logger类的实例化方法建立一个Logger类的实例，可是咱们一般都是用第二种方式--logging.getLogger()方法。

logging.getLogger()方法有一个可选参数name，该参数表示将要返回的日志器的名称标识，若是不提供该参数，则其值为'root'。若以相同的name参数值屡次调用getLogger()方法，将会返回指向同一个logger对象的引用。

关于logger的层级结构与有效等级的说明：

• logger的名称是一个以'.'分割的层级结构，每一个'.'后面的logger都是'.'前面的logger的children，例如，有一个名称为 foo 的logger，其它名称分别为 foo.bar, foo.bar.baz 和 foo.bam都是 foo 的后代。
• logger有一个"有效等级（effective level）"的概念。若是一个logger上没有被明确设置一个level，那么该logger就是使用它parent的level;若是它的parent也没有明确设置level则继续向上查找parent的parent的有效level，依次类推，直到找到个一个明确设置了level的祖先为止。须要说明的是，root logger老是会有一个明确的level设置（默认为 WARNING）。当决定是否去处理一个已发生的事件时，logger的有效等级将会被用来决定是否将该事件传递给该logger的handlers进行处理。
• child loggers在完成对日志消息的处理后，默认会将日志消息传递给与它们的祖先loggers相关的handlers。所以，咱们没必要为一个应用程序中所使用的全部loggers定义和配置handlers，只须要为一个顶层的logger配置handlers，而后按照须要建立child loggers就可足够了。咱们也能够经过将一个logger的propagate属性设置为False来关闭这种传递机制。

Handler类

Handler对象的做用是（基于日志消息的level）将消息分发到handler指定的位置（文件、网络、邮件等）。Logger对象能够经过addHandler()方法为本身添加0个或者更多个handler对象。好比，一个应用程序可能想要实现如下几个日志需求：

• 1）把全部日志都发送到一个日志文件中；
• 2）把全部严重级别大于等于error的日志发送到stdout（标准输出）；
• 3）把全部严重级别为critical的日志发送到一个email邮件地址。
  这种场景就须要3个不一样的handlers，每一个handler复杂发送一个特定严重级别的日志到一个特定的位置。

一个handler中只有很是少数的方法是须要应用开发人员去关心的。对于使用内建handler对象的应用开发人员来讲，彷佛惟一相关的handler方法就是下面这几个配置方法：

方法	描述
Handler.setLevel()	设置handler将会处理的日志消息的最低严重级别
Handler.setFormatter()	为handler设置一个格式器对象
Handler.addFilter() 和 Handler.removeFilter()	为handler添加 和 删除一个过滤器对象

须要说明的是，应用程序代码不该该直接实例化和使用Handler实例。由于Handler是一个基类，它只定义了素有handlers都应该有的接口，同时提供了一些子类能够直接使用或覆盖的默认行为。下面是一些经常使用的Handler：

Handler	描述
logging.StreamHandler	将日志消息发送到输出到Stream，如std.out, std.err或任何file-like对象。
logging.FileHandler	将日志消息发送到磁盘文件，默认状况下文件大小会无限增加
logging.handlers.RotatingFileHandler	将日志消息发送到磁盘文件，并支持日志文件按大小切割
logging.hanlders.TimedRotatingFileHandler	将日志消息发送到磁盘文件，并支持日志文件按时间切割
logging.handlers.HTTPHandler	将日志消息以GET或POST的方式发送给一个HTTP服务器
logging.handlers.SMTPHandler	将日志消息发送给一个指定的email地址
logging.NullHandler	该Handler实例会忽略error messages，一般被想使用logging的library开发者使用来避免'No handlers could be found for logger XXX'信息的出现。