【Python】Python 日志实践之logging模块
【笔记】html
1.把logging配置文件提取出来，写在logging.yaml文件中加载，比json加载简单并且不会报错；python
2.修改getLogger参数，在每个函数内部设置logger的名称：react
- 修改前：logger = logging.getLogger(__name__)
- 修改后：logger = logging.getLogger("Bar")
3.修改配置文件中的日期格式：datefmt: "%m-%d %A %H:%M"，效果以下:git
- 修改前：2017-12-25 16:09:31,871 - foo - INFO - Hi, foo
- 修改后：12-25 Monday 16:15 - foo - INFO - Hi, foo、
- 或者，fmt = logging.Formatter('[%(asctime)s] [%(levelname)s] %(message)s', '%Y-%m-%d %H:%M:%S')
- config['handlers']['info_file_handler']['filename'] = filename
- 模块下载：ConcurrentLogHandler，导入方式为【from cloghandler import ConcurrentRotatingFileHandler】
- 使用方式参考：python 多进程 logging：ConcurrentLogHandler、多进程logging
- 安装工具下载：ez_setup，使用方式为【easy_install package.egg】
===================================================程序员
《Python日志输出——logging模块》
1. logging介绍
Python的logging模块提供了通用的日志系统，能够方便第三方模块或者是应用使用。这个模块提供不一样的日志级别，并能够采用不一样的方式记录日志，好比文件，HTTP GET/POST，SMTP，Socket等，甚至能够本身实现具体的日志记录方式。github
logging模块与log4j的机制是同样的，只是具体的实现细节不一样。模块提供logger，handler，filter，formatter。web
logger：提供日志接口，供应用代码使用。logger最长用的操做有两类：配置和发送日志消息。能够经过logging.getLogger(name)获取logger对象，若是不指定name则返回root对象，屡次使用相同的name调用getLogger方法返回同一个logger对象。算法
handler：将日志记录（log record）发送到合适的目的地（destination），好比文件，socket等。一个logger对象能够经过addHandler方法添加0到多个handler，每一个handler又能够定义不一样日志级别，以实现日志分级过滤显示。json
filter：提供一种优雅的方式决定一个日志记录是否发送到handler。ubuntu
formatter：指定日志记录输出的具体格式。formatter的构造方法须要两个参数：消息的格式字符串和日期字符串，这两个参数都是可选的。
与log4j相似，logger，handler和日志消息的调用能够有具体的日志级别（Level），只有在日志消息的级别大于logger和handler的级别。
2. logging的配置
logging的配置能够采用python代码或是配置文件。python代码的方式就是在应用的主模块中，构建handler，handler，formatter等对象。而配置文件的方式是将这些对象的依赖关系分离出来放在文件中。好比前面的例子就相似于python代码的配置方式。
这里还要明确一点，logger对象是有继承关系的，好比名为a.b和a.c的logger都是名为a的子logger，而且全部的logger对象都继承于root。若是子对象没有添加handler等一些配置，会从父对象那继承。这样就能够经过这种继承关系来复用配置。
3. 多模块使用logging
logging模块保证在同一个python解释器内，屡次调用logging.getLogger('log_name')都会返回同一个logger实例，即便是在多个模块的状况下。因此典型的多模块场景下使用logging的方式是在main模块中配置logging，这个配置会做用于多个的子模块，而后在其余模块中直接经过getLogger获取Logger对象便可。
转自：http://blog.csdn.net/chosen0ne/article/details/7319306
《每一个 Python 程序员都要知道的日志实践》
在现实生活中，记录日志很是重要。银行转帐时会有转帐记录；飞机飞行过程当中，会有黑盒子（飞行数据记录器）记录飞行过程当中的一切。若是有出现什么问题，人们能够经过日志数据来搞清楚到底发生了什么。
对于系统开发、调试以及运行，记录日志都是一样的重要。若是没有日志记录，程序崩溃时你几乎就没办法弄明白到底发生了什么事情。举个例子，当你在写一个服务器程序时，记录日志是很是有必要的。下面展现的就是 EZComet.com 服务器的日志文件截图。
服务崩溃后，若是没有日志，我几乎没办法知道到底发生了错误。日志不只对于服务器很重要，对于桌面图形应用一样十分重要。好比，当你的客户的 PC 机程序崩溃时，你可让他们把日志文件发给你，这样你就能够找到问题到底出在哪儿。相信我，在不一样的 PC 环境下，你永远不会知道会有怎样奇怪的问题。我曾经就接收到过这样的错误日志。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
2011
-
08
-
22
17
:
52
:
54
,
828
-
root
-
ERROR
-
[
Errno
10104
]
getaddrinfo
failed
Traceback
(
most
recent
call
last
)
:
File
"<string>"
,
line
124
,
in
main
File
"<string>"
,
line
20
,
in
__init__
File
"h:workspaceprojectbuildpyi.win32mrdjoutPYZ1.pyz/wx._core"
,
line
7978
,
in
__init__
File
"h:workspaceprojectbuildpyi.win32mrdjoutPYZ1.pyz/wx._core"
,
line
7552
,
in
_BootstrapApp
File
"<string>"
,
line
84
,
in
OnInit
File
"h:workspaceprojectbuildpyi.win32mrdjoutPYZ1.pyz/twisted.internet.wxreactor"
,
line
175
,
in
install
File
"h:workspaceprojectbuildpyi.win32mrdjoutPYZ1.pyz/twisted.internet._threadedselect"
,
line
106
,
in
__init__
File
"h:workspaceprojectbuildpyi.win32mrdjoutPYZ1.pyz/twisted.internet.base"
,
line
488
,
in
__init__
File
"h:workspaceprojectbuildpyi.win32mrdjoutPYZ1.pyz/twisted.internet.posixbase"
,
line
266
,
in
installWaker
File
"h:workspaceprojectbuildpyi.win32mrdjoutPYZ1.pyz/twisted.internet.posixbase"
,
line
74
,
in
__init__
File
"h:workspaceprojectbuildpyi.win32mrdjoutPYZ1.pyz/socket"
,
line
224
,
in
meth
gaierror
:
[
Errno
10104
]
getaddrinfo
failed
|
我最终发现，这个客户的 PC 机被一种病毒感染，致使了调用 gethostname 函数失败。看吧，若是没有日志能够查你怎么可能知道这些。
打印输出不是个好办法
尽管记录日志很是重要，可是并非全部的开发者都能正确地使用它。我曾看到一些开发者是这样记录日志的，在开发的过程当中插入 print 语句，开发结束后再将这些语句移除。就像这样:
|
1
2
3
4
5
6
|
print
'Start reading database'
records
=
model
.
read_recrods
(
)
print
'# records'
,
records
print
'Updating record ...'
model
.
update_records
(
records
)
print
'done'
|
这种方式对于简单脚本型程序有用，可是若是是复杂的系统，你最好不要使用这样的方式。首先，你没办法作到在日志文件中只留下极其重要的消息。你会看到大量的消息日志。可是你却找不到任何有用的信息。你除了移除这输出语句这外，没别的办法控制代码，可是极有可能的是你忘记了移出那些没用的输出。再者，print 输出的全部信息都到了标准输出中，这将严重影响到你从标准输出中查看其它输出数据。固然，你也能够把消息输出到 stderr ，可是用 print 作日志记录的方式仍是很差。
使用 python 的标准日志模块
那么，怎么样记录日志才是正确的呢？其实很是简单，使用 python 的标准日志模块。多亏 python 社区将日志作成了一个标准模块。它很是简单易用且十分灵活。你能够像这样使用日志系统：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
import
logging
logging
.
basicConfig
(
level
=
logging
.
INFO
)
logger
=
logging
.
getLogger
(
__name__
)
logger
.
info
(
'Start reading database'
)
# read database here
records
=
{
'john'
:
55
,
'tom'
:
66
}
logger
.
debug
(
'Records: %s'
,
records
)
logger
.
info
(
'Updating records ...'
)
# update records here
logger
.
info
(
'Finish updating records'
)
|
运行的时候就可看到：
|
1
2
3
|
INFO
:
__main__
:
Start
reading
database
INFO
:
__main__
:
Updating
records
.
.
.
INFO
:
__main__
:
Finish
updating
records
|
你可能会问这与使用 print 有什么不一样呢。它有如下的优点：
- 你能够控制消息的级别，过滤掉那些并不重要的消息。
- 你可决定输出到什么地方，以及怎么输出。
有许多的重要性别级可供选择，debug、info、warning、error 以及 critical。经过赋予 logger 或者 handler 不一样的级别，你就能够只输出错误消息到特定的记录文件中，或者在调试时只记录调试信息。让咱们把 logger 的级别改为 DEBUG 再看一下输出结果：
|
1
|
logging
.
basicConfig
(
level
=
logging
.
DEBUG
)
|
输出变成了：
|
1
2
3
4
|
INFO
:
__main__
:
Start
reading
database
DEBUG
:
__main__
:
Records
:
{
'john'
:
55
,
'tom'
:
66
}
INFO
:
__main__
:
Updating
records
.
.
.
INFO
:
__main__
:
Finish
updating
records
|
正如看到的那样，咱们把 logger 的等级改成 DEBUG 后，调试记录就出如今了输出当中。你也能够选择怎么处理这些消息。例如，你可使用 FileHandler 把记录写进文件中：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
import
logging
logger
=
logging
.
getLogger
(
__name__
)
logger
.
setLevel
(
logging
.
INFO
)
# create a file handler
handler
=
logging
.
FileHandler
(
'hello.log'
)
handler
.
setLevel
(
logging
.
INFO
)
# create a logging format
formatter
=
logging
.
Formatter
(
'%(asctime)s - %(name)s - %(levelname)s - %(message)s'
)
handler
.
setFormatter
(
formatter
)
# add the handlers to the logger
logger
.
addHandler
(
handler
)
logger
.
info
(
'Hello baby'
)
|
标准库模块中提供了许多的 handler ，你能够将记录发送到邮箱甚至发送到一个远程的服务器。你也能够实现本身的记录 handler 。这里将不具体讲述实现的细节，你能够参考官方文档：Basci Turial、Advanced Tutorial 与 Logging Cookbook。
以合适的等级输出日志记录
有了灵活的日志记录模块后，你能够按适当的等级将日志记录输出到任何地方而后配置它们。那么你可能会问，什么是合适的等级呢？在这儿我将分享一些个人经验。
大多数的状况下，你都不想阅读日志中的太多细节。所以，只有你在调试过程当中才会使用 DEBUG 等级。我只使用 DEBUG 获取详细的调试信息，特别是当数据量很大或者频率很高的时候，好比算法内部每一个循环的中间状态。
|
1
2
3
4
5
|
def
complex_algorithm
(
items
)
:
for
i
,
item
in
enumerate
(
items
)
:
# do some complex algorithm computation
logger
.
debug
(
'%s iteration, item=%s'
,
i
,
item
)
|
在处理请求或者服务器状态变化等平常事务中，我会使用 INFO 等级。
|
1
2
3
4
5
6
7
8
9
10
11
|
def
handle_request
(
request
)
:
logger
.
info
(
'Handling request %s'
,
request
)
# handle request here
result
=
'result'
logger
.
info
(
'Return result: %s'
,
result
)
def
start_service
(
)
:
logger
.
info
(
'Starting service at port %s ...'
,
port
)
service
.
start
(
)
logger
.
info
(
'Service is started'
)
|
当发生很重要的事件，可是并非错误时，我会使用 WARNING 。好比，当用户登陆密码错误时，或者链接变慢时。
|
1
2
3
4
5
|
def
authenticate
(
user_name
,
password
,
ip_address
)
:
if
user_name
!=
USER_NAME
and
password
!=
PASSWORD
:
logger
.
warn
(
'Login attempt to %s from IP %s'
,
user_name
,
ip_address
)
return
False
# do authentication here
|
有错误发生时确定会使用 ERROR 等级了。好比抛出异常，IO 操做失败或者链接问题等。
|
1
2
3
4
5
6
|
def
get_user_by_id
(
user_id
)
:
user
=
db
.
read_user
(
user_id
)
if
user
is
None
:
logger
.
error
(
'Cannot find user with user_id=%s'
,
user_id
)
return
user
return
user
|
我不多使用 CRITICAL 。当一些特别糟糕的事情发生时，你可使用这个级别来记录。比方说，内存耗尽，磁盘满了或者核危机（但愿永远别发生 :S）。
使用 __name__ 做为 logger 的名称
虽然不是非得将 logger 的名称设置为 __name__ ，可是这样作会给咱们带来诸多益处。在 python 中，变量 __name__ 的名称就是当前模块的名称。好比，在模块 “foo.bar.my_module” 中调用 logger.getLogger(__name__) 等价于调用logger.getLogger(“foo.bar.my_module”) 。当你须要配置 logger 时，你能够配置到 “foo” 中，这样包 foo 中的全部模块都会使用相同的配置。当你在读日志文件的时候，你就可以明白消息到底来自于哪个模块。
捕捉异常并使用 traceback 记录它
出问题的时候记录下来是个好习惯，可是若是没有 traceback ，那么它一点儿用也没有。你应该捕获异常并用 traceback 把它们记录下来。好比下面这个例子：
|
1
2
3
4
5
6
|
try
:
open
(
'/path/to/does/not/exist'
,
'rb'
)
except
(
SystemExit
,
KeyboardInterrupt
)
:
raise
except
Exception
,
e
:
logger
.
error
(
'Failed to open file'
,
exc_info
=
True
)
|
使用参数 exc_info=true 调用 logger 方法, traceback 会输出到 logger 中。你能够看到下面的结果：
|
1
2
3
4
5
|
ERROR
:
__main__
:
Failed
to
open
file
Traceback
(
most
recent
call
last
)
:
File
"example.py"
,
line
6
,
in
<
module
>
open
(
'/path/to/does/not/exist'
,
'rb'
)
IOError
:
[
Errno
2
]
No
such
file
or
directory
:
'/path/to/does/not/exist'
|
你也能够调用 logger.exception(msg, _args)，它等价于 logger.error(msg, exc_info=True, _args)。
千万不要在模块层次获取 Logger，除非 disable_existing_loggers 被设置为 False
你能够看到不少在模块层次获取 logger 的例子（在这篇文章我也使用了不少，但这仅仅为了让示例更短一些）。它们看上去没什么坏处，但事实上，这儿是有陷阱的 – 若是你像这样在模块中使用 Logger，Python 会保留从文件中读入配置前全部建立的全部 logger。
my_module.py
|
1
2
3
4
5
6
7
8
9
10
|
import
logging
logger
=
logging
.
getLogger
(
__name__
)
def
foo
(
)
:
logger
.
info
(
'Hi, foo'
)
class
Bar
(
object
)
:
def
bar
(
self
)
:
logger
.
info
(
'Hi, bar'
)
|
main.py
|
1
2
3
4
5
6
7
8
9
10
|
import
logging
logger
=
logging
.
getLogger
(
__name__
)
def
foo
(
)
:
logger
.
info
(
'Hi, foo'
)
class
Bar
(
object
)
:
def
bar
(
self
)
:
logger
.
info
(
'Hi, bar'
)
|
logging.ini
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
[
loggers
]
keys
=
root
[
handlers
]
keys
=
consoleHandler
[
formatters
]
keys
=
simpleFormatter
[
logger_root
]
level
=
DEBUG
handlers
=
consoleHandler
[
handler_consoleHandler
]
class
=
StreamHandler
level
=
DEBUG
formatter
=
simpleFormatter
args
=
(
sys
.
stdout
,
)
[
formatter_simpleFormatter
]
format
=
%
(
asctime
)
s
-
%
(
name
)
s
-
%
(
levelname
)
s
-
%
(
message
)
s
datefmt
=
|
本应该在日志中看到记录，可是你却什么也没有看到。为何呢？这就是由于你在模块层次建立了 logger，而后你又在加载日志配置文件以前就导入了模块。logging.fileConfig 与 logging.dictConfig 默认状况下会使得已经存在的 logger 失效。因此，这些配置信息不会应用到你的 Logger 上。你最好只在你须要 logger 的时候才得到它。反正建立或者取得 logger 的成本很低。你能够这样写你的代码：
|
1
2
3
4
5
6
7
8
9
10
11
12
|
import
logging
def
foo
(
)
:
logger
=
logging
.
getLogger
(
__name__
)
logger
.
info
(
'Hi, foo'
)
class
Bar
(
object
)
:
def
__init__
(
self
,
logger
=
None
)
:
self
.
logger
=
logger
or
logging
.
getLogger
(
__name__
)
def
bar
(
self
)
:
self
.
logger
.
info
(
'Hi, bar'
)
|
这样，logger 就会在你加载配置后才会被建立。这样配置信息就能够正常应用。
python2.7 以后的版本中 fileConfg 与 dictConfig 都新添加了 “disable_existing_loggers” 参数，将其设置为 False，上面提到的问题就能够解决了。例如：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
import
logging
import
logging.config
logger
=
logging
.
getLogger
(
__name__
)
# load config from file
# logging.config.fileConfig('logging.ini', disable_existing_loggers=False)
# or, for dictConfig
logging.config
.
dictConfig
(
{
'version'
:
1
,
'disable_existing_loggers'
:
False
,
# this fixes the problem
'formatters'
:
{
'standard'
:
{
'format'
:
'%(asctime)s [%(levelname)s] %(name)s: %(message)s'
}
,
}
,
'handlers'
:
{
'default'
:
{
'level'
:
'INFO'
,
'class'
:
'logging.StreamHandler'
,
}
,
}
,
'loggers'
:
{
''
:
{
'handlers'
:
[
'default'
]
,
'level'
:
'INFO'
,
'propagate'
:
True
}
}
}
)
logger
.
info
(
'It works!'
)
|
使用 JSON 或者 YAML 记录配置
虽然你能够在 python 代码中配置你的日志系统，可是这样并不够灵活。最好的方法是使用一个配置文件来配置。在 Python2.7 及以后的版本中，你能够从字典中加载 logging 配置。这也就意味着你能够从 JSON 或者 YAML 文件中加载日志的配置。尽管你还能用原来 .ini 文件来配置，可是它既很难读也很难写。下面我给大家看一个用 JSON 和 YAML 文件配置的例子:
logging.json
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
|
{
"version"
:
1
,
"disable_existing_loggers"
:
false
,
"formatters"
:
{
"simple"
:
{
"format"
:
"%(asctime)s - %(name)s - %(levelname)s - %(message)s"
}
}
,
"handlers"
:
{
"console"
:
{
"class"
:
"logging.StreamHandler"
,
"level"
:
"DEBUG"
,
"formatter"
:
"simple"
,
"stream"
:
"ext://sys.stdout"
}
,
"info_file_handler"
:
{
"class"
:
"logging.handlers.RotatingFileHandler"
,
"level"
:
"INFO"
,
"formatter"
:
"simple"
,
"filename"
:
"info.log"
,
"maxBytes"
:
10485760
,
"backupCount"
:
20
,
"encoding"
:
"utf8"
}
,
"error_file_handler"
:
{
"class"
:
"logging.handlers.RotatingFileHandler"
,
"level"
:
"ERROR"
,
"formatter"
:
"simple"
,
"filename"
:
"errors.log"
,
"maxBytes"
:
10485760
,
"backupCount"
:
20
,
"encoding"
:
"utf8"
}
}
,
"loggers"
:
{
"my_module"
:
{
"level"
:
"ERROR"
,
"handlers"
:
[
"console"
]
,
"propagate"
:
"no"
}
}
,
"root"
:
{
"level"
:
"INFO"
,
"handlers"
:
[
"console"
,
"info_file_handler"
,
"error_file_handler"
]
}
}
|
logging.yaml
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
|
--
-
version
:
1
disable_existing_loggers
:
False
formatters
:
simple
:
format
:
"%(asctime)s - %(name)s - %(levelname)s - %(message)s"
handlers
:
console
:
class
:
logging
.
StreamHandler
level
:
DEBUG
formatter
:
simple
stream
:
ext
:
/
/
sys
.
stdout
info_file_handler
:
class
:
logging.handlers
.
RotatingFileHandler
level
:
INFO
formatter
:
simple
filename
:
info
.
log
maxBytes
:
10485760
# 10MB
backupCount
:
20
encoding
:
utf8
error_file_handler
:
class
:
logging.handlers
.
RotatingFileHandler
level
:
ERROR
formatter
:
simple
filename
:
errors
.
log
maxBytes
:
10485760
# 10MB
backupCount
:
20
encoding
:
utf8
loggers
:
my_module
:
level
:
ERROR
handlers
:
[
console
]
propagate
:
no
root
:
level
:
INFO
handlers
:
[
console
,
info_file_handler
,
error_file_handler
]
.
.
.
|
接下来将展现怎样从 JSON 文件中读入日志的配置信息：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
import
json
import
logging.config
def
setup_logging
(
default_path
=
'logging.json'
,
default_level
=
logging
.
INFO
,
env_key
=
'LOG_CFG'
)
:
"""Setup logging configuration
"""
path
=
default_path
value
=
os
.
getenv
(
env_key
,
None
)
if
value
:
path
=
value
if
os.path
.
exists
(
path
)
:
with
open
(
path
,
'rt'
)
as
f
:
config
=
json
.
load
(
f
)
logging.config
.
dictConfig
(
config
)
else
:
logging
.
basicConfig
(
level
=
default_level
)
|
使用 JSON 的一个优势就是 json是一个标准库，你不须要额外安装它。可是从我我的来讲，我比较喜欢 YAML 一些。它不管是读起来仍是写起来都比较容易。你也可使用下面的方法来加载一个 YAML 配置文件：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
import
os
import
logging.config
import
yaml
def
setup_logging
(
default_path
=
'logging.yaml'
,
default_level
=
logging
.
INFO
,
env_key
=
'LOG_CFG'
)
:
"""Setup logging configuration
"""
path
=
default_path
value
=
os
.
getenv
(
env_key
,
None
)
if
value
:
path
=
value
if
os.path
.
exists
(
path
)
:
with
open
(
path
,
'rt'
)
as
f
:
config
=
yaml
.
load
(
f
.
read
(
)
)
logging.config
.
dictConfig
(
config
)
else
:
lo
|
接下来，你就能够在运行程序的时候调用 setup_logging 来启动日志记录了。它默认会读取 logging.json 或 logging.yaml 文件 。你也能够设置环境变量 LOG_CCFG 从指定路径加载日志配置。例如：
|
1
|
LOG_CFG
=
my_logging
.
json
python
my_server
.
py
|
若是你喜欢 YAML：
|
1
|
LOG_CFG
=
my_logging
.
yaml
python
my_server
.
py
|
使用旋转文件句柄
若是你用 FileHandler 写日志，文件的大小会随着时间推移而不断增大。最终有一天它会占满你全部的磁盘空间。为了不这种状况出现，你能够在你的生成环境中使用 RotatingFileHandler 替代 FileHandler。
若是你有多个服务器能够启用一个专用的日志服务器
- 1. 【Python】Python 日志实践之logging模块
- 2. Python日志模块logging
- 3. python 日志模块logging
- 4. python日志模块-Logging
- 5. Python logging(日志)模块
- 6. python-->logging日志模块
- 7. python的logging日志模块
- 8. Appium-python日志模块logging
- 9. python日志模块logging
- 10. Python之日志处理（logging模块）
- 更多相关文章...
- • SQLite - Python - SQLite教程
- • Docker 安装 Python - Docker教程
- • 委托模式
- • TiDB 在摩拜单车在线数据业务的应用和实践
-
每一个你不满意的现在，都有一个你没有努力的曾经。