rsyslog 配置详解

时间 2020-12-14

标签 html json vim 后端 bash 网络 app ssh socket debug 栏目 HTML 繁體版

原文原文链接

Rsyslog 详解

平常工做中，常遇到些问题，会查看Linux的系统日志，日志多种多样，boot.log, messages, auth.log, syslog等等，但每次出现问题老是凭借直觉和经验去一个一个翻，是下下策。搭建ELK，或者Graylog等日志分析系统也是极好的，可是体积太大了，须要考虑和维护的东西也就更多。故而经过一些更轻量级的配置，加上本身的一些理解分析，想实现一套日志分析系统。而针对系统模块的日志，首当其冲的是要搞定rsyslog。html

如下主要是针对rsyslog配置的讲解。json

日志整理

对日志进行分析，首先第一步要规整日志。vim

/etc/rsyslog.conf 是rsyslog服务的总配置文件
/etc/rsyslog.d 该目录是单独配置的rsyslog配置文件

vim /etc/rsyslog.conf

# Include all config files in /etc/rsyslog.d/
#
$IncludeConfig /etc/rsyslog.d/*.conf

# 我的建议，将全部的rule都配置在该目录下，在/etc/rsyslog.conf中不写rule

日志类别

系统日志后端

经过修改/etc/rsyslog.conf以及/etc/rsyslog.d/xxx.conf,来控制各类日志的输出

日志类型	日志内容
auth	用户认证时产生的日志
authpriv	ssh、ftp等登陆信息的验证信息
daemon	一些守护进程产生的日志
ftp	FTP产生的日志
lpr	打印相关活动
mark	服务内部的信息，时间标识
news	网络新闻传输协议(nntp)产生的消息。
syslog	系统日志
security
uucp	Unix-to-Unix Copy 两个unix之间的相关通讯
console	针对系统控制台的消息。
cron	系统执行定时任务产生的日志。
kern	系统内核日志
local0~local7	自定义程序使用
mail	邮件日志
user	用户进程

Note: 不建议使用关键字 security，而且 mark仅供内部使用，所以不该在应用程序中使用bash

	日志等级	说明
7	emerg	紧急状况，系统不可用（例如系统崩溃），通常会通知全部用户。
6	alert	须要当即修复的告警。
5	crit	危险状况，例如硬盘错误，可能会阻碍程序的部分功能。
4	error/err	通常错误消息。
3	warning/warn	警告。
2	notice	不是错误，可是可能须要处理。
1	info	通用性消息，通常用来提供有用信息。
0	debug	调试程序产生的信息。
	none	没有优先级，不记录任何日志消息。

结合使用的 rule 示例（懒人福利，CV大法，即粘即用）网络

# 记录mail日志等级为error及以上日志
mail.err							/var/log/mail_err.log

# 记录mail全部等级为warn级别的日志（仅记录warn级别）
mail.=warn							/var/log/mail_err.log

# 记录kern全部日志
kern.*								/var/log/kern.log

# 将mail的全部信息，除了info之外，其余的都写入/var/adm/mail
mail.*;mail.!=info   /var/adm/mail

# 将日志等级为crit或更高的内核消息定向到远程主机finlandia
# 若是主机崩溃，磁盘出现不可修复的错误，可能没法读取存储的消息。若是有日志在远程主机上，能够尝试找出崩溃的缘由。
kern.crit    						 @finlandia

# 记录全部类型的warning等级及以上日志
*.warning							/var/log/syslog_warn.log

# 记录mail的warning日志和kern的error日志,其余全部的info日志
*.info;mail.warning;kern.error		/var/log/messages

# 记录kernel的info到warning日志
kern.info;kern.!err   /var/adm/kernel-info

# 将mail和news的info级别日志写入/var/adminfo
mail,news.=info    /var/adm/info

# 将全部系统中全部类型的info日志和notice日志存入/var/log/massages,mail的全部日志除外。
*.=info;*.=notice;\
mail.none /var/log/messages

# 紧急消息（emerg级别）将使用wall显示给当前全部登陆的用户
*.=emerg   		*

# 该规则将全部alert以及更高级别的消息定向到操做员的终端，即登陆的用户“root”和“joey”的终端。
*.alert      root,joey

注意事项（标题这么大，这段别落下）

单独把这个拎出来写。app

上面的大概就是全部能用到的规则了，而这些规则有时候仍是有些问题的ssh

For example?socket

Exapmple Adebug

mail.crit,*.err					/var/log/syslog_err.log

# 这样的状况，最终的结果仍是会把mail的err级别日志输出到syslog_err.log

Exapmple B

mail.!warn						/var/log/mail.log

# 看起来是将mail的warn如下级别的日志输出到/var/log/mail.log，其实否则，你会发现你什么也得不到。
# 官方的解释是，感叹号(就是形似这个的符号 ==> !) 就是个过滤器,你得先有东西，才能去过去，好比：
mail.*;mail.!warn						/var/log/mail.log

Exapmple C

若是在规则结束后当即使用反斜杠，而中间没有空格，那么使用反斜杠将行一分为二是无效的。

以上都是官方建议

如下是我的建议

既然是规整日志，不论是出于什么缘由，那必定是为了用起来更方便，看起来更简洁。别整太多花里胡哨的，实用就行。想明白本身要啥效果，捡本身用得着的看就行。莫要本末倒置，化简为繁。

修改系统日志的输出格式

rsyslog Properties

模板元素属性

属性	释义\|
msg	日志的信息内容，message。
rawmsg	不转义的日志内容。转义是默认开启的(EscapecontrolCharactersOnReceive),因此它有可能与socket中接收到的内容不一样。
rawmsg-after-pri	几乎与rawmsg相同，可是删除了syslog PRI。
hostname	打印该日志的主机名。
source	hostname属性的别名。
fromhost	接收的信息来自于哪一个节点。这里是DNS解析的名字。
fromhost-ip	接收的信息来自于哪一个节点，这里是IP，本地的是127.0.0.1。
syslogtag	信息标签。大体形如 programed[14321] 。
programname	tag的一部分，就是上面的programed那个位置。
pri	消息的PRI部分-未解码(单值)
pri-text	文本形式的消息的PRI部分，并在括号中添加数值PRI(例如“local0.err<133>”)
iut	InfoUnitType 一款监视器软件，在与监视器后端通讯的时候使用
syslogfacility	设备信息，数字形式表示
syslogfacility-text	设备信息，文本形式表示
syslogseverity	日志严重性等级，数字形式表示
syslogseverity-text	日志严重性等级，文本形式表示
syslogpriority	同 syslogseverity
syslogpriority-text	同 syslogseverity-text
timegenerated	高精度时间戳
timereported	日志中的时间戳。精度取决于日志中提供的内容(在大多数状况下，为秒级)
timestamp	同 timereported
protocol-version	IETF draft draft-ietf-syslog-protocol 中的 PROTOCOL-VERSION 字段的内容
structured-data	IETF draft draft-ietf-syslog-protocol 中的 STRUCTURED-DATA 字段的内容
app-name	IETF draft draft-ietf-syslog-protocol 中的 APP-NAME 字段的内容
procid	IETF draft draft-ietf-syslog-protocol 中的 PROCID 字段的内容
msgid	IETF draft draft-ietf-syslog-protocol 中的 MSGID 字段的内容
inputname	生成日志的输入模块的名称(如“imuxsock”、“imudp”)
jsonmesg	整个日志对象做为json表示。可能出现数据重复，譬如syslogtag包含着programname，但二者都会分别表示。因此这个属性有一些额外开销，建议只有在实际须要的时候再用。

与时间相关的系统属性（以 2020-07-08 16:57:36 为例）

属性	释义
$now	当前日期时间戳，格式为YYYY-MM-DD (2020-07-08)
$year	当前年份，四位数 (2020)
$month	当前月份，两位数 (07)
$day	当前月份的日期，两位数 (08)
$wday	当前天数周几：0=Sunday,...6=Saturday
$hour	当前小时（24小时机制），两位数(16)
$hhour	半小时机值，就是0-29分钟显示0，30-59分钟显示1。
$qhour	一刻钟机值，经过0-3显示，每15分钟一截。
$minute	当前分钟数，两位数(57)

经过模板修改日志

vim /etc/rsyslog.conf

# 建立一个名为cky_format的模板，其中 TIMESTAMP:8:15 表示timestamp属性值切片第八位到第十五位。
$template cky_format, "%$NOW% %TIMESTAMP:8:15% %hostname% %syslogseverity-text% %syslogtag% %msg%\n"
$ActionFileDefaultTemplate cky_format

#重启rsyslog
systemctl restart rsyslog

日志格式效果样例

# NOW | timestamp:8:15| hostname| syslogseverity-text | syslogtag | msg
2020-07-09 09:59:54 mycomputer    info    systemd:  Started System Logging Service.
#    时间戳         | 	 主机名   | 日志等级 | 服务进程 |   日志内容

尚有不足之处，望各位看客斧正，本文后续会逐渐完善。