敲代码有时候真的有点难,要考虑各类状况。css
应用在执行中,会不断生成日志文件。html
假如要实现一个日志收集的工具。不考虑其余的分析功能,仅仅考虑收集,有哪些方面要考虑的?node
首先看下通常的log框架是怎样输出日志的:mysql
多是这种:a.log.1, a.log.2, a.log.3, a.log.4, a.log.5 循环输出。linux
多是这种: a.2014-5-5.log, a.2014-5-6.log, a.2014-5-7.log,天天生成一个日志文件;git
多是这种:log.out。每次从新启动都会生成一个新的log.out,覆盖旧的文件。github
那么,咱们有哪些方面要实现和注意的?redis
如下解释下logstash是怎样实现和处理上面的问题的:sql
可以配置path參数(Array),当中支持globs风格的匹配。如:ruby
path => [ "/var/log/messages", "/var/log/*.log" ]
可以配置exclude參数(Array),排除掉不需要的文件。如:
exclude => "*.gz"
logstash把进度保存到所谓的sincedb里,实际上即这种一个文本文件,默认是放在home文件夹下的。如:
.sincedb_e794081d6134aace51b759aea8cc3be2
.sincedb_f7a0c8a0def03e0c572511ceea0b9f63
后面是日志文件。即path的hash值。
这样就区分了不一样的文件名称的日志文件的进度保存问题。
sincedb文件中是类似这种内容:
6511055 0 2051 118617881
5495516 0 2051 155859036
6348913 0 2051 148511449
上面的4列各自是:
inode, major number, minor number, pos。
当中major number和minor number是设备相关的数字,參考:http://unix.stackexchange.com/questions/73988/linux-major-and-minor-device-numbers
inode是文件系统给文件分配的是一个号码,參考:http://zh.wikipedia.org/wiki/Inode
所以logstash区分了设备。文件名称,文件的不一样版本号。
这里引出了一个新问题。用inode来推断文件的不一样版本号,是否够准确了?因为inode是会回收再使用的。
比方依次执行如下的命令,可以发现。两个文件的inode是同样的:
touch test stat test rm test touch test stat test
但是因为logstash是没有close掉文件,因此是一直持有inode,因此新的同名的日志文件会有一个新的inode。
也正是因为这样,假设logstash监视的日志文件假设被删除了,仍是可以继续把删除的文件的内容处理完。
利用inode这点特性,有时可以作一些补救工做,比方不当心把mysql的文件删掉了,仍是可以把数据dump出来,因为mysql进程还持有数据文件的inode。
另外,logstash默认是每隔1秒就尝试读取文件有没有新内容,默认是15秒就扫描,检查有没有新文件。相应stat_interval和discover_interval參数。
另外一些小细节:
比方每次最多仅仅读取出16394字节的数据,防止占用过多的内存,每5秒推断下是否需要保存新的pos。
假设日志文件被删除了,也会删除sincedb文件。
当读取到新文件内容时。pos会添加,在保存新的pos到sincedb时,logstash採用了暂时文件的办法:
先创建一个暂时文件,写入新内容。再调用操做系统提供的remane函数。原子性地替换原来的sincedb文件。
这种其实是比較常用的技巧了,redis也是这样子作的。
很是遗憾。这是不能的,除非是分布式事务。不然,总有可能丢失或者反复发送数据。不论什么日志收集软件或者消息队列软件都是如此。
详细的实现代码就不贴了,因为比較易读,当中logstash使用了filewatch这个库。可以用gem来安装。相关的代码在线查看:
https://github.com/elasticsearch/logstash/blob/v1.4.1/lib/logstash/inputs/file.rb
https://github.com/jordansissel/ruby-filewatch/tree/master/lib/filewatch
fluentd也是一个很是流行的日志收集工具。
简单再看了下fluentd的in_tail插件,发现里面还有本身当年提交的一个防止内存占用过大的建议:)
https://github.com/fluent/fluentd/blob/master/lib/fluent/plugin/in_tail.rb
fluentd的in_tail插件的原理和logstash的file input是几乎相同的,都是用inode来区分文件是否更新。
但是fluentd仅仅保存了inode和pos。没有logstash那样把设备都考虑进去了。
另外fluentd保存pos时,都是以文件追加的方式来保存的,没有像logstash那样是用rename文件来保存到新文件中。显然logstash的实现更加合理。
扯远一点。logstash部署要比fluentd方便。虽然二者都是用ruby写的。不一样的是logstash默认是jruby,仅仅要有JVM就可以跑,fluentd则要安装ruby环境。比較麻烦。
logstash大有一统江湖之势,这句话忘记在哪里看到的了。在github上的logstash的start有2000多个。
logstash + elasticsearch + Kibana的日志收集。搜索,展示的一条龙服务很是流行。
http://unix.stackexchange.com/questions/73988/linux-major-and-minor-device-numbers
http://zh.wikipedia.org/wiki/Inode
https://github.com/elasticsearch/logstash/blob/v1.4.1/lib/logstash/inputs/file.rb