最好用的开源日志分析工具

监控网络活动既重要又繁琐，如下这些工具可使它更容易。

监控网络活动是一项繁琐的工做，但有充分的理由这样作。例如，它容许你查找和调查工做站和链接到网络的设备及服务器上的可疑登陆，同时肯定管理员滥用了什么。你还能够跟踪软件安装和数据传输，以实时识别潜在问题，而不是在损坏发生后才进行跟踪。
这些日志还有助于使你的公司遵照适用于在欧盟范围内运营的任何实体的通用数据保护条例（GFPR）。若是你的网站在欧盟能够浏览，那么你就有遵照的该条例的资格。
日志记录，包括跟踪和分析，应该是任何监控基础设置中的一个基本过程。要从灾难中恢复 SQL Server 数据库，须要事务日志文件。此外，经过跟踪日志文件，DevOps 团队和数据库管理员（DBA）能够保持最佳的数据库性能，又或者，在网络攻击的状况下找到未经受权活动的证据。所以，按期监视和分析系统日志很是重要。这是一种从新建立致使出现任何问题的事件链的可靠方式。
如今有不少开源日志跟踪器和分析工具可供使用，这使得为活动日志选择合适的资源比你想象的更容易。自由和开源软件社区提供的日志设计适用于各类站点和操做系统。如下是五个我用过的最好的工具，它们并无特别的顺序。

Graylog

Graylog 于 2011 年在德国创立，如今做为开源工具或商业解决方案提供。它被设计成一个集中式日志管理系统，接受来自不一样服务器或端点的数据流，并容许你快速浏览或分析该信息。
Graylog 在系统管理员中有着良好的声誉，由于它易于扩展。大多数 Web 项目都是从小规模开始的，但它们可能指数级增加。Graylog 能够均衡后端服务网络中的负载，天天能够处理几 TB 的日志数据。
IT 管理员会发现 Graylog 的前端界面易于使用，并且功能强大。Graylog 是围绕仪表板的概念构建的，它容许你选择你认为最有价值的指标或数据源，并快速查看一段时间内的趋势。
当发生安全或性能事件时，IT 管理员但愿可以尽量地根据症状追根溯源。Graylog 的搜索功能使这变得容易。它有内置的容错功能，可运行多线程搜索，所以你能够同时分析多个潜在的威胁。

Nagios

Nagios 始于 1999 年，最初是由一个开发人员开发的，如今已经发展成为管理日志数据最可靠的开源工具之一。当前版本的 Nagios 能够与运行 Microsoft Windows、Linux 或 Unix 的服务器集成。
它的主要产品是日志服务器，旨在简化数据收集并使系统管理员更容易访问信息。Nagios 日志服务器引擎将实时捕获数据，并将其提供给一个强大的搜索工具。经过内置的设置向导，能够轻松地与新端点或应用程序集成。
Nagios 最经常使用于须要监控其本地网络安全性的组织。它能够审核一系列与网络相关的事件，并帮助自动分发警报。若是知足特定条件，甚至能够将 Nagios 配置为运行预约义的脚本，从而容许你在人员介入以前解决问题。
做为网络审计的一部分，Nagios 将根据日志数据来源的地理位置过滤日志数据。这意味着你可使用地图技术构建全面的仪表板，以了解 Web 流量是如何流动的。

Elastic Stack (ELK Stack)

Elastic Stack，一般称为 ELK Stack，是须要筛选大量数据并理解其日志系统的组织中最受欢迎的开源工具之一（这也是我我的的最爱）。
它的主要产品由三个独立的产品组成：Elasticsearch、Kibana 和 Logstash：
顾名思义， Elasticsearch 旨在帮助用户使用多种查询语言和类型在数据集之中找到匹配项。速度是它最大的优点。它能够扩展成由数百个服务器节点组成的集群，轻松处理 PB 级的数据。
Kibana 是一个可视化工具，与 Elasticsearch 一块儿工做，容许用户分析他们的数据并构建强大的报告。当你第一次在服务器集群上安装 Kibana 引擎时，你会看到一个显示着统计数据、图表甚至是动画的界面。
ELK Stack 的最后一部分是 Logstash，它做为一个纯粹的服务端管道进入 Elasticsearch 数据库。你能够将 Logstash 与各类编程语言和 API 集成，这样你的网站和移动应用程序中的信息就能够直接提供给强大的 Elastic Stalk 搜索引擎中。
ELK Stack 的一个独特功能是，它容许你监视构建在 WordPress 开源网站上的应用程序。与跟踪管理日志和 PHP 日志的大多数开箱即用的安全审计日志工具相比，ELK Stack 能够筛选 Web 服务器和数据库日志。
糟糕的日志跟踪和数据库管理是致使网站性能不佳的最多见缘由之一。没有按期检查、优化和清空数据库日志，不只会下降站点的运行速度，还可能致使其彻底崩溃。所以，ELK Stack 对于每一个 WordPress 开发人员的工具包来讲都是一个优秀的工具。

LOGalyze

LOGalyze 是一个位于匈牙利的组织，它为系统管理员和安全专家构建开源工具，以帮助他们管理服务器日志，并将其转换为有用的数据点。其主要产品可供我的或商业用户免费下载。
LOGalyze 被设计成一个巨大的管道，其中多个服务器、应用程序和网络设备可使用简单对象访问协议（SOAP）方法提供信息。它提供了一个前端界面，管理员能够登陆界面来监控数据集并开始分析数据。
在 LOGalyze 的 Web 界面中，你能够运行动态报告，并将其导出到 Excel 文件、PDF 文件或其余格式。这些报告能够基于 LOGalyze 后端管理的多维统计信息。它甚至能够跨服务器或应用程序组合数据字段，借此来帮助你发现性能趋势。
LOGalyze 旨在不到一个小时内完成安装和配置。它具备预先构建的功能，容许它以法律所要求的格式收集审计数据。例如，LOGalyze 能够很容易地运行不一样的 HIPAA 报告，以确保你的组织遵照健康法律并保持合规性。

Fluentd

若是你所在组织的数据源位于许多不一样的位置和环境中，那么你的目标应该是尽量地将它们集中在一块儿。不然，你将难以监控性能并防范安全威胁。
Fluentd 是一个强大的数据收集解决方案，它是彻底开源的。它没有提供完整的前端界面，而是做为一个收集层来帮助组织不一样的管道。Fluentd 在被世界上一些最大的公司使用，可是也能够在较小的组织中实施。
Fluentd 最大的好处是它与当今最经常使用的技术工具兼容。例如，你可使用 Fluentd 从 Web 服务器（如 Apache）、智能设备传感器和 MongoDB 的动态记录中收集数据。如何处理这些数据彻底取决于你。
Fluentd 基于 JSON 数据格式，它能够与由卓越的开发人员建立的 500 多个插件一块儿使用。这使你能够将日志数据扩展到其余应用程序中，并经过最少的手工操做从中得到更好的分析。

via: https://opensource.com/article/19/4/log-analysis-tools

做者：Sam Bocetta 选题：lujun9972 译者：MjSeven 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出