日志分析——从概念到应用

什么是日志分析？

       计算机、网络和其余IT系统生成审计跟踪记录或记录系统活动的日志。日志分析是对这些记录的评估，帮助公司缓解各类风险并知足合规性法规。

日志分析如何工做？

       日志一般由网络设备、应用程序、操做系统以及可编程/智能的设备建立。包含按时间顺序排列的，并存储在磁盘、文件或日志收集器之类的应用程序中的消息。

       分析人员须要确保日志涵盖完整的消息范围，并根据上下文进行解释。应使用相同的术语对日志元素进行规范化，以免混淆并保证内聚性。例如，一个系统可能使用“警告（warning）”而另外一个系统使用“关键（critical）”。确保术语和数据格式同步将有助于简化分析并减小错误。规范化还可确保不一样来源的统计数据和报告有意义且准确。

       收集、清理和结构化日志数据后，能够对其进行适当分析，以检测模式和异常状况，如网络入侵。

用于日志分析的案例

       日志分析有几个不一样的用途：

• 遵照内部安全政策和外部法规、审计

• 理解、响应数据泄露和其余安全事故

• 对系统，计算机或网络进行故障排除

• 了解用户的行为

• 在进行调查时取证

• 若是公司但愿拿到彻底符合法规的认证，则须要进行日志分析。不只如此，日志分析还能够帮助公司在尝试诊断问题、解决问题或管理其基础架构/应用程序时节省时间。

日志分析软件

       能够为几乎任何事物生成日志：CDN流量，数据库查询，服务器正常运行时间，错误等等。日志分析工具可帮助您从日志中提取数据并查找趋势和模式，以指导您的业务决策，调查和安全规则。这些工具可帮助您制定由数据驱动的决策，对系统管理员、网络管理员、DevOps、安全专业人员、Web开发人员和可靠性工程师尤为有用。

日志分析的最佳实践

       日志分析是一个复杂的过程，包括如下技术和处理过程：

1. 模式检测和识别：根据模式册过滤消息。了解数据中的模式能够辅助检测异常。

2. 规范化：将不一样的日志元素转换为相同的格式。

3. 标记和分类：使用关键字标记日志元素并将其分类为多个类，以便您能够过滤和调整显示数据的方式。

4. 相关性分析：整理不一样来源和系统的日志，并对与特定事件相关的有意义的消息进行排序。相关性分析有助于发现单个日志中不可见的数据之间的链接，尤为是由于存在多个安全事故记录。例如，若是您刚刚经历过网络攻击，则相关性分析会将您的服务器、防火墙、网络设备和其余来源生成的日志放在一块儿，并查找与该特定攻击相关的消息。警报与此相关，由于您从相关性分析中收集的数据能够帮助您在日志中出现某些模式时制做警报。

5. 故意忽略：是一种机器学习过程，用于识别和“忽略”无用的日志条目并检测异常。它将忽略常规日志消息，例如常规系统更新，但容许检测新标志或异常消息，并标记好以供调查。故意忽略也能够提醒你应该发生但不会发生的例行事件。 

       除了这些技术和过程以外，日志数据应该以有意义的方式集中化和结构化，以便人们能够理解它们并由机器学习系统解释。经过聚合各类来源的全部日志数据，您能够将日志关联起来，以更轻松地查明相关趋势和模式。在全部系统组件（包括基础架构、应用程序和最终用户客户端）上实践端到端日志记录，以得到完整的概述。

       日志分析是监视和警报、判断安全政策合规性、审计和法规听从性、安全事件响应甚至取证调查的重要功能。经过分析日志数据，企业能够更轻松地识别潜在威胁和其余问题，找到根本缘由，并启动快速响应机制以下降风险。