Windows 日志高级筛选实践

时间  2019-11-09
标签 windows 日志 高级 筛选 实践 栏目 Windows 繁體版
原文   原文链接

背景

常常须要查看日志，不只是用来排错，有些时候我还须要监控系统来抓取特定日志来帮助减小个人工做负担，以及时监控到异常出现，并做出通知及响应，那么从大量日志中快速并精确筛选出想要的日志，而且精确提取信息，是一个必备的技能。我曾经用内置的事件查看器的筛选器进行事件筛选，而后保存视图，或者使用powershell get-winevent 进行筛选，也使用logparser, 或者第三方的日志查看工具好比eventexplorer 进行日志筛选。可是老是遇到几个主要的问题：python

  1. 从大量日志中过滤出极个别日志，每次执行的事件老是太长。shell

  2. 不能灵活的或者更精确的进行筛选。通常只能大概的匹配，而后再作一步处理。一般又遇到1的问题。windows

 

尝试和比较

通过一些尝试和使用，我的以为powershell 的get-winevent 最方便，由于毕竟是一个脚本语言，能够进一步进行处理，并且能够很灵活的处理。logparser 很快，可是若是精确提取某些日志的字段，就没有那么容易了,windows 日志的EventData中的数据复杂多样，靠几个常规字段是没有办法灵活进行处理的。安全

论速度的话，除了logparser,使用xml 筛选是最快速的。可是xml 筛选须要使用复杂的、受限的xpath 1.0 (被微软实现后，有更多限制),虽然有点蹩脚又难懂，可是和时间节省算起，仍是划的来的，特别是重复任务。dom

 

一个比较好的开始是从下面连接开始。ide

https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/函数

 

正式实践

一个比较经常使用场景是，我常常须要精确过滤到哪一个帐号最近锁定了，哪台计算机锁定的，何时。我须要很快速的能查询到锁定日志。过去虽然我用get-winevent  –filterhashtable 能够作到这些，可是速度实在太慢了，虽然个人域控只有4台。我常常和用户说，若是你想知道你在哪台计算机上锁定了，请等待一段时间，我会把查询结果用邮件发给你。不过如今使用xpath 过滤时，我基本上能够在用户打电话过来时，告诉他这些信息。工具

 

下面XML 过滤AD安全日志中的最近一天的某个用户名的锁定日志ui

<QueryList>
<Query Id="0" Path="Security">
<Select Path="Security">
*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
and
*[EventData[Data[@Name='TargetUserName']='somebody']]
</Select>
</Query>
</QueryList>

 

若是你只想过滤最近一天全部用户的锁定日志，那么这样写this

<QueryList>
<Query Id="0" Path="Security">
<Select Path="Security">
*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
</Select>
</Query>
</QueryList>

 

上面过滤XML能够在 事件查看器的 筛选当前日志--》XML---》手动编辑查询中进行测验。

 

image

 

OK ,为了方便使用，咱们作成一个powershell function ,方便平常使用，直接上例子。

 

function get-lockedEvent{
    <#
    .SYNOPSIS
        Function to filter user locked event which id=4740
    .DESCRIPTION
        This function search user locked events in DC security logs, this function need the domain admin priv.
    .EXAMPLE
        get-lockedEvent -loginname oaoperator -show
    .EXAMPLE
        PS C:\> get-lockedEvent -loginname oaoperator -summary
        Count Name
        ----- ----
        457 Oaoperator, OA
    .EXAMPLE
        PS C:\> get-lockedEvent -loginname oaoperator
        Username   LockedPC Datetime           EventLocation
        --------   -------- --------           -------------
        Oaoperator OA       2018/9/27 10:27:40 dc02
        Oaoperator OA       2018/9/27 10:32:40 dc02
    #>
    
    [cmdletbinding()]
    param(
        [parameter(Mandatory=$false)]
        [string]
        $loginname,
        [Parameter(Mandatory=$false)]
        [switch]
        $summary,
        [Parameter(Mandatory=$false)]
        [switch]
        $show
    )
# filter Locked Events generated in 1 day and username eq loginname
    $f2=@'
    <QueryList>
    <Query Id="0" Path="Security">
      <Select Path="Security">
      *[System[EventID=4740  and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
       and 
      *[EventData[Data[@Name='TargetUserName']='{0}']]
      </Select>
    </Query>
    </QueryList>
'@
# filter Locked Events generated in 1 day 
    $f1=@'
    <QueryList>
    <Query Id="0" Path="Security">
      <Select Path="Security">
      *[System[EventID=4740  and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
      </Select>
    </Query>
    </QueryList>
'@
    if($loginname){
        $f=$f2 -f $loginname
    }else{
        $f=$f1
    }
    $DCs=Get-ADDomainController -Filter *|%{$_.hostname}
    $r=Invoke-Command -ComputerName $DCs -ArgumentList @($f) -Command{
        param(
            $filter
        )
        $events=Get-WinEvent -FilterXml  $filter
        $events|%{
            $e=[xml]$_.toxml()
            [PSCustomObject]@{
                'Username'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetUserName'})."#text"
                'LockedPC'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetDomainName'})."#text"
                'Datetime'=[datetime]$e.Event.System.TimeCreated.SystemTime
                'EventLocation'=$e.Event.System.Computer
            }
        }
    }|Sort-Object -Property Datetime |select -Property 'UserName','LockedPC','Datetime','EventLocation'
    if($summary){
        $r=$r|Group-Object -Property Username,LockedPC -NoElement
    }
    
    if($show){
        $r|Out-GridView
    }else{
        $r
    }
}

 

另一个实践

因为最近有一些计划任务的状态须要监控，并且考虑到这应该是一个很是通用的需求，因此我想过滤计划任务名称匹配\qq_ent 开头的，而后任务执行结果不为0的日志，尽管我参考着下面的一些blog 连接，也让我尝试了好一会，我想应该记录下这些过程。


咱们先来看看计划任务日志的xml 内容：


<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event">
<System>
  <Provider Name="Microsoft-Windows-TaskScheduler" Guid="{DE7B24EA-73C8-4A09-985D-5BDADCFA9017}" /> 
  <EventID>201</EventID> 
  <Version>2</Version> 
  <Level>4</Level> 
  <Task>201</Task> 
  <Opcode>2</Opcode> 
  <Keywords>0x8000000000000000</Keywords> 
  <TimeCreated SystemTime="2018-11-18T05:00:02.058811400Z" /> 
  <EventRecordID>144817</EventRecordID> 
  <Correlation ActivityID="{110529FD-DBFD-4E59-B207-83DF8CC779B8}" /> 
  <Execution ProcessID="1508" ThreadID="24392" /> 
  <Channel>Microsoft-Windows-TaskScheduler/Operational</Channel> 
  <Computer>ComputerName.xxx.com</Computer> 
  <Security UserID="S-1-5-18" /> 
  </System>
<EventData Name="ActionSuccess">
  <Data Name="TaskName">\qq_ent\store_to_db</Data> 
  <Data Name="TaskInstanceId">{110529FD-DBFD-4E59-B207-83DF8CC779B8}</Data> 
  <Data Name="ActionName">C:\Users\UserName\AppData\Local\Programs\Python\Python37\python3.exe</Data> 
  <Data Name="ResultCode">2147942401</Data> 
  <Data Name="EnginePID">22172</Data> 
  </EventData>
  </Event>

 

说下咱们的任务：

  1. 匹配 EventData 中Data 名称为TaskName的，它的值应该是\qq_ent\xxxx

  2. 匹配 EventData中 Data 名称为ResultCode的，它的值应该是>0 或者不等于0的

  3. EventID=201

  4. Provider Name=Microsoft-Windows-TaskScheduler

 

最后成型的过滤，和微软的以前的例子不同。


 <QueryList>
    <Query Id="0" Path="Microsoft-Windows-TaskScheduler/Operational">
      <Select Path="Microsoft-Windows-TaskScheduler/Operational">
      *[System/EventID=201]
       and 
      *[EventData[
                    (
                        Data[@Name='TaskName']='\qq_ent\download_images' 
                    or 
                        Data[@Name='TaskName']='\qq_ent\store_to_db_offline'
                    or 
                        Data[@Name='TaskName']=='\qq_ent\gatherQQmsg' 
                    or 
                        Data[@Name='TaskName']=='\qq_ent\store_to_db'
                    )
                    and
                        Data[@Name='ResultCode'] !=0
        ]]
      </Select>
    </Query>
    </QueryList>

 

我以前按照微软的例子是这样写的，结果不对的。


    <QueryList>
    <Query Id="0" Path="Microsoft-Windows-TaskScheduler/Operational">
      <Select Path="Microsoft-Windows-TaskScheduler/Operational">
      *[System/EventID=201]
       and 
      *[
            EventData[
                    (
                        Data[@Name='TaskName'] 
                        and 
                        (
                            Data='\qq_ent\download_images' 
                            or 
                            Data='\qq_ent\store_to_db_offline'
                            or 
                            Data='\qq_ent\gatherQQmsg' 
                            or 
                            Data='\qq_ent\store_to_db'
                        )
                    ) 
                    and
                    (
                        Data[@Name='ResultCode'] and Data !='0'
                    )
            ]
        ]
      </Select>
    </Query>
    </QueryList>

 

注意事项

  1. event log 中的Xpath 受限，能使用的函数有限，所以若是你想筛选字符串，你会发现starts-with contains 这些xpath 函数都不支持。尽可能使用其余条件筛选，而后再使用powershell内置过滤功能进行过滤，固然这要牺牲一些处理时间。

  2. Xpath中的一些字符串要进行转义，好比你想比较一个数字，可能写Data>0,那么> 要转义成&gt;

参考资料

 

https://blogs.technet.microsoft.com/heyscriptingguy/2011/01/24/use-powershell-cmdlet-to-filter-event-log-for-easy-parsing/

https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/04/data-mine-the-windows-event-log-by-using-powershell-and-xml/

https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/03/use-filterhashtable-to-filter-event-log-with-powershell/

https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程