splunk理论及安装配置

splunk是什么？

  面向云的日志搜索引擎，是一款功能强大的日志管理软件。不只支持经过多种方式添加本地或远程日志，并且可以产生图形化报表。最强大的功能是其搜索功能——所以被称为"Google for IT".

功能特性：

   一、支持多平台安装

   二、任意源获取任意数据

   三、从远程系统中获得转发数据

   四、关联复琐事件生成可视化视图

   五、专门大数据引擎，支持大数据检索

   六、数据中心扩展

   七、提供基于角色的安全性控制

经常使用的功能性视图：

   一、splunk索引任何数据

   二、搜索和审查

   三、关联事件

   四、检测和告警

   五、出报表

   六、自定义仪表盘

web界面默认端口：8000

安装部署

/opt  —— 建议/opt目录最好单独分区或者给/分区足够大

考虑：时间同步问题

内存：最好1G

1、安装配置

   软件下载：

       http://zh-hans.splunk.com/download

  一、安装

   # rpm -ivh splunk-5.0.2-149561-linux-2.6-x86_64.rpm

-------------------------------------------------------------------------

Splunk has been installed in:

        /opt/splunk

To start Splunk, run the command:

        /opt/splunk/bin/splunk start

To use the Splunk Web interface, point your browser to:

    http://localhost.localdomain:8000

Complete documentation is at http://docs.splunk.com/Documentation/Splunk

-------------------------------------------------------------------------

  二、启动服务

   # /opt/splunk/bin/splunk start   

     //首次启动会有许可协议，按q，再输入y。

  三、设置开机自启动

   # /opt/splunk/bin/splunk enable boot-start

Init script installed at /etc/init.d/splunk.

Init script is configured to run at boot.

  四、查看帮助

# /opt/splunk/bin/splunk help enable

    可使用/etc/init.d/splunk管理splunk的启停

    # /etc/init.d/splunk status

  五、访问web页面

firefox http://172.16.254.239:8000 &

      首次访问，会提示用户名密码admin/changeme

       登陆后，设置新的密码

  六、修改默认端口的配置文件

  # vim /opt/splunk/etc/system/default/web.conf

  httpport = 8000

splunk日志的导入

  数据源能够是本地的、远程的、Linux的、Unix的、windows的、交换机的、路由器的等等。也能够是web服务器的，IIS服务器的、ftp服务器的等等。

1、向splunk中导入本地日志  messages

    添加数据——>syslog——>使用此 Splunk 服务器上的任何 syslog 文件或目录——>服务器上文件的路径 /var/log/messages ——>默认——>默认 继续——>默认，保存

2、搜索想要的日志

    开始搜索——>输入aborting

    搜其余 host="localhost"

练习：将secure日志导入到splunk中，并验证其搜索功能

    

3、向splunk导入远程日志

  环境：

      splunk server ：172.16.254.239

      remote apache：172.16.254.200  web.up.com

  开始配置：

    注意：导入远程日志须要远程主机安装通用转发器(splunkforwarder)。

    一、设置splunk服务器容许接收splunk转发器发送来的数据

管理器——>转发和接收——>配置接收中“新增”——>9999（指定接收数据的端口）——> 保存

    二、在远程服务器上配置

1）安装splunkforwarder包

  # rpm -ivh splunkforwarder-5.0.2-149561-linux-2.6-x86_64.rpm

2）配置splunkforwarder转发apache的日志

  # /opt/splunkforwarder/bin/splunk start

  # /opt/splunkforwarder/bin/splunk add forward-server 172.16.254.239:9999

   Splunk username: admin

   Password: changeme

   Added forwarding to: 172.16.254.239:9999.

  # cd /opt/splunkforwarder/etc/system/local/

  # vim inputs.conf

[default]

host = web.up.com

[monitor:///var/log/httpd]

sourcetype = access_common

3）重启splunk转发器服务

  # /opt/splunkforwarder/bin/splunk restart

    三、验证结果

若是在splunk服务器的web页面可以看到web.up.com的apache的日志，就成功了。

简单搜索：

   host="web.up.com"

   host="web.up.com" error

   host="web.up.com"  OR error    //OR 或者

    

生成视图

导入测试数据

将Sampledata.zip放到splunk服务器上

继续浏览器操做

   管理器——>数据导入——>文件和目录“新增”——>跳过预览——>上载并索引文件 ——>保存

1、体验splunk强大的搜索功能

   sourcetype="access_combined_wcookie"

一、搜索源类型为access_combined_wcookie，而且IP为10.2.1.44的日志请求

——81条

   sourcetype="access_combined_wcookie" 10.2.1.44

二、进一步搜索关于“purchase”的请求 —— 63条

   sourcetype="access_combined_wcookie" 10.2.1.44 purchase

三、进一步搜索http返回码不是200的购买请求

   sourcetype="access_combined_wcookie" 10.2.1.44 purchase NOT 200

四、进一步搜索不是404错误的请求

   sourcetype="access_combined_wcookie" 10.2.1.44 purchase NOT 200 NOT 404

用关键字搜索

搜索买花时间

sourcetype="access_combined_wcookie" 10.2.1.44 action=purchase category_id=flowers

|：前面的搜索结果做为后面的命令的输入

   一、搜索最热卖的商品  使用命令top

     sourcetype="access_combined_wcookie" action=purchase | top category_id

   二、有多少名不一样的顾客买了鲜花

     须要使用stats命令和dc函数实现

     sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats dc(clientip)

   三、每一个顾客分别买了多少花？

     sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats count by clientip

      须要使用stats命令和count函数而且使用by子句

   四、倒序显示每一个顾客购买多少花？

     sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats count by clientip | sort -count

     sort -count：按照count字段倒序排序

     sort count：按照正序排序

   五、给数据列起别名

     sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats count by clientip | sort count | rename clientip as "顾客" , count as "购花总数"

   

2、将搜索结果保存为仪表盘

    一、建立一个空的仪表盘

仪表板和视图——>建立仪表板——>ID:001  名称：每一个顾客购花总数 ——> 建立

    二、将搜索结果保存到仪表盘

sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats count by clientip | sort -count | rename clientip as "顾客" , count as "购花总数"

      搜索——>建立——>仪表板面板——>每一个顾客购花总数——>现有仪表板——>下拉列表中选择须要的仪表板——> 默认

3、在收集结果时动态更新生成的图表

    建立报表

     搜索:sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats count by clientip | sort -count

     建立——>报表