splunk VS elasticsearch

本文就架构，功能，产品线，概念等方面就ElasticSearch和Splunk作了一下全方位的对比，但愿可以你们在制定大数据搜索方案的时候有所帮助。

简介

ElasticSearch （1）（2）是一个基于Lucene的开源搜索服务。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并做为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，可以达到实时搜索，稳定，可靠，快速，安装使用方便。

ELK是ElasticSearch，Logstash，Kibana的缩写，分别提供搜索，数据接入和可视化功能，构成了Elastic的应用栈。

Splunk 是大数据领域第一家在纳斯达克上市公司，Splunk提供一个机器数据的引擎。使用 Splunk 可收集、索引和利用全部应用程序、服务器和设备（物理、虚拟和云中）生成的快速移动型计算机数据 。从一个位置搜索并分析全部实时和历史数据。 使用 Splunk 处理计算机数据，可以让您在几分钟内（而不是几个小时或几天）解决问题和调查安全事件。监视您的端对端基础结构，避免服务性能下降或中断。以较低成本知足合规性要求。关联并分析跨越多个系统的复琐事件。获取新层次的运营可见性以及 IT 和业务智能。

根据最新的数据库引擎排名显示，Elastic，Solr和Splunk分别占据了数据库搜索引擎的前三位。

从趋势上来看，Elastic和Splunk上升明显，Elastic更是表现出了很是强劲的势头。

基本概念

Elastic

• 准实时(NRT)
  Elasticsearch是一个准实时性的搜索平台，从数据索引到数据能够被搜索存在必定的时延。

• 索引（Index）
  索引是有共同特性的文档的集合，索引有本身的名字，能够对索引执行搜索，更新，删除等操做。

• 类型（Type）
  每一个索引能够包含一个或者多个类型，类型能够看做一个索引数据的逻辑分组，一般咱们会把拥有相同字段的文档定义为同一个类型。

• 文档（Document）
  文档是索引信息的基本单元。Elastic中文档表现为JSON对象，文档物理存贮在索引中，并须要被制定一个类型。由于表现为JSON， 很天然的，文档是由一个个的字段（Feilds）组成，每一个字段是一个名值对（Name Value Pair）

• 评分（score）
  Elastic是基于Lucene构建的，因此搜索的结果会有一个打分。来评价搜索结果和查询的相关性。

下图是一个Elastic的搜索在Kibana中看到的例子，原始的数据是一个简单的日志文件：

咱们经过logstash索引到Elasticsearch后，就能够搜索了。

Splunk

• 实时性
  Splunk一样是准实时的，Splunk的实时搜索（Realtime Search）能够提供不间断的搜索结果的数据流。

• 事件（Event）
  对应于Elastic的文档，Splunk的数据索引的基本单元是事件，每个事件包含了一组值，字段，时间戳。Splunk的事件能够是一段文本，一个配置文件，一段日志或者JSON对象。

• 字段（Fields）
  字段是能够被搜索的名值对，不一样的事件可能拥有不一样的字段。Splunk支持索引时（index time）和搜索时（search time）的字段抽取（fields extraction）

• 索引（Indexes）
  相似Elastic的索引，全部的事件物理存储在索引上，能够把索引理解为一个数据库的表。

• 知识对象（Knowledge Object）
  Splunk的知识对象提供对数据进一步的解释，分类，加强等功能，包括：字段（fields），字段抽取（fields extraction），事件类型（event type），事务（transaction），查找（lookups），标签（tags），别名（aliases），数据模型（data model）等等。

下图是一个Splunk的搜索在Splunk客户端看到的和前一个例子一样的日志数据的搜索结果。

从基本概念上来看，Elasticsearch和Splunk基本一致。从例子中咱们能够看到不少的共性，事件／文档，时间戳，字段，搜索，时间轴图等等。其中有几个主要的差异：

• Elastic不支持搜索时的字段抽取，也就是说Elastic的文档中的全部字段在索引时已经固定了，而Splunk支持在搜索时，动态的抽取新的字段

• Elastic的搜索是基于评分机制的，搜索的结果有一个打分，而Splunk没有对搜索结果评分

• Splunk的知识对象能够提供对数据更高级，更灵活的管理能力。

用户接口

ElasticSearch提供REST API来进行

• 集群的管理，监控，健康检查

• 索引的管理（CURD）

• 搜索的执行，包括排序，分页，过滤，脚本，聚合等等高级的搜索功能。

Elasticsearch 自己并无提供任何UI的功能，搜索能够用Kibana，可是没有管理UI仍是让人不爽的，好在开源的好处就是会有不少的开发者来构建缺失的功能：

• ElasticHQ

• cerebro (推荐，界面干净，我喜欢)

• dejavu

另外一选择就是安装X-Pack，这个是要收费的。

Splunk做为企业软件，管理及访问接口比较丰富，除了REST API 和命令行接口，Splunk的UI很是友好易用，基本上全部的功能都能经过集成的UI来使用。同时提供如下接口

• REST API

• Splunk UI

• CLI

功能

数据接入和获取

Elastic栈使用Logstash和Beats来进行数据的消化和获取。

Logstash用jruby实现，有点像一个数据管道，把输入的数据进行处理，变形，过滤，而后输出到其它地方。Logstash 设计了本身的 DSL，包括有区域，注释，数据类型(布尔值，字符串，数值，数组，哈希)，条件判断，字段引用等。

Logstash的数据管道包含三个步骤，Input，Filter和Output，每一步均可以经过plugin来扩展。另外Input和Output还支持配置Codecs，完成对输入输出数据的编解码工做。

Logstash支持的常见的Input包含File，syslog，beats等。Filter中主要完成数据的变形处理，能够增删改字段，加标签，等等。做为一个开源软件，Output不只仅支持ElasticSearch，还能够和许多其它软件集成和目标，Output能够是文件，graphite，数据库，Nagios，S3，Hadoop等。

在实际运用中，logstash 进程会被分为两个不一样的角色。运行在应用服务器上的，尽可能减轻运行压力，只作读取和转发，这个角色叫作 shipper；运行在独立服务器上，完成数据解析处理，负责写入 Elasticsearch 的角色，叫 indexer。

logstash 做为无状态的软件，配合消息队列系统，能够很轻松的作到线性扩展

Beats是 Elastic 从 packetbeat 发展出来的数据收集器系统。beat 收集器能够直接写入 Elasticsearch，也能够传输给 Logstash。其中抽象出来的 libbeat，提供了统一的数据发送方法，输入配置解析，日志记录框架等功能。

开源社区已经贡献了许多的beats种类。

由于Beats是使用Golang编写的，效率上很不错。

Splunk使用Farwarder和Add-ons来进行数据的消化和获取。

Splunk内置了对文件，syslog，网络端口等input的处理。当配置某个节点为Forwarder的时候，Splunk Forwarder能够做为一个数据通道把数据发送到配置好的indexer去。这时候，它就相似logstash。这里一个主要的区别就是对数据字段的抽取，Elastic必须在logstash中经过filter配置或者扩展来作，也就是咱们所说的Index time抽取，抽取后不能改变。Splunk支持Index time的抽取，可是更多时候，Splunk 在index time并不抽取而是等到搜索是在决定如何抽取字段。

对于特定领域的数据获取，Splunk是用Add-on的形式。Splunk 的App市场上有超过600个不一样种类的Add-on。

用户能够经过特定的Add-on或者本身开发Add-on来获取特定的数据。

对于大数据的数据采集，你们也能够参考个人另外一篇博客。

数据管理和存储

ElasticSearch的数据存贮模型来自于Lucene，基本原理是实用了倒排表。你们能够参考这篇文章。

Splunk的核心一样是倒排表，推荐你们看这篇去年Splunk Conf上的介绍，Behind the Magnifying Glass: How Search Works

Splunk的Event存在许多Buckets中，多个Buckets构成逻辑分组的索引分布在Indexer上。

每一个Bucket中都是倒排表的结构存储数据，原始数据经过gzip压缩。

搜索时，利用Bloom filter定位数据所在的bucket。

在对数据的存储管理上，Elastic 和Splunk都是利用了倒排表。Splunk对数据进行压缩，因此存储空间的占用要少不少，尤为考虑到大部分数据是文本，压缩比很高的，固然这会损失一部分性能用于数据的解压。

数据分析和处理

对数据的处理分析，ElasticSearch主要使用 Search API来实现。而Splunk则提供了很是强大的SPL，相比起ES的Search API，Splunk的SPL要好用不少，能够说SPL就是非结构化数据的SQL。不管是利用SPL来开发分析应用，仍是直接在Splunk UI上用SPL来处理数据，SPL都很是易用。开源社区也在试图为Elastic增长相似SPL的DSL来改善数据处理的易用性。例如：

• https://github.com/chenryn/ESPL

从这篇反馈能够看出，ES的search还有许多的不足。

做为对此的响应，Elastic推出了painless script，该功能还处于实验阶段。

数据展示和可视化

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，能够经过各类图表进行高级数据分析及展现。

Splunk集成了很是方便的数据可视化和仪表盘功能，对于SPL的结果，能够很是方便的经过UI的简单设置进行可视化的分析，导出到仪表盘。

下图的比较来自https://www.itcentralstation.com/products/comparisons/kibana_vs_splunk

在数据可视化的领域的排名，Splunk仅仅落后于Tableau而已

扩展性

从扩展性的角度来看，两个平台都拥有很是好的扩展性。

Elastic栈做为一个开源栈，很容易经过Plugin的方式扩展。包括：

• ElasticSearch Plugin 

• Kibana Plugin

• Logstash Plugin

• Beats Platform

Splunk提供一系列的扩展点支持应用和Add-on的开发， 在http://dev.splunk.com/能够找到更多的信息和文档。包括：

• Web Framework

• SDK

• Modular Input

• … …

比起Elastic的Plugin，Splunk的扩展概念上比较复杂，开发一个App或者Add-on的门槛都要相对高一些。作为一个数据平台，Splunk应该在扩展性上有所改进，使得扩展变的更为容易和简单。

架构

Elastic Stack

如上图所示，ELK是一套栈，Logstash提供数据的消化和获取，Elasticsearch对数据进行存储，索引和搜索，而Kibana提供数据可视化和报表的功能。

Splunk

Splunk的架构主要有三个角色：

• Indexer
  Indexer提供数据的存储，索引，相似Elasticsearch的做用

• Search Head
  Search Head负责搜素，客户接入，从功能上看，一部分是Kibana，由于Splunk的UI是运行在Search Head上的，提供全部的客户端和可视化的功能，还有一部分，是提供分布式的搜索功能，包含对搜索的分发到Indexer和搜索结果的合并，这一部分功能对应在Elasticsearch上。

• Forwarder
  Splunk的Forwarder负责数据接入，相似Logstash

除了以上的三个主要的角色，Splunk的架构中还有：Deployment Server，License Server，Master Cluster Node，Deployer等。

Splunk和ELK的基本架构很是相似，可是ELK的架构更为简单和清楚，Logstash负责数据接入，Kibana负责数据展示，全部的复杂性在Elasticsearch中。Splunk的架构更为复杂一些，角色的类型也更多一些。

若是装单机版本，Splunk更容易，由于全部的功能一次性就装好了，而ELK则必须分别安装E/L/K，从这一点上来看，Splunk有必定的优点。

分布集群和扩展性

ElasticSearch

ElasticSearch是为分布式设计的，有很好的扩展性，在一个典型的分布式配置中，每个节点（node）能够配制成不一样的角色，如上图所示：

• Client Node，负责API和数据的访问的节点，不存储／处理数据

• Data Node，负责数据的存储和索引

• Master Node， 管理节点，负责Cluster中的节点的协调，不存储数据。

每一种角色能够经过ElasticSearch的配置文件或者环境变量来配置。每一种角色均可以很方便的Scale，由于Elastic采用了对等性的设计，也就是全部的角色是平等的，（Master Node会进行Leader Election，其中有一个是领导者）这样的设计使得在集群环境的伸缩性很是好，尤为是在容器环境，例如Docker Swarm或者Kubernetes中使用。

参考：

• https://elk-docker.readthedocs.io/#elasticsearch-cluster

• https://github.com/pires/kubernetes-elasticsearch-cluster

Splunk

Splunk做为企业级的分布式机器数据的平台，拥有强大的分布式配置，包括跨数据中心的集群配置。Splunk提供两种集群，Indexer集群和Search Head集群。

Splunk Indexer集群

如上图所示，Splunk的indexer集群主要由三种角色：

• Master Node，Master Node负责管理和协调整个的集群，相似ES的Master。可是只有一个节点，不支持多Master（最新版本6.6）。Master Node负责

  • 协调Peer Node之间的数据复制

  • 告诉Search Head数据在哪里

  • Peer Node的配置管理

  • Peer Node故障时的故障恢复

• Peer Nodes，负责数据索引，相似ES的Data Node，Peer Node负责

  • 存储索引数据

  • 发送／接收复制数据到其余Peer节点

  • 响应搜索请求

• Search Head，负责数据的搜索和客户端API访问，相似ES的Client Node，但不彻底相同。Search Head负责发送搜索请求到Peer Nodes，并对搜索的结果进行合并。

有人会问，那Master是否是集群中的单点故障？What if Master node goes down？Splunk的回答是否。即便Master 节点出现故障，Peer Nodes仍然能够正常工做，除非，同时有Peer Node出现故障。

• http://docs.splunk.com/Documentation/Splunk/6.6.1/Indexer/Whathappenswhenamasternodegoesdown

• https://answers.splunk.com/answers/129446/why-does-master-node-continue-to-be-single-point-of-failure-in-clustering.html

Splunk Search Header 集群

Search Head集群是由一组Search Head组成，它们共享配置，搜索任务等状态。该Cluster主要有如下角色：

• Deployer， 负责分发状态和应用到peers

• Cluster Member，其中有一个是Captain，负责协调。Cluster Memeber之间会互相通讯，来保证状态一致。Load Balancer是个可选项，能够负责Search的接入。

• Search Peers，负责数据索引的 Indexer Nodes

另外Splunk还曾经提供过一个功能叫作Search Head Pooling，不过如今已经Depecated了。

Indexer集群能够和Search Head集群一块儿配置，构成一个分布式的Splunk配置。

相比较ES的相对比较简单的集群配置，Splunk的集群配置比较复杂，ES中全部每个节点能够灵活的配置角色，而且能够相对比较容易的扩展，利用例如Kubernetes的Pod的复制能够很容易的扩展每个角色。扩展Splunk相对比较困难，要作到动态的伸缩，须要比较复杂的配置。你们能够参考这里，在容器环境里配置一个Splunk的集群须要比较多的布置，例如在这个Master的配置中，用户须要考虑：

• 如何配置License

• 修改缺省的用户名口令

• 为每个Search Head配置Search Head Cluster

• 等待Splunk进程成功启动

• 配置业务发现

• 安装应用

• … …

而且集群的扩展很难直接利用容器编排平台提供的扩展接口，这一点Splunk还有不少提升的空间。

产品线

Elastic

Elastic的产品线除了你们熟悉的ELK（ElasticSearch，Logstash，Kikana），主要包含

• Beats Beats是一个开源组件，提供一个代理，把本地抓到的数据传送到ElasticSearch

• Elastic Cloud， Elasti提供的云服务

• X-Pack， Elastic的扩展组件，提供安全，告警，监控，机器学习和图处理能力。主要功能须要付费使用。

Splunk

Splunk的产品线包括

• Splunk Enterprise

• Splunk Cloud， Splunk运营的云服务，跑在AWS上

• Splunk Light，Splunk Light版本，功能有所精简，面向中小企业

• Hunk， Splunk on Hadoop

• Apps ／ Add-ons,  Splunk提供大量的应用和数据获取的扩展，能够参考 http://apps.splunk.com/

• Splunk ITSI （IT Service Intelligence）， Splunk为IT运维专门开发的产品

• Splunk ES （Enterprise Security）， Splunk为企业安全开发的产品，这个是Splunk 公司的拳头产品，连续被Gartner评为SIEM领域的领导者，挑战了该行业的传统巨鳄IBM，HP

• Splunk UBA （User Behavior Analytic）， UBA是Splunk在15年收购的Caspidia带来的基于机器学习的安全产品。

从产品线的角度来看，Splunk除了提供基本平台，在IT运维和安全领域都有本身的拳头产品。Elastic缺少某个领域的应用。

价格

价格是你们很是关心的一个因素

Elastic的基本组件都是开源的，参看下表，X-pack中的一些高级功能须要付费使用。包含安全，多集群，报表，监控等等。

云服务的价格参考下图，ES的云是按照所使用的资源来收费，从这里选取的区域能够看出，ES的云也是运行在AWS上的。下图中的配置每个月须要花费200美圆左右。（不一样区域的收费不一样）

同时，除了Elastic本身，还有许多其余公司也提供Elastic Search的云服务，例如Bonsai，Qbox.io等。

Splunk

Splunk Enterprise是按照数据每日的流量按年或者无限制事件付费，天天1GB的话，每一年是2700美圆，每月也是差很少200块。若是天天的数据量少于500M，可使用Splunk提供的免费License，只是不能用安全，分布式等高级功能，500M能够作不少事情了。

云服务的价格就要便宜多了，天天5GB，每一年只要2430元，每月不到200块。固然由于计费的方式不一样，和Elastic的云就很差比较了。另外由于是在AWS上，中国的用户，呵呵了。

总结

大数据的搜索平台已经成为了众多企业的标配，Elastic栈和Splunk是其中最为优秀和流行的选择。二者都有各自的优势和值得改进的地方。但愿本文可以在你的大数据平台的选型上，有所帮助。也但愿你们来和我交流，共同成长。

参考文档

ELK

• ElasticSearch 参考文档https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

• Github上收集的ElasticSearch相关开源软件列表 https://github.com/dzharii/awesome-elasticsearch

• 知乎ElaticSearch专题 https://www.zhihu.com/topic/19899427/hot

• 中文书 https://github.com/chenryn/ELKstack-guide-cn

• 中文书 https://www.gitbook.com/book/wizardforcel/mastering-elasticsearch/details

Splunk

• Splunk 文档 https://docs.splunk.com/Documentation

• Splunk电子书 https://www.splunk.com/web_assets/v5/book/Exploring_Splunk.pdf

• Splunk 开发文档 http://dev.splunk.com/getstarted

• Splunk 应用市场 http://apps.splunk.com/

• Splunk 快速参考 https://www.splunk.com/content/dam/splunk2/pdfs/solution-guides/splunk-quick-reference-guide.pdf

其它

• https://www.upguard.com/articles/splunk-vs-elk

• https://db-engines.com/en/system/Elasticsearch%3BSplunk

• https://www.searchtechnologies.com/blog/log-analytics-tools-open-source-vs-commercial

• http://www.learnsplunk.com/splunk-vs-elk-stack.html