ElastAlert安装与使用

安装

官方文档：elastalert.readthedocs.io/en/latest/r…

我简单总结一下附带我遇到的坑：

环境

• Elasticsearch
• Python 2.7 坑：必定要2.7，2.6和3.*都有问题
• Ubuntu : python-pip python-dev libffi-dev libssl-dev
• centos： gcc libffi-devel python-devel openssl-devel python-setuptools

安装

能够setup.py脚本安装也可使用pip 安装，可是必须从git上拉下来，由于好多配置文件是必需要有的。

#安装依赖包
yum install gcc libffi-devel python-devel openssl-devel python-setuptools
#安装
git clone https://github.com/Yelp/elastalert.git 
pip install -r requirements.txt  
pip install "setuptools>=11.3"
python setup.py install
#或者 pip install elastalert
Elasticsearch 5.0+:
pip install "elasticsearch>=5.0.0"
Elasticsearch 2.X:
pip install "elasticsearch<3.0.0"
复制代码

配置

cd elastalert  
cp config.yaml.example config.yaml #基本信息
vim config.yaml
复制代码

基本配置 config.yaml

#将从该文件夹下读取*.yaml配置文件
rules_folder: your_rule_folder
#查询es中 elastalert_status 索引的频率，也能够是minutes，days 等等
run_every:
 hours: 1
# 每两分钟查询一次es 匹配 rules 的数据，存放到elastalert_status中
buffer_time:
 minutes: 2
#host
es_host: 127.0.0.1
#port
es_port: 9200
# Option basic-auth username and password for Elasticsearch
es_username: username
es_password: pwd
复制代码

规则配置 your_rule.yaml

例子：

es_host: 127.0.0.1 
es_port: 9200
es_username: xxx
es_password: xxx

# (Required)
# Rule name, must be unique
# 给rule一个惟一的名字
name: prod

# (Required)
# Type of alert.下面各类type详细介绍
type: any
#注意了！！！！
#这是最大的坑，并且官方文档也没有比较明确的说明，elastalert只会把一条hit的记录发送给你，若是你想获取多条须要使用聚合功能，
aggregation:
# "* * * * *" means: run as the "run_every" in config.yaml
 schedule: "* * * * *"
aggregate_by_match_time: true

# (Required)
# sd asd Index to search, wildcard supported
index: '*-prod-*'


# (Required)
#这里使用的是ES 的DSL语句作过滤条件
filter:
#逻辑组合
- bool:
    #必须存在
 must:
 - match:
 level: "ERROR"
    #必须不存在，即过滤掉的
 must_not:
 - match:
 stackTrace: "org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe"
 - match:    
 message: "[SUCCESS]"
 
# (Required)
# 报警方式，有邮件 jira等等，github上还有微信等,官网介绍https://elastalert.readthedocs.io/en/latest/ruletypes.html#alerts
#我用的是command 即执行一个命令，比较灵活一些
alert:
- command
#- email
pipe_match_json: true #把参数以json文件流的形式传入，python中以 sys.stdin.read()接受
command: ["/root/elastalert/your_rule_folder/command_alert.py"]
复制代码

rule设置各自独立以文件方式存储在rules_folder设置的目录里。其中能够定义下面这些参数：

• name 配置，每一个规则须要有本身独立的名称，一旦重复，进程将没法启动。
• type 配置，选择某一种数据验证方式。
• index 配置，从某类索引里读取数据，目前已经支持Ymd格式，须要先设置use_strftime_index：true，而后匹配索引，配置形如：index：logstash-es-test-％Y。％m。％d，表示匹配logstash-ES-测试名称开头，以年月日做为索引后缀的索引。
• filter 配置，设置向ES请求的过滤条件。
• timeframe 配置，累积触发报警的时长。
• alert 配置，设置触发报警时执行哪些报警手段。

type :不一样的类型还有本身独特的配置选项。目前ElastAlert有如下几种自带ruletype：

• any：只要有匹配就报警;
• blacklist：compare_key字段的内容匹配上blacklist数组里任意内容;
• whitelist：compare_key字段的内容一个都没能匹配上whitelist数组里内容;
• change：在相同query_key条件下，compare_key字段的内容，在timeframe范围内发送变化;
• frequency：在相同query_key条件下，timeframe范围内有num_events个被过滤出来的异常;
• spike：相同在query_key条件下，两个先后timeframe范围内数据量相差比例超过spike_height。能够其中经过spike_type设置具体涨跌方向的英文up，down，both。能够还经过threshold_ref设置要求上一个周期数据量的下限，threshold_cur设置要求当前周期数据量的下限，若是数据量不到下限，也不触发;
• flatline：timeframe范围内，量数据小于threshold阈值;
• new_term：fields字段新出现以前terms_window_size（默认30天）范围内最多的terms_size（默认50）个结果之外的数据;
• cardinality：在相同query_key条件下，timeframe范围内cardinality_field的值超过max_cardinality或者低于min_cardinality。

初始化

安装完成后会自带三个命令：

• elastalert-create-index ElastAlert会脚执行记录存放到一个ES索引中，该命令就是用来建立这个索引的，默认状况下，索引名叫elastalert_status。其中有4个_type，都有本身的@timestamp字段，因此一样也能够用kibana来查看这个索引的日志记录状况。
• elastalert-rule-from-kibana从Kibana已保存的仪表盘中读取Filtering设置，帮助生成config.yaml里的配置。不过注意，它只会读取过滤，不包括查询。
• elastalert-test-rule测试自定义配置中的规则设置。

直接运行：

1. elastalert-create-index

2. elastalert-test-rule your_rule_folder/your_rule.yaml
   复制代码

使用

在elastalert/下运行

python -m elastalert.elastalert --config ./config.yaml --verbose --rule your_rule_folder/your_rule.yaml
复制代码

-m 至关于import,叫作当作模块来启动

--config 指定配置文件 默认./config.yaml

--verbose 把详细信息打印出来

--rule 指定 rule文件