logstash安装与logstash-input-jdbc插件使用

ElasticSearch的索引能够手动添加索引的，就是相似下面这样添加的

PUT /movies/movie/1 { "title": "The Godfather", "director": "Francis Ford Coppola", "year": 1972, "genres": ["Crime", "Drama"] }

可是若是不少的信息，这样添加显然是不可能的，尤为是通常数据都在数据库中。

因而elasticsearch提供了能够直接和数据库关联，而且自动根据数据库中的数据更新索引logstash。

安装logstash

logstash的安装和elasticsearch的安装是同样简单的，就是那种拆箱即用的。目前最新的版本是5.5.0，注意这个版本须要和elasticsearch的版本一致。

下载安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip

下载完以后

unzip logstash-5.5.0.zip

以后将文件移动到本身存放的目录便可。

启动服务测试一下是否安装成功：

cd bin ./logstash -e 'input { stdin { } } output { stdout {} }'

若是出现下面的东西就表示成功： 
 
输入随便什么内容：

HelloWorld

就会变成下面这样：

基本上这样就算是安装成功了（其实好像并无安转，只是下载而已）

安装logstash-input-jdbc插件

在我安装完这东西以后，看到好像能够不用安装这个就能够直接和数据库同步的，可是因为从新安装太麻烦了，并且没有其余的服务器给我试，就没有去试试看行不行。

我主要参考的是http://blog.csdn.net/yeyuma/article/details/50240595这位老铁的方法。

安装logstash是一件比较蛋疼的事，由于这东西适用ruby开发的，我对ruby这东西是一点也不懂，因此比较很差弄。 
若是没有gem命令的话，须要先安装一会儿（root用户才能够）

yum install gem

替换ruby镜像库为国内的库，由于国外的库，国内是访问不到的，而后国内有两个库，两个库都是能够用的： 
一、替换成ruby-china的库

gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/

查看是否成功

gem sources -l

二、国内还有一个库，是淘宝的：

gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/

能够一样用gem sources -l查看是否替换成功。

替换完以后，进入logstash-5.5.0，修改Gemfile文件里面的数据源：

vi Gemfile

修改为这个样子：

source "https://gems.ruby-china.org"

若是用的用的是淘宝的库，就修改为这样

source "https://ruby.taobao.org"

好了，这样ruby的安装环境就算是配好了。

进入到logstash的bin下

cd bin
./plugin install logstash-input-jdbc

等待一整子，挺久的，若是成功那就安装成功了。

若是不成功，能够尝试一下下面这个东西，若是没记错的话，我好像就是用这种方法安装的：

cd logstash-5.5.0 wget https://github.com/logstash-plugins/logstash-input-jdbc/archive/v1.0.0.zip unzip v1.0.0.zip cd logstash-input-jdbc-1.0.0/

修改Gemfile里面的source，和上面修改是同样的。

而后

vi logstash-input-jdbc.gemspec

再

s.files = `git ls-files`.split($\) 改成： s.files = [".gitignore", "CHANGELOG.md", "Gemfile", "LICENSE", "NOTICE.TXT", "README.md", "Rakefile", "lib/logstash/inputs/jdbc.rb", "lib/logstash/plugin_mixins/jdbc.rb", "logstash-input-jdbc.gemspec", "spec/inputs/jdbc_spec.rb"]

继续

gem build logstash-input-jdbc.gemspec

获得

cd .. cd bin ./logstash install ../logstash-input-jdbc-1.0.0/logstash-input-jdbc-1.0.0.gem

而后等着就行了。若是提示成功了，就安装成功了，若是仍是失败，多尝试几下第一种方式，我在另外一个服务器尝试了几回第一种方式就莫名其妙成功了。若是还失败，就在查查资料吧。

测试一下安装成功了吗：

在此以前，须要一个mysql数据库链接包，mysql-connector-java-6.0.6.jar，随便什么版本应该都是能够的，可使用wget下下来，也能够从本地下下来以后rz上传到服务器，这里就省略了。

在bin下新建一个目录config-mysql建立mysql.conf文件：

mkdir config-mysql cd config-mysql vim mysql.conf 

在文件中输入下面的内容：

input {
    stdin {
    }
    jdbc {
      # 数据库 jdbc_connection_string => "jdbc:mysql://localhost:3306/test01" # 用户名密码 jdbc_user => "root" jdbc_password => "123456" # jar包的位置 jdbc_driver_library => "/usr/local/logstash-5.5.0/mysql-connector-java-6.0.6.jar" # mysql的Driver jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_paging_enabled => "true" jdbc_page_size => "50000" #statement_filepath => "config-mysql/test02.sql" statement => "select * from test02" schedule => "* * * * *" #索引的类型 type => "test02" } } filter { json { source => "message" remove_field => ["message"] } } output { elasticsearch { hosts => "127.0.0.1:9200" # index名 index => "test01" # 须要关联的数据库中有有一个id字段，对应索引的id号 document_id => "%{id}" } stdout { codec => json_lines } }

注意关联的数据库表中须要有id字段用来映射造成的索引的id号。

终于把工做都作完了。

进入bin目录下：

./logstash -f config-mysql/mysql.conf

等一会以后，就会看到数据库中的数据被读取出来，而后加载进索引，在sense能够查询到刚刚添加的索引的

GET /_search 

而后往数据库中添加一些新的数据以后等待大概30S以后从新索引，就会看到索引被更新了。回到linux下，会看到，没过一段时间，logstash就会从新扫描一下数据库，经过这样的方式，实现和mysql数据库的同步。

 

---

 -END-