安装logstash-input-jdbc插件

安装 logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip

解压：

unzip logstash-5.5.0.zip

以后将文件移动到本身存放的目录便可。

启动服务测试一下是否安装成功：

cd bin
./logstash -e 'input { stdin { } } output { stdout {} }'

若是出现下面的东西就表示成功：

输入随便什么内容：

HelloWorld

安装logstash-input-jdbc插件

在我安装完这东西以后，看到好像能够不用安装这个就能够直接和数据库同步的，可是因为从新安装太麻烦了，并且没有其余的服务器给我试，就没有去试试看行不行。

我主要参考的是http://blog.csdn.net/yeyuma/article/details/50240595这位老铁的方法。

安装logstash是一件比较蛋疼的事，由于这东西适用ruby开发的，我对ruby这东西是一点也不懂，因此比较很差弄。

若是没有gem命令的话，须要先安装一会儿（root用户才能够）

替换ruby镜像库为国内的库，由于国外的库，国内是访问不到的，而后国内有两个库，两个库都是能够用的：
一、替换成ruby-china的库

gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/

 查看是否成功

gem sources -l

二、进入logstash中的bin 修改Gemfile文件里面的数据源

三、进入到logstash的bin下

cd bin
./plugin install logstash-input-jdbc

四、在bin下新建一个目录config-mysql建立mysql.conf文件：

mkdir config-mysql
cd config-mysql
vim mysql.conf

在文件中输入下面的内容

input {
    stdin {
    }
    jdbc {
      # 数据库
      jdbc_connection_string => "jdbc:mysql://localhost:3306/test01"
      # 用户名密码
      jdbc_user => "root"
      jdbc_password => "123456"
      # jar包的位置
      jdbc_driver_library => "/usr/local/logstash-5.5.0/mysql-connector-java-6.0.6.jar"
      # mysql的Driver
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      #statement_filepath => "config-mysql/test02.sql"
      statement => "select * from test02"
      schedule => "* * * * *"
	  #索引的类型
      type => "test02"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
        hosts => "127.0.0.1:9200"
        # index名
		index => "test01"
		# 须要关联的数据库中有有一个id字段，对应索引的id号
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

注意关联的数据库表中须要有id字段用来映射造成的索引的id号。

终于把工做都作完了。

进入bin目录下：

./logstash -f config-mysql/mysql.conf  --path.data=/data/ELK/logstash/data2 (设置数据存贮路径)