[大数据]通过Logstash从ElasticSearch消费数据存储至Mysql

版本说明：

1、logstash-output-jdbc插件安装

Logstash相关原理参看官网：https://www.elastic.co/guide/en/logstash/6.8/index.html，因Logstash的output暂时不支持jdbc，故这里我们需要引入第三方插件。网上搜索logstash-output-jdbc插件来源于：https://github.com/theangryangel/logstash-output-jdbc，但该作者先已没有时间进行维护，故Logstash6.3以上版本也没有进行测试。

logstash-output-jdbc主要有两种安装方式：

（1）离线安装

在https://rubygems.org/gems/logstash-output-jdbc/versions/5.4.0和https://rubygems.org/gems/logstash-codec-plain/versions/3.0.6上，下载logstash-output-jdbc-5.4.0.gem和logstash-codec-plain-3.0.6.gem。按照如下命令生成logstash-output-jdbc插件。

#创建logstash-output-jdbc文件夹
cd /appdata && mkdir -p logstash-output-jdbc
mkdir -p logstash-output-jdbc/dependencies

#将gem文件放入至logstash-output-jdbc
cp logstash-output-jdbc-5.4.0.gem logstash-output-jdbc
cp logstash-codec-plain-3.0.6.gem logstash-output-jdbc/dependencies

#查看文件信息
[adelmo@znb appdata]$ find logstash-output-jdbc
logstash-output-jdbc
logstash-output-jdbc/dependencies
logstash-output-jdbc/dependencies/logstash-codec-plain-3.0.6.gem
logstash-output-jdbc/logstash-output-jdbc-5.4.0.gem

#执行压缩命名，生成插件
zip -q -r logstash-output-jdbc.zip logstash-output-jdbc

至此，我们已经生成logstash-output-jdbc.zip插件

注意：

• logstash-output-jdbc-5.4.0.gem和logstash-codec-plain-3.0.6.gem版本必须保持一致。
• 直接在GitHub - theangryangel/logstash-output-jdbc: JDBC output for Logstash上下载logstash-output-jdbc-master.zip进行安装，会有问题。

（2）在线安装

进入 logstash安装目录

cd /appdata/logstash-6.2.3
bin/logstash-plugin install --no-verify logstash-output-jdbc

安装报错：

[adelmo@znb logstash-6.2.3]# bin/logstash-plugin install --no-verify logstash-output-jdbc
Installing logstash-output-jdbc
Error Bundler::HTTPError, retrying 1/10
Could not fetch specs from https://rubygems.org/
Error Bundler::HTTPError, retrying 2/10
Could not fetch specs from https://rubygems.org/
...

原因：?https://rubygems.org/源被墙了

切换源：?https://gems.ruby-china.com/

gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/

查看当前源：

gem sources -l

如切换成功，可以看到只https://gems.ruby-china.com
安装命令：

bin/logstash-plugin install --no-verify logstash-output-jdbc

将mysql-connector-jar对应版本的jar包放入logstash-core/lib/jars目录下，完成。

2、logstash安装和配置

2.1 logstash安装和配置

Logstash安装可参看官网介绍： https://www.elastic.co/guide/en/logstash/6.8/installing-logstash.html。

logstash配置主要将jvm内存调大。默认为1g，可根据实际情况调整。

2.2 安装logstash-output-jdbc插件

#安装logstash-output-jdbc.zip插件
cd /appdata/logstash-6.2.3
bin/logstash-plugin install file:///appdata/logstash-6.2.3/logstash-output-jdbc.zip

#出现Install successful表示安装成功

#检查是否安装成功
[adelmo@znb logstash-6.2.3]$ bin/logstash-plugin list|grep jdbc

logstash-filter-jdbc_static

logstash-filter-jdbc_streaming

logstash-input-jdbc

logstash-output-jdbc

2.3将mysql-connector-java放入logstash目录下

从https://mvnrepository.com/artifact/mysql/mysql-connector-java下载一个相对较新的5.1版本，我这里下载的是5.1.46，放在logstash-6.2.3目录下。

2.4准备消费的配置文件

cd /appdata/logstash-6.2.3 && mkdir -p conf

vim conf/dt_complyee.conf

input {
    elasticsearch {
        hosts => "[127.0.0.1:9200]"
        index => "dt_complyee_202205"
        query => '{ "query": { "match_all": {} } }'
        user => "adelmo"
        password => "123456"
    }
}
 
output {
    jdbc{
        driver_jar_path => "/appdata/logstash-6.2.3/mysql-connector-java-5.1.46.jar"
        driver_class => "com.mysql.jdbc.Driver"
        connection_string => "jdbc:mysql://xxx.xxx.xxx.xxx:xxxx/douyin?autoReconnect=true&user=xxxx@xxxx&password=xxxxx"
        statement => ["insert into dt_info(id,name,age,company) values(?,?,?,?)","[id]", "[name]", "[age]", "[company]"]
    }
}

3、从ElasticSearch消费数据至Mysql

#启动logstash，将dt_complyee_202205索引数据消费至mysql

bin/logstash -f ./conf/dt_complyee.conf

此时，若出现如下字段不匹配错误，Incorrect DECIMAL value: '0' for column '' at row -1。网上一些方案，比如修改sql_mode方式【https://blog.csdn.net/weixin_42299140/article/details/113429847，mysql中出现Incorrect DECIMAL value: '0' for column '' at row -1错误解决方案 - WKellyL - 博客园】但是不管用。

最终解决方案参看：Incorrect decimal (integer) value: ' ' mySQL - Stack Overflow。将

insert into 改成 insert ignore into

完美解决该问题。

4、运行结果

?

5、参考文档

一些质量较好的参考文档：

Logstash Reference [6.8] | Elastic

GitHub - theangryangel/logstash-output-jdbc: JDBC output for Logstash

https://www.freesion.com/article/11251122802/

ELK->logstash output jdbc插件 - 请点..头像 - 博客园

Logstash将数据导入至MYSQL - SegmentFault 思否

Incorrect decimal (integer) value: ' ' mySQL - Stack Overflow

开发者涨薪指南

48位大咖的思考法则、工作方式、逻辑体系