Logstash安装及简单使用（同步MySql数据到ES）

版权声明：版权所有 盗版爆菊 https://blog.csdn.net/u012888052/article/details/81014183

一、安装java环境 略

二、下载logstash

地址：https://www.elastic.co/products/logstash

三、新增/修改配置文件

下载下来后，解压

在安装目录下，创建新的配置文件，命名为：mysqltoes.conf

这个文件名可以换成其他的，启动时脚本命令改成对应的就可以了。

在文件中加入以下内容：

input {
 stdin { }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://localhost:3306/db_learn"
  
        jdbc_user => "root"
 
        jdbc_password => ""
 
        jdbc_driver_library => "D:/Program Files/MySQL/mysql-connector-java-5.1.26-bin.jar"
 
        jdbc_driver_class => "com.mysql.jdbc.Driver"
         
        jdbc_paging_enabled => "true"
         
        jdbc_page_size => "50000"
        statement => "SELECT * FROM article_content"
        schedule => "* * * * *"
    }
 }
  
 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        hosts => "localhost:9200"
        index => "article"
        document_type => "content"
        document_id => "%{id}"
    }
}

需要配置好：

数据库地址、数据库账号密码、数据库驱动路径、查询语句、定时扫描时间

es地址、索引、类型、主键字段

配置好后，打开cmd窗口，敲入启动命令：bin\logstash.bat -f config\mysqltoes.conf 如下图所示：

如果找不到文件，请检查命令路径，以及文件名称。

好了，就写到这里，当然还有很多高级的用法，需要慢慢摸索，不然企业中会有很多问题的。