[es数据同步到数据库]elasticsearch之logstash安装并同步数据库数据到es

【推荐阅读】微服务还能火多久？>>>

logstash安装

访问https://www.elastic.co/cn/downloads/logstash下载对应es版本的zip包，

解压zip，进入logstash目录下，在此目录下打开cmd窗口。

在命令窗口输入如下命令：

logstash-e'input{stdin{}}output{stdout{}}'

再输入“hello”，如果结果也是“hello”说明安装成功。

同步数据到es

在logstash的bin目录下新建jdbc.conf文件并输入一下内容：

input{

stdin{

}

jdbc{

#数据库地址端口数据库名

jdbc_connection_string=>"jdbc:mysql://IP:3306/dbname"

#数据库用户名

jdbc_user=>"user"

#数据库密码

jdbc_password=>"pass"

#mysqljava驱动地址

jdbc_driver_library=>"/home/rzxes/logstash-5.3.1/mysql-connector-java-5.1.17.jar"

jdbc_driver_class=>"com.mysql.jdbc.Driver"

jdbc_paging_enabled=>"true"

jdbc_page_size=>"100000"

#sql语句文件，也可以直接写SQL，如statement=>"select*fromtable1"

statement_filepath=>"/home/rzxes/logstash-5.3.1/test.sql"

schedule=>"*****"

type=>"jdbc"

}

}

output{

stdout{

codec=>json_lines

}

elasticsearch{

hosts=>"192.168.230.150:9200"

index=>"test-1"#索引名称

document_type=>"form"#type名称

document_id=>"%{id}"#id必须是待查询的数据表的序列字段

}}

如果是mysql则需要mysql-connector-java-5.1.17.jar，如果是oracle则需要ojdbc6.jar；

在logstash主目录下cmd输入如下命令即可：

logstash-fjdbc.conf

最后查看数据是否导入es

参考资料：http://www.jaofuan.top/u/detail/4d87dfd8551f4449928d2c6651673ec5