elasticsearch -6.4.1 kibana-6.4.1 logstash-6.5.4同步mysql windows环境

1.下载elasticsearch-6.4.1
选择windows 环境下的包,然后减压放到d盘,建议文件建名称使用用英语。
在这里插入图片描述
2.修改config\elasticsearch.yml文件
把前景的#去掉
设置集群名字:cluster.name: cluster-name
设置IP: network.host: 127.0.0.1
设置端口: http.port: 9200
3.启动elasticsearch,选择\bin/elasticsearch.bat双击
在这里插入图片描述
出现这个表示启动成功。
然后在浏览器中输入你配置的地址,出现下面表示elasticsearch您已经安装成功了。
在这里插入图片描述
4安装kibana-6.4.1
选择windows的版本在这里插入图片描述
下载后放到es同级目录,其实放的目录没关系。
5.配置kibana的配置文件\config\kibana.yml
配置kibana的访问地址,配置关联的es的地址,默认情况下把#去掉就可以
server.host: “localhost”
elasticsearch.url: “http://localhost:9200
6.启动kibana,\bin\kibana.bat双击kibana.bat,出现如下界面表示安装成功。

在这里插入图片描述
7.在浏览器输入:http://localhost:5601/出现如下界面表示安装成功
在这里插入图片描述
8.使用logstash-6.5.4同步mysql 数据
下载[logstash-6.5.4](https://www.elastic.co/downloads/logstash)解压和es放到一个目录,放到哪个目录没有关系。
在这里插入图片描述
9.下载mysql8的驱动,放入到bin目录下,下载地址https://pan.baidu.com/s/1bUkAEQNvZwv5ubSYc9O6mw
10.配置mysql同步文件,新建mysqltoes.conf(名字没关系)

input {
 stdin { }
    jdbc {
    #填写你的mysql链接串8以后驱动必须这样写,不然后出错,这个问题我搞了好几天才解决
        jdbc_connection_string => "jdbc:mysql://localhost:3306/springboot?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true"
        #链接数据库用户名称
        jdbc_user => "root"
        #链接数据库的密码
        jdbc_password => "root"
        #指定驱动的位置
        jdbc_driver_library => "D:/1-search/logstash-6.5.4/bin/mysql-connector-java-8.0.12.jar"
        #最新的mysql驱动写法,写以前的驱动会报错
        jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        #同步的表,这里也可以只想一个写了sql的文件
        statement => "SELECT codeid,parentid,cityName FROM tb_da_area"
        #表示每分钟都同步数据
        schedule => "* * * * *"
    }
 }
 filter {
  date {
    # 有多个项的话能匹配多个不同的格式
    match => [ "logdate", "MMM dd yyyy HH:mm:ss","ISO8601" ]
    target => "fieldName1"
    timezone => "Asia/Shanghai"
  }
}

 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
    #数据到es
        hosts => "localhost:9200"
        #指定索引,名字任意
        index => "myindex"
        #指定类型,任意
        document_type => "doc"
        document_id => "%{id}"
    }
}

11.进入 logstashbin目录执行 logstash -f mysqltoes.conf 看到如下信息表述数据同步成功,下面截图的数据需要根据您同步的数据觉定。
在这里插入图片描述
12.在kibana查询数据是否已经同步
选中dev tools 执行 GET /_cat/indices?v 命令
看到如下界面:myindex是在logstash中配置,表示数据同步成功在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/u012976879/article/details/85259911