MySQL5.7导入数据到ElasticSearch6.2.4

MySQL版本：5.7.23

ElesticSearch版本：6.2.4

服务器系统：CentOS7

最近导师交给我一个大鸡吧的任务，把MySQL中微博爬虫下来的数据存到ES，为了接下来的舆情文本分析。

在网上找了一圈有以下几种方法：

1、elasticsearch-jdbc（git主页地址：https://github.com/jprante/elasticsearch-jdbc）

我看最新更新还是两年前，最高支持es版本才2.3.4，pass

2、kafka

虽然会用，但是感觉很麻烦啊，pass

3、logstash-jdbc

版本ok，开搞。

--------------------------------------------------------skr 分割线 skr----------------------------------------------------------

1、安装logstash-input-jdbc插件前需要安装logstash

打开iterm连接服务器，然后就是一句话（一菊花）的事儿：

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.zip

解压一波：unzip logstash-6.2.4.zip

2、开始安装主角了：logstash-input-jdbc插件

cd /home/software/logstash-6.2.4/bin

./logstash-plugin install logstash-input-jdbc

看到这一幕，就是插件安装完成啦。

ps：看有的博客说原生的源不行，要换某宝的，我准备先试试看是不是不行，结果我笑了，安装的是异常的流畅

3、编写配置文件（jdbc.sql和jdbc.conf，建议在bin目录下vim jdbc.conf)

① jdbc.sql：这个就不多说了，正儿八经的sql语句，根据自己的情况去写啦

②下载MySQL连接驱动包

对应好自己的MySQL版本哈，我的是5.7的版本，所以我也就下5.1的驱动包

附上某盘的地址，方便大家嗨皮：https://pan.baidu.com/s/1YauAXVIZegpIr0pFgDz79Q

Summary of Connector/J Versions

Connector/J version	Driver Type	JDBC version	MySQL Server version	Status
5.1	4	3.0, 4.0, 4.1, 4.2	4.1, 5.0, 5.1, 5.5, 5.6, 5.7	Recommended version
5.0	4	3.0	4.1, 5.0	Released version
3.1	4	3.0	4.1, 5.0	Obsolete
3.0	4	3.0	3.x, 4.1	Obsolete

Summary of Connector/J Versions

Connector/J version	JDBC version	MySQL Server version	JRE Supported	JDK Required for Compilation	Status
6.0	4.2	5.5, 5.6, 5.7	1.8.x	1.8.x	Developer Milestone
5.1	3.0, 4.0, 4.1, 4.2	4.1, 5.0, 5.1, 5.5, 5.6, 5.7	1.5.x, 1.6.x, 1.7.x, 1.8.x*	1.5.x and 1.8.x	Recommended version

③编写jdbc.conf，这是连接你们的mysql和es的账户密码索引表等等的信息

直接复制黏贴版代码：

input {
    
    jdbc {
      jdbc_connection_string => "jdbc:mysql://192.168.1.85:3306/weibo?characterEncoding=UTF-8&useSSL=false&autoReconnect=true"
      jdbc_user => "root"
      jdbc_password => "root"
      jdbc_driver_library => "/usr/local/logstash/config/mysql-connector-java-5.1.47.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"

      jdbc_default_timezone => "Asia/Shanghai"

      statement_filepath => "/usr/local/logstash/bin/jdbc.sql"
      schedule => "* * * * *"
      type => "jdbc"
    }
}


output {
    elasticsearch {
        hosts => "192.168.1.79:9200"
        protocol => "http"
        index => "opinion_system"
        document_type => "opinion_type"
        document_id => "%{id}"
    }
    
}

解释版代码：

input {
    
    jdbc {
      # 连接的数据库地址和哪一个数据库，指定编码格式，禁用SSL协议，设定自动重连
      jdbc_connection_string => "jdbc:mysql://192.168.1.85:3306/weibo?characterEncoding=UTF-8&useSSL=false&autoReconnect=true"
      # 你的账户密码
      jdbc_user => "root"
      jdbc_password => "root"
      # 连接数据库的驱动包，建议使用绝对地址
      jdbc_driver_library => "/usr/local/logstash/config/mysql-connector-java-5.1.47.jar"
      # 这是不用动就好
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"

      jdbc_default_timezone => "Asia/Shanghai"

      statement_filepath => "/usr/local/logstash/bin/jdbc.sql"
      
      # 这是控制定时的，重复执行导入任务的时间间隔，第一位是分钟
      schedule => "* * * * *"
      type => "jdbc"
    }
}


output {
    elasticsearch {
        # 要导入到的Elasticsearch所在的主机
        hosts => "192.168.1.79:9200"
        protocol => "http"
        # 要导入到的Elasticsearch的索引的名称
        index => "opinion_system"
        # 类型名称（类似数据库表名）
        document_type => "opinion_type"
        # 类型名称（类似数据库表名）
        document_id => "%{id}"
        
    }
    
}

4、开始导入

./logstash -f jdbc.conf

-----------------------------------------------------------skr 分割线 skr-----------------------------------------------------------------------

这里遇到一个小问题

把配置文件jdbc.conf里面的protocol注释掉即可

MySQL5.7导入数据到ElasticSearch6.2.4

猜你喜欢