（转）Mysql数据导入ES（全量+增量）

下载安装包时注意下载到指定文件夹这里我放在OPT文件夹下
一：安装logstash
进入到opt文件夹打开终端执行以下命令
wget -c https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.zip
加上-c支持断点续传
二：解压logstash
unzip logstash-6.4.0.zip
三：进入到logstash bin目录
cd logstash-6.4.0/bin
四：安装logstash-jdbc
./logstash-plugin install logstash-input-jdbc
五：编写配置文件（jdbc.sql和jdbc.conf，建议在bin目录下vim jdbc.conf)
六：首先在bin目录下新建一个mysql目录,里面包含jdbc.conf,jdbc.sql文件,加入mysql的驱动
jdbc.conf内容：

input {
    stdin {
    }
    jdbc {
      # 连接的数据库地址和哪一个数据库，指定编码格式，禁用SSL协议，设定自动重连
      jdbc_connection_string => "jdbc:mysql://数据库地址:端口号/数据库名?characterEncoding=UTF-8&useSSL=false&autoReconnect=true"
      # 你的账户密码
      jdbc_user => "账号"
      jdbc_password => "密码"
      # 连接数据库的驱动包，建议使用绝对地址
      jdbc_driver_library => "mysql/mysql-connector-java-5.1.45-bin.jar"
      # 这是不用动就好
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"

    #处理中文乱码问题
      codec => plain { charset => "UTF-8"}

       #使用其它字段追踪，而不是用时间
      use_column_value => true
       #追踪的字段      
    tracking_column => testid      
    record_last_run => true     
    #上一个sql_last_value值的存放文件路径, 必须要在文件中指定字段的初始值     
    last_run_metadata_path => "mysql/station_parameter.txt"

      jdbc_default_timezone => "Asia/Shanghai"
 
      statement_filepath => "mysql/jdbc.sql"
      

    #是否清除 last_run_metadata_path 的记录,如果为真那么每次都相当于从头开始查询所有的数据库记录
    clean_run => false

      # 这是控制定时的，重复执行导入任务的时间间隔，第一位是分钟
      schedule => "*/5 * * * *"
      type => "jdbc"
    }
}


filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}
 
 
output {
    elasticsearch {
        # 要导入到的Elasticsearch所在的主机
        hosts => "192.168.105.180:9200"
        # 要导入到的Elasticsearch的索引的名称
        index => "db_anytest"
        # 类型名称（类似数据库表名）
        document_type => "table_anytest"
        # 主键名称（类似数据库主键）
        document_id => "%{testid}"
        # es 账号
        user => elastic
        password => changeme
        
    }

    stdout {
        # JSON格式输出
        codec => json_lines
    }
    
}

jdbc.sql里面就直接写sql语句就行了

全量同步sql语句就不要写testid了增量同步就加上where条件 where testid > :sql_last_value
七：开始导入(需要用root账户启动)
./logstash -f mysql/jdbc.conf

（转）Mysql数据导入ES（全量+增量）

猜你喜欢