Elasticsearch1.3.5 升级到Elasticsearch6.3.0

Elasticsearch1.3.5 一个古老级的版本,Elasticsearch6.3.0一个较为新的版本

说一下为啥升级:主要是因为1.3.5的多级排序不满足我的要求,最简单的需求:

水泥 价格10 2018-10-01

水泥 价格12 2018-11-01

水泥 价格11 2019-02-18

超找关键字:水泥 【默认只能做】文档相关性排序,没法做综合排序【我想既有文档相关性然后还兼容时间,或者价格】

这是我最基本的需求,也是往高版本不断寻找的一个原因:终于在6.0版本上发现了,这个版本能兼容。于是先安装一个版本试试再说,如果真的jian兼容需求,则准备shen升级至6.3.0。

因此本地装6.3.0 并且从数据库,使用Logstash 加载数据至Elasticsearch6.3.0:

Logstash 6.3.0加载数据库数据至Elasticsearch6.3.0

head组件自己安装,我没用Kibana。

启动Elasticsearch 应该不复杂,就当大家都会了。

第一步:解压Logstash ,然后进入bin目录

第二步:我们创建一个mysql的配置文件:mysqlconf.conf

input {
    stdin {
    }
    jdbc {
      # mysql 数据库链接,cdy为数据库名
      jdbc_connection_string => "jdbc:mysql://www.mysql.rds.aliyuncs.com:3306/gs_dev"
      # 用户名和密码
      jdbc_user => "dev"
      jdbc_password => "DEV2019"
      # 驱动
      jdbc_driver_library => "D:/elasticsearch-6.3.0-logstash-6.3.0/logstash-6.3.0/bin/mysql-connector-java-5.1.46.jar"
      # 驱动类名
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "5000"
      # 执行的sql
      statement => "select * from market_price "
      # 设置监听间隔  各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
      #schedule => "* * * * *"
      # 索引类型
      #type => "content"
    }
}
 
filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}
 
output {
    elasticsearch {
        hosts => ["192.168.2.232:9200"]
        #索引名称
        index => "market"
		document_type => "market_price"
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

第三步:我们将我们的MySQL驱动包放到解压的位置

版本没关系,跟你数据库一致就行,但是名称跟我的不一样的话,记得改上面的配置文件。

第四步:执行命令- windows:

logstash.bat -f mysqlconf.conf

贴一个刷数据至ES的图:

不断会自动加载数据至ES。然后数据加载就完成了,下一篇揭晓到底能不能做到综合排序

第五步:解决一下碰到的一些异常问题

问题一:错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_162\lib;C:\Program

参考:https://blog.csdn.net/lvwenzhuye/article/details/81483479

问题二:com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library

这个是你的 jar包找不到,你再找一下你的配置文件下的路径下是否真的有那个文件

第六步:其他细节参考

https://blog.csdn.net/u010904188/article/details/81776737

猜你喜欢

转载自blog.csdn.net/yexiaomodemo/article/details/89334153