使用logstash进行数据同步：postgresql向elasticsearch的数据同步

要使用Logstash将PostgreSQL（PG）中的数据同步到Elasticsearch（ES），您可以遵循以下步骤：

1. 安装和配置Logstash：

   • 下载并安装Logstash。您可以从Elasticsearch官方网站获取适用于您的操作系统的安装包。
   • 创建一个新的Logstash配置文件，例如"pg_to_es.conf"。
   • 打开配置文件并配置以下内容：

     input {
       jdbc {
         jdbc_connection_string => "jdbc:postgresql://<PG_HOST>:<PG_PORT>/<PG_DATABASE>"
         jdbc_user => "<PG_USERNAME>"
         jdbc_password => "<PG_PASSWORD>"
         jdbc_driver_library => "<PATH_TO_PG_JDBC_DRIVER_JAR>"
         jdbc_driver_class => "org.postgresql.Driver"
         statement => "SELECT * FROM <PG_TABLE>"
         schedule => "* * * * *"
       }
     }
     
     output {
       elasticsearch {
         hosts => ["<ES_HOST>:<ES_PORT>"]
         index => "<ES_INDEX>"
         document_id => "%{id}"
       }
     }
     

     将<PG_HOST>替换为您的PostgreSQL主机名或IP地址，<PG_PORT>替换为PostgreSQL端口号，<PG_DATABASE>替换为要同步数据的数据库名称，<PG_USERNAME>和<PG_PASSWORD>替换为您的PG凭据。
     将<PATH_TO_PG_JDBC_DRIVER_JAR>替换为PostgreSQL JDBC驱动程序JAR文件的路径。
     将<PG_TABLE>替换为要同步数据的表。
     将<ES_HOST>和<ES_PORT>替换为Elasticsearch主机和端口号。
     将<ES_INDEX>替换为要将数据写入的Elasticsearch索引名称。
     schedule选项设置了同步频率，上述示例中设置为每分钟同步一次。您可以根据需要进行调整。

2. 启动Logstash：

   • 打开终端或命令提示符窗口。
   • 导航到Logstash安装目录。
   • 运行以下命令来启动Logstash并开始数据同步：

     bin/logstash -f pg_to_es.conf
     

Logstash将从PostgreSQL中选择指定表中的数据，并将其写入Elasticsearch中的指定索引。您可以根据需要调整配置文件中的选项来满足您的要求。

请注意，为了使此过程正常工作，您需要确保具有适当的访问权限和网络连接，并且已安装正确版本的PostgreSQL JDBC驱动程序和Logstash。