ElasticSearch(2)は、使用の基礎をLogstash

個人ブログのナビゲーションページ(クリック、右側にリンク個人のブログを開くために):ダニエルは、テクノロジ・スタックにあなたを取ります 

第二週、そして今日はLogstashの使用について話しています。

    9200 /ユーザーがリクエストを送信します。まず、私たちはES、郵便配達のユーザーを使用して、新しいインデックスは、郵便配達中にローカルホストへのPUTの方法を使用して開きます。リターン情報は、以下を参照してください。

{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "user"
}

ESはtrueに、設定の修正/ elasticsearch.yml構成で、action.auto_create_indexセットを自動的に開き、インデックスを作成していないためか、正常に確立されていない場合は説明のインデックスは、成功しています。以上の操作で再実行します。

    私たちは道にインデックス、使用済みの郵便配達のGETでユーザデータを見て今回は、localhostを送信:9200 /ユーザー/ _search Q = *&かわいいユーザインデックス内のすべてのデータを表示します?。これは、ユーザーインデックスとデータなしで見ることができます。

    私たちのテーブル構造を次のようにします:

CREATE TABLE `user` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `account` varchar(40) DEFAULT NULL,

  `password` varchar(40) DEFAULT NULL,

  `name` varchar(20) DEFAULT NULL,

  `sex` varchar(15) DEFAULT NULL,

  `head_src` varchar(40) DEFAULT NULL,

  `question` int(11) DEFAULT NULL,

  `answer` varchar(100) DEFAULT NULL,

  `signature` varchar(40) DEFAULT NULL,

  `grade` int(11) DEFAULT NULL,

  `code` varchar(100) NOT NULL,

  `state` tinyint(1) unsigned zerofill NOT NULL,

  `permission` tinyint(1) DEFAULT NULL,

  `date` date DEFAULT NULL,

  PRIMARY KEY (`id`),

  UNIQUE KEY `account` (`account`)

) ENGINE=InnoDB AUTO_INCREMENT=13 DEFAULT CHARSET=utf8 STATS_PERSISTENT=1;

(大学システムの独自のテーブル、ノートは技術的なものではなく、ああオフ)

    次に、我々はConnectionJarは、このフォルダ内のjarパッケージmysqlの接続に、あなたは私がリンクを保持し、次のMavenリポジトリに行くことができるフォルダを作成し、Logstashフォルダを入力します。

    その後、我々は、我々はmysql.confファイルを作成し、このフォルダを、ビンLogstash内のファイルのルートフォルダを開きconfフォルダを作成します。confファイルを開き、ANSIとしてエンコードされたファイルセット(非常に重要な!!重要なの!!重要!!)。

    設定ファイルの内容は、次のようになります。   

input {

    # 标准输入形式,暂时用不到

    stdin {

    }

    # JDBC设置

    jdbc {

    # 数据库连接

    jdbc_connection_string => "jdbc:mysql://localhost:3306/retina"

    jdbc_user => "root"

    jdbc_password => "123456"

    # Jar包的位置

    jdbc_driver_library => "D:\elasticSearch\logstash-7.6.0\ConnectionJar\mysql-connector-java-5.1.40-bin.jar"

    jdbc_driver_class => "com.mysql.jdbc.Driver"

 

    # 是否使用列数据

    use_column_value => true

    # 追踪的列,与use_column_value必须同时使用

    tracking_column => id

    # 是否开启记录最后一次运行数据

    record_last_run => true

    # 记录数据的保存位置

    last_run_metadata_path=>"D:\elasticSearch\logstash-7.6.0\bin\conf\station_parameter.txt"

    # 是否开启分页

    jdbc_paging_enabled => "true"

    # 分页数据大小

    jdbc_page_size => "50000"

    # SQL语句,也可以使用以下的文件形式

    # statement_filepath => "D:\elasticSearch\logstash-7.6.0\bin\conf\information.sql"

    statement => "select * from user where id > :sql_last_value "

    # 定时执行的时间,这个在我的一篇博客里提到https://my.oschina.net/u/4109273/blog/3042086

    schedule => "* * * * *"

    # 索引的名称

    type => "user"

  }

}

# 拦截器设置,本篇中没有用到,就不解释了

filter {}



# 输出配置

output {

    elasticsearch {

       # ES的地址

       hosts => "localhost:9200"

       # 使用的索引

       index => "user"

       # 文档使用的ID列

       document_id => "%{id}"

    }

}

しかし!ファイルが中国語で表示されませんので、あなたが、文句を言うだろう、上記の構成を使用することはできません、すべての我々はすべてのコメントを削除したいです!

しかし!ファイルが中国語で表示されませんので、あなたが、文句を言うだろう、上記の構成を使用することはできません、すべての我々はすべてのコメントを削除したいです!

しかし!ファイルが中国語で表示されませんので、あなたが、文句を言うだろう、上記の構成を使用することはできません、すべての我々はすべてのコメントを削除したいです!(私は最後に利用可能な設定情報を書き込みます)

その後、我々はビンCMD、実行でファイルを開きます。\ Logstash -f。\コンファレンス\ mysql.confコマンドを。それは既に進行中のLogstashを処理したデータを示し、このスクリーンショットを参照してください。

その後、我々は、ユーザーインデックス内のデータを見て、私たちはデータが書き込まれたことを確認した後、データのユーザーテーブルを比較することができ、あなたが見ることができ、すべてのユーザーデータは、ESに書き込まれています。これまでのところ、財団はそれをlogstash使用されています。

 

構成情報:

input {

    stdin {

    }

    jdbc {

    jdbc_connection_string => "jdbc:mysql://localhost:3306/retina"

    jdbc_user => "root"

    jdbc_password => "123456"

    jdbc_driver_library => "D:\elasticSearch\logstash-7.6.0\JDBC\mysql-connector-java-5.1.40-bin.jar"

    jdbc_driver_class => "com.mysql.jdbc.Driver"

 

    use_column_value => true

    tracking_column => id

    record_last_run => true

    last_run_metadata_path=>"D:\elasticSearch\logstash-7.6.0\bin\conf\station_parameter.txt"

    jdbc_paging_enabled => "true"

    jdbc_page_size => "50000"

    statement => "select * from user where id > :sql_last_value "

    schedule => "* * * * *"

    type => "user"

  }

}

filter {}



output {

    elasticsearch {

       hosts => "localhost:9200"

       index => "user"

       document_id => "%{id}"

    }

}

付属のJava / C / C ++ /機械学習/アルゴリズムとデータ構造/フロントエンド/アンドロイド/パイソン/プログラマ読み/シングル書籍図書Daquanは:

(乾燥した個人ブログでそこ開くには、右クリックしてください):技術的なドライ開花を
===== >> ①[Javaのダニエルは、高度なへの道であなたを取る] << ====
===== >> ②[+ ACMアルゴリズムデータ構造ダニエルは、高度なへの道であなたを取る] << ===
===== >> ③[データベースダニエルは高度への道であなたを取る] << == ===
===== >> ④[ダニエルWebフロントエンドの高度への道であなたを取るために] << ====
===== >> ⑤[機械学習のPythonとダニエルあなたにエントリを取ります高度なロード] << ====
===== >> ⑥[建築家ダニエルは高度への道であなたを取る] << =====
===== >> ⑦[C ++ダニエルは、道路上をお連れに進ん] << ====
===== >> ⑧[ダニエルは高度への道であなたを取るのiOS] << ====
=====> > ⑨[ウェブセキュリティダニエルは、高度なへの道であなたを取る] ===== <<
===== >> ⑩[Linuxオペレーティングシステムを、ダニエルは高度への道であなたを取る] = << ====

何の未収果物はありません、あなたの若い友人は、友人がテクニックを学びたい願って、道路の方法ですべての障害を克服することは、技術に結びつける本を理解して、コードをノック、原理を理解し、実践を行くことになります決定しましたそれはあなたの将来、あなたの夢を生活、あなたの仕事をもたらすでしょう。

公開された141元の記事 ウォン称賛17 ビュー8161

おすすめ

転載: blog.csdn.net/JKX_geek/article/details/104881224