二つが一つあり、AWS S3から取得したログ情報をlogstash一般的な方法は、別のS3入力logstashプラグを使用することで、AWSのラムダを使用することです。
插件githubの：https://github.com/logstash-plugins/logstash-input-s3
プラグインのドキュメント：https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-s3.html
なお、S3入力バージョンlogstash 7.3と6.3バージョンがバージョンに対応する両方のオプションが異なる設定サポート、異なっています。1つの明らかな違いは、S3入力1以上watch_for_new_filesオプションにlogstash 7.3対応していることです。
設定オプションは、その後、内容の話をあまり価値がありません。主に次のようで。
access_key_id
secret_access_key
領域
これは、3つの着陸S3関連のサービスで構成されています。これではアクセスキーとシークレットアクセスキーが表示したり、マイセキュリティ資格を管理します。
バケツ
これは、指定されたデータソースのバレルの名前です。
接頭辞
exclude_pattern
二つまたはフィルタは、ファイルを指定するために使用されます。
プレフィックスは、文字列のプレフィックスを指定し、ファイルには、接頭辞がされます一致する
収集します
。
正規表現ファイルがされますとexclude_patternはラインで、正規表現を指定します
無視します
。
もう一つのポイントは、S3で、ファイル管理構造は、フォルダの形であるが、しかし、フォルダの本質は、ファイル名の接頭辞です。例えば、GGというフォルダがあるバケツを仮定し、GG、その後、GG / abc.log完全なファイル名abc.log実際には、abc.logというファイルがあります。試合とフィルタリングファイル中に、だけでなく、ファイルの完全な名前で処理されます。=>「GG /」が接頭辞場合、abc.log GGのフォルダに一致させることができます。
S3入力プラグは、コンテンツは、各ファイルの構成に適合読み出し、ファイルの各行は、メッセージに変換され、後続のメッセージは、フィルタを用いて処理することができます。S3上のファイルを読んだ後、S3の入力ファイルは、ファイルを読むために今./data/plugins/inputs/s3/最後のアップロード時間で作成され、記録されます。ファイルは、ファイルを読み込むlogstash進捗状況をマークされています。起動後S3の構成要件を満たしているファイルのlogstash再読み内容を原因とするファイルを削除します。