概要
この記事は、Honghu バージョン 2.10.0 に基づいており、Honghu を使用してフラッシュ ログ データを分析するシナリオに参考情報を提供することを目的としています。この記事で使用されているデータはサンプル データです (実際のデータではありません)。この記事では主にフラッシュ ログを使用して、次の分析を実行します。
- アクティブユーザー数を分析する
- ユーザーが分布しているエリアを解析して地図上に表示
- ユーザーのリクエストを分析し、リクエストに応じてさらなる分析を実行します
- ユーザー端末の状況を分析する
ステップ
データインポート
1. データセットを作成します。既存のデータセットを使用する場合は、この手順をスキップできます。
データセット名: tonghuashun_syslog (ダッシュボードで使用されている名前。別の名前に変更した場合は、ダッシュボードのインポート後に SQL ステートメントでデータセットを調整する必要があります)
2. データソースタイプを作成する
データ ソースの種類: tonghuashun_syslog
3.vector.tomlを設定します。Vector インストールのリファレンス Vector インストール ( https://vector.dev/docs/setup/quickstart/#install-vector )
include = ["/data/log/*.json"] # フラッシュログファイルのパス
._datatype = "tonghuashun_syslog" #データ ソース タイプ名
._target_table = "tonghuashun_syslog" #データセット名
アドレス = "172.16.1.5:20000" #Honghu IP
フィールド抽出
ログ分析
フィールドを抽出する前に、元のログを調べて分析する必要があります
クエリを通じて、元のログ形式が次のとおりであることがわかります (次の例は、ログ形式の参照のみを提供します)。
ファイルが json タイプのファイルであると大まかに判断できます。ここで確認します。
ヒント: json 形式を確認する方法は、オンライン Web サイトで確認できます [Json オンライン確認]
検証後、その json は無効な json であると言われ、json ファイルを完成させる方法を見つけようとします。
ここでは先頭に「{」、末尾に「}」を追加し、「@timestamp」の前の「,」を削除したところ、json が正常に認識・解析できることがわかりました。
フィールド抽出
ファイルが json ファイルとして完成できることを上記で確認しました。次のステップでは、フィールド抽出メソッドが json であることを確認し、Honghu sql search コマンドを使用してファイルを json として完成する方法を見つける必要があります。最後の SQL ステートメントは次のとおりです。
以下は私の実装ステートメントです。ここでロジックを説明します
最初のステップ: json ファイルを完成させます
- concat: 文字列は連結されます。これにより、「{」と「}」を追加する問題が解決されます。
- substring: 最初のパラメータで入力された文字列の一部を返します。ここでは @timestamp の前に「,」は必要ないので、「,」はイベントの最初の文字です。2 番目の文字から開始します。 「、」を削除する問題
ステップ 2: json を使用して完了したイベントを解析する
- 上では完成した content_json に名前を付けましたが、ここでは parse_json を通じて完成した content_json を解析します。
ステップ 3: 後で解析されたフィールドを呼び出せるように、ステートメントをビュー「v_tonghuashun」として保存します。
ダッシュボード
フラッシュ ダッシュボードをインポートします。新しいダッシュボード > ダッシュボード プロファイルの選択 > OK
効果は次のとおりです。
Flush—運用および保守のportrait.json (公式Webサイトにアクセスしてファイルを入手し、「Honghu Technology Exchange Group」に参加してください)
拡大する
上記で使用した SQL 関数と構文、およびその使用方法は、「ヘルプ ユーザー マニュアル」でクエリできます。その他のクエリ分析関数については、
https://www.yanhuangdata.com/honghu_manual/docs/search /を参照してください。
