NIFI は、MySql データソースのデータを元のデータベース hbase に同期します。データをリアルタイムで同時に分析および処理します。クリーニング データベースと同期します。実際の操作 06---ビッグデータに関する Nifi 作業メモ 0046

 ここで最初に要件について話しましょう。さまざまなデータ ソースからデータを取り出したいです。もちろん、ここにデータ ソースがあります。取り出した後、

データが GenerateTableFetch プロセッサを通過し、ページング SQL を取得し、ExecuteSql プロセッサを介して実行されていることがわかります。データを取得した後、データを Avro 形式から Json 形式に変換し、ConvertAvroToJSON プロセッサを使用して、複数のページデータを変換し、SplitJsonプロセッサを分割すると、分割されたデータは歩いて見ることができます 右の行は、データをHbaseデータベースに直接格納し、PutHbaseJSONを使用します

プロセッサー。

次に、もう 1 つは EvaluateJsonPath プロセッサに送られ、Json 内の特定のフィールド データを抽出し、そのデータを ReplaceText に渡して挿入 SQL に結合し、そのデータを PutSQL を通じて他のデータベースにインポートします。

これは、複数のデータソースのデータを複数のデータソースにインポートできるようにするためのもので、簡単な分析機能も追加できます。