要約：王Jinhaiの担当関係者が共有するこの記事の見出しデータプラットフォーム、興味深い見出しFLINKツーハイブ時間のクラスのシーンを紹介してFLINKツーClickHouse秒のシーン。著者：王Jinhai;出典：Yunqiコミュニティ
コンテンツは、4つの部分に分かれています。
- まず、ビジネスシナリオと状況分析
- 二、FLINK・ツー・ハイブ時間のクラスシーン
- 三、FLINKツーClickHouse秒のシーン
- 第四に、将来の発展と思考
まず、ビジネスシナリオと状況分析
オフラインクエリページとリアルタイム問合せページへページの見出し金利問い合わせ。今年実装楽しい見出し改革は、リアルタイムクエリでClickHouse計算エンジンへのアクセスです。さまざまなビジネスシナリオによると、報告書では、リアルタイムのデータは、データの指標指数と詳細なデータ表のグラフが表示されます。時間の窓のために5分ごとに収集し、計算データに現在のメトリック、当然のことながら、分または3分の特別な場合があります。すべてのデータのインデックスデータは、カフカリアルタイムデータから得られ、およびインポートClickHouseが計算されます。
二、FLINK・ツー・ハイブ時間のクラスシーン
【図実装アーキテクチャレベルH
示され、データベースは、カフカにBINLOG下回っている間も、Log Serverのデータ会議の報告書カフカを導出しています。カフカにリアルタイムですべてのデータを着陸した後、HDFSにFLINKによって描かれました。図の破線の間HDFSハイブ、すなわち直接その後、ハイブのステージ時間に粉砕し、HDFS FLINKグラウンドに、ハイブFLINKに接地されていないが、時間、半時間または分級のレベルかもしれ後、あなたがデータを知っておく必要がありますが、イベントの時間となっていますALTER TABLEを再トリガする場合、など、場所を追加し、パーティションを追加するには、パーティションを書き込みます。
そして、プログラムは、現在のデータFLINKタスクは、このようなデータの午前9時として、何時間までの時間を消費している監視するために必要とされ、カフカの消費量を確認するためのデータの必要性は、トリガーパーティションがハイブで書かれている、9点の着陸に達しています。
2.原則
楽しいの見出しは、主に--StreamingFileSinkの機能FLINK高次のバージョンを使用します。StreamingFileSinkは、いくつかの機能があります。
- まず、forBulkFormat支持アブロ、寄木細工のフォーマット、すなわち、ストレージフォーマットの列。
- 第二に、時間バケットによってwithBucketAssignerカスタムデータは、ここでは、データがオフラインになっている時間によって床に、データの両方をEventtimeBucketを定義します。
- 第三に、OnCheckPointRollingPolicy、データチェックポイント着陸時間に応じて、データ及び着陸チェックポイントは、特定の時間内に安定しました。チェックポイントの床に応じて、データサイズに応じてのような他の戦略があります。
- 第四に、StreamingFileSink正確ワンスセマンティクスが実装されています。
FLINKは、2つのセマンティック正確ワンス実装している、最初のものはカフカであり、第二はStreamingFileSinkです。ショー着陸の設計HDFSファイルのデモに10分ごとに以下のOnCheckPointRollingPolicy。
■まさにワンス実現する方法
Aは、単純な2-PCモデルの側面ビューを残しました。動作開始トリガACKを実行することにより、準備コーディネーターを送信した後、ACKコーディネーターは、すべてにすべてのコミットACKモデルFLINKに形質転換したすべての俳優の床、のために、ソースがチェックポイントバリアストリームを受信し、トリガーを起動し、最初のメッセージを受け取りますスナップショットをトリガーします。
完成されたスナップショットの各オペレータのCheckPoint、後は、チェックポイントジョブマネージャはnotifyCheckpointCompleteを送信します。第二段階は、3行を左及びモデルのFLINKモデル部分は、図と一致しています。したがってFLINKは、二相コミットプロトコルを用いて達成することができます。
2フェーズ・コミット・プロトコルを実装するFLINKを使用する方法■
まず、StreamingFileSink 2つのインターフェイス、CheckpointedFunctionとCheckpointListenerを実装します。initializeStateとsnapshotState機能を実現CheckpointedFunction。CheckpointListener 2つのインターフェイスは、2フェーズプロトコルのセマンティクスをコミット実装することができるように、達成するnotifyCheckpointComplete方法です。
- initializeState
タスクを開始するには3つのアクションをトリガーするinitializeState。最初はcommitPendingFileです。基底状態HDFSに3リアルタイムデータがあります。最初の状態は、ステータスを進行、進行中です。第二の状態が保留状態であり、第3の状態は、完成した状態です。
タスクの開始がrestoreInProgressFile、リアルタイムのオペレーターへの書き込みをトリガするinitializeState。プログラムが成功したチェックポイントが問題とされていない表示された場合は、Hadoopの2.7以降のバージョンにリセットするには、TRUNCATE方法または切り捨て進行中のファイルを使用して、initializeStateはPendingFileをコミットします再起動。
- 呼び出し
リアルタイムのデータが書かれています。
- snapshotState
記録データの長さが（TRUNCATE実施形態は切り捨て長さを必要とする）しながら、チェックポイントは、保留状態に進行中のファイルをトリガします。snapshotStateは本当にHDFSにデータを書き込むが、ListState書かれていません。FLINK内部実装正確ワンスバリア配向状態が、しかし正確ワンスセマンティック難しいの外端を達成するために意味論。FLINK内部の正確ワンスHDFSでブラシListState内のデータ、その後、ListState、ListState格納されているすべてのデータによってチェックポイントが完了したすべての演算子のための待ち時間を達成しました。
- notifyCheckpointComplete
書き込まれたデータの仕上がり状態を保留notifyCheckpointCompleteトリガ。実装は、名前を変更することで、ストリーミングは、すべてのアクション名前変更アクションによって書かれた公式文書の終了後、HDFSに一時ファイルを書き続けます。
3.クロスクラスタマルチnameservices
リアルタイムとオフラインのクラスタでの楽しみの見出しは、クラスタをオフラインに関係なく、複数のセットのクラスタで、リアルタイムのクラスタは、現在設定されています。リアルタイムでのクラスタでオフラインのクラスタに書き込まれ、HDFS nameservices問題を生成します。実際のクラスタにその全体がクラスタの名前ノードHAと、クラスタ内のすべてのオフラインリアルタイムでnameservicesは適切ではありません。それでは、どのようにリアルタイムタスクにクラスタで各クラスタをオフラインに提出しますか？
以下FLINKリソースタスクに示されるように、以下に示すように、HDFSのXMLの中央に添加しました。名前ノードのHAクラスタ構成で、リアルタイムストリームとして、nameservicesにPropertyHong香港を追加し、データをオフラインでの構成書き込まれる名前ノードHAクラスタです。次に、各HDFSは何の変更を設定していない二つのクラスタの真ん中には、クライアントに直接実装することができます。
4.マルチユーザーの書き込み権限
HDFSオフラインリアルタイムに書き込むには、ユーザー権限の問題を含むことができます。リアルタイムのユーザーの投稿は、ユーザーが同じユーザーで定義されているが、オフラインでは、このように不均等なリアルタイムおよびオフラインユーザーを与えて、すべてのプログラムにおけるマルチユーザです。書き込みHDFSへのAPIで追加withBucketUser興味深い見出し。設定さnameservicesたら、次のみ、ユーザーの構成など、ユーザは、ストリームを書き込み、それを通してHDFSパスを書くために知っておく必要があります。
APIレベルは、いくつかの異なるHDFSと異なるユーザーを指定することができる利点FLINKプログラムです。マルチユーザーの書き込みは、Hadoopのファイルシステム、ユーザエージェントとしてプラスugi.doです。上記は、ハイブの仕事の一部にリアルタイムのデータ同期を使用するには、興味深い見出しFLINKの方法です。これは小さなファイルに問題が表示されることがあり、ファイルは小さなデーモンは定期的にマージされ、そのような3分などのCheckPoint短い時間間隔、場合、小さなファイルの問題が多数存在します。
三、FLINKツーClickHouse秒のシーン
1.図のアーキテクチャは、秒単位で実装しました
楽しいの見出しは、リアルタイムのメトリックの多くは、平均的には、5分ごとに3分が計算されているかのようにカフカトピックの消費などFLINKタスクと各リアルタイムメトリック、または書き込みにFLINK SQL、毎日ライブ、新しい、プロセスを計算する必要など、ユーザが前方に新たな需要を入れたときに、現在のFLINKを変更する必要性は、新しいタスクを開始するか、タスクがFLINKトピックを消費します。
FLINKタスクは、したがって、変更したり、新しいFLINKの問題を開始する作業を継続し続けます。全体的なOLAPを達成するために、ClickHouse FLINKにアクセスしようとした後の楽しみの見出し。次の図は、チャートを達成するために第2のレベルを示しています。カフカからFLINK、ハイブ、ClickHouseクラスタに、外部ドッキングホライゾン（リアルタイムレポート）、QE（リアルタイムアドホッククエリ）、千尋（データ分析）、利用者の肖像画（リアルタイムで人の輪）へ。
2.Why FLINK + ClickHouse
- 実現SQL記述の指標：SQLに上げメトリクスのアナリストは、基本的に説明します。
- 互いに独立のダウンラインのインデックス：タスクFLINK消費者トピックは、必要ならば他の指標、インデックスはお互いに影響を与えオフラインことを確認することができます。
- データが異常捜査促進するためにさかのぼることができます。同じ日の下落を生きるために、必要性のバックトラックの調査は、このようなデータの違いなどの指標の口径は、報告された論理的な質問があるか、データがカフカが失われたストリーム、またはユーザーが日常生活の減少につながったインデックスを報告していないため、 FLINKは後戻りすることはできません。
- 高速コンピューティング、サイクル内で計算され、すべての指標を完了：必要性をすべての計算が完了している指標の何百ものすべての次元の5分以内。
- リアルタイムストリーミング、分散型の展開、運用、保守を支援するのは簡単です：リアルタイムのストリーミングデータカフカのサポート。
現在興味深い見出しFLINKクラスタ100+ 32コア128 G 3.5T SSD、データの量は21ワット+回毎日クエリで毎日2000 +億あり、問い合わせの80％が1秒以内に完了する。ショーテストの結果、以下の単一のテーブル。ClickHouse速い単一テーブルの試験速度。しかし、アーキテクチャの対象は、ClickHouseが弱い参加します。
図は3.6sで、ClickHouse26億完全なデータ計算によって+の順によって+グループを数え、比較的複雑なプロセスのSQLです。
3.Why ClickHouse非常に高速
ストレージ+ LZ4、ZSTDデータ圧縮を使用ClickHouseカラム。第二に、計算ストレージと一緒に+量子化を実行するためにローカライズ。プレストデータはHDFS Hadoopクラスタに格納された又はリアルタイムに計算するためのデータを取得することができます。ClickHouseストレージと計算手段は、SSDにのみノードをマージし、その後、独自のデータをカウントし、各ローカル・コンピューティング・マシンの必要性がローカライズされていること。同時に、LSMのマージツリー+インデックス。データがClickHouse書き込まれた後、それがインデックスのインデックスを行い、バックグラウンドスレッドのデータマージを開始します。そのような共通のインデックスとDT-時間レベルのデータインデックスの構造として、クエリのパフォーマンスを向上させます。第四に、SIMD + LLVMの最適化。SIMDは、単一命令複数データセットです。第五に、SQL構文とUDFの完璧な。ClickHouseこの大きな需要。データの解析又は時間窓のファンクションポイントの一部として、特性を引っ張ったときに、より高い次元を必要とします。
- ツリーのマージ：以下に示します。第一層は、リアルタイムデータが書き込まれています。背景には、あらゆるレベルのデータをマージします。ときにマージは、データをソートインデックスインデックスを行います。
- コネクタClickHouse：ClickHouse二つの概念を、ローカルテーブルと分散テーブル。一般的に、分散テーブルを読んで、ローカルテーブルを作成します。5〜10ワットClickHouse一般的にバッチデータの書き込み、5Sサイクル。楽しいの見出しもRoundRobinClickHouseDataSourceを達成しました。
- BalancedClickHouseDataSource ：MySQLはIPを設定し、ポート番号がデータを書き込むことができますが、BalancedClickHouseDataSourceの必要性は、ローカルテーブルを書くために、各ローカルのテーブルについてどのように多くのローカルクラスタテーブル、IPとポート番号を知る必要があります。百台のマシンが構成されているすべての百個のマシンのIPとポート番号である、とする必要がある場合は、その後の書き込み。BalancedClickHouseDataSource 2つのスケジュール。scheduleActualizationとscheduleConnectionsCleaning。configureが百の台のマシンのIPとポート番号、いくつかのマシンが接続されていないか、サービスの問題に対応しないされがあるだろう、scheduleActualizationは、問題のマシンは組立ラインをオフトリガー、定期的に接続したり、IPやその他の活動を削除することはできませんでしょう。scheduleConnectionsCleaningは定期的にClickHouse無用httpリクエストを洗浄します。
- RoundRobinClickHouseDataSource：BalancedClickHouseDataSourceのための楽しいの見出しは3つのセマンティクスを達成するために強化した結果。trueにtestOnBorrowセットは、あなたが接続を取得するためにpingを実行できるかどうかを確認してみてください。書くときClickHouseは公式scheduleActualizationとscheduleConnectionsCleaning機能で真、埋めるためにfalseにtestOnReturnセット、testWhileIdelセット、その後、バッチです。ClickHouse継続的なマージ背景に、インサートに追いつくには余りにも遅い背景マージ挿入した場合、エラーが発生します。可能性として常に書き留めする必要があり、他の現在のマシンは、終了し、マシンとその速度は、インサートの速度と一致できるだけマージすることができますので、書き込みへの書き込みは、間隔5S。
4.Backfill
FLINKインポートClickHouse、データのクエリや印象のレポートは、いくつかの問題が発生します場合は、FLINKタスクが失敗したなどとして、エラーやデータ背圧など、またはクラスタが応答ClickHouseではなく現れ、ZKはなど、速すぎるまたはクラスタの負荷挿入し、維持することはできませんミッション全体の問題につながる可能性の問題、。
データトラフィックの急増は、データが表示さを回復していき、しばらくの間FLINKの可能性を起動する場合は、並列処理とデータを回復する他のオペレーティングFLINKヘルプの度合いを調整する必要があります。しかしFLINKは、データを処理する同時実行の程度を高める場合は、データのバックログが行われているこの時間は、ClickHouse制限は、それ以外の場合は悪循環につながる、あまりにも速く挿入することはできません。ハイブはClickHouseにデータをインポートすることにより、FLINKの故障や誤動作のClickHouseクラスタは、ClickHouseクラスタの回復を待つときに、FLINKタスクが最新のデータから支出を開始、データは、一定期間にわたって、もはや、チェイスではありません。
カフカによってリアルタイムで前のデータのためには、ClickHouseハイブにデータを書き込むことで、ハイブに分類されます。ClickHouseそこパーティションは、時間に単に削除データ、時間ハイブのインポートデータは、データのクエリを継続することができます。バックフィルは、タスク時間FLINKレベルのフォールトトレランスを提供し、クラスタリング時間レベルフォールトトレランス機構をClickHouse。
今後の展開と思考
1.Connector SQL技術
現在、へ-ハイブFLINK-とFLINKツーClickHouse見出しが硬化もっと面白いシーンで、ユーザーのニーズにのみパスHDFSを指定し、残りのプロセスは、SQLの方法で記述することができます。
2.Delta湖
FLINKは、1バッチフロー計算エンジンが、誰のバッチフローストレージです。見出しの関心が保存されFLINKとリアルタイムで対話するKVのようなデータのHBase、クーズー、Redisのを使用して計算されます。このような計算などの新しい問題は、現在のプログラムは興味深い見出しが新しいとFLINKかどうかを判断するために、リアルタイムのユーザーとの対話でハイブ履歴のRedisやHBaseのユーザーを磨く必要がありますです。
しかし、2のデータハイブデータやRedisのそれがデータとして保存されるため。第二にBINLOGはハイブで定期的にバックで、HBaseの、クーズーサポートデータの変更をデータ削除操作を抽出することが含まれます。問題は、一つ以上の株式のうちクーズー、ハイブ内のデータのコピーを保存したデータ、およびより多くのデータがある、HBaseのが原因です。あなたはFLINKタスクが終わった、また、リアルタイムおよびユーザーは、追加リアルタイムでデータ、更新を変更、または削除するかどうかを決定するために、リアルタイムでリアルタイム問合せハイブデータを含むオフラインデータでやり取りすることができ、上記のシナリオをサポートするために承認されたストレージの流れの一つを、持っている場合ハイブは、ストレージのバッチ操作をサポートすることができます。
将来的には、FLINK統一ストリームエコロジーバッチ組み合わせてFLINK興味深い見出しは、ストレージの流れバッチを行うことを検討してください。
著者：王Jinhai、インターネット10年の経験が、唯一の製品は、群衆のパーソナライズされたマーケティングサービスを提供し、利用者の肖像システムを担当するがある、空腹、それは大規模なデータタスクスケジューリング、メタデータ、開発、肖像画や他の作業タスクを担当し、建築家を務めていました。今面白い見出しデータセンタープラットフォーム担当者は、計算層（スパーク、プレスト、FLINK、clickhouse）に大規模なデータ・ベースを担当し、プラットフォーム・サービス層（リブラリアルタイム計算、ケプラーオフラインスケジューリング）、データ製品層（QEアドホッククエリ、地平線のデータレポート、）、だけでなく、チームは、メタデータ、メタデータ、データのアクセス権を構築します。
