記事ディレクトリ
第 1 章 ドリスの紹介
1.1 ドリスの概要
Apache Doris は、Baidu ビッグ データ部門 (以前は Baidu Palo と呼ばれていましたが、2018 年に Apache コミュニティに貢献した後、Doris に名前変更されました) によって開発され、Baidu 内では 200 以上の製品ラインが使用され、1,000 以上のマシンが導入されています。数百テラバイトに達します。
Apache Doris は、最新の MPP (Massively Parallel Processing、超並列処理) 分析データベース製品です。クエリ結果はわずか 1 秒未満の応答時間で取得できるため、リアルタイムのデータ分析を効果的にサポートできます。Apache Doris の分散アーキテクチャは非常にシンプルで、操作と保守が簡単で、10PB を超える非常に大規模なデータ セットをサポートできます。
Apache Doris は、固定履歴レポート、リアルタイム データ分析、インタラクティブなデータ分析など、さまざまなデータ分析ニーズを満たすことができます。
データ分析・探索的データ分析など
1.2 ドリスアーキテクチャ
Doris のアーキテクチャは非常にシンプルです。FE (フロントエンド) と BE (バックエンド) の 2 つの役割と 2 つのプロセスだけを持ちます。外部コンポーネントに依存しないため、導入と運用保守に便利です。FE と BE の両方が可能です。直線的に展開されます。
⚫ FE (フロントエンド): クラスターのメタデータを保存および維持し、クエリ リクエストの受信と解析、クエリ プランの計画、
クエリの実行をスケジュールし、クエリ結果を返します。主な役割は次の 3 つです。
(1) リーダーとフォロワー: 主にメタデータの高可用性を実現するために使用され、単一ノードがダウンしたときに、サービス全体に影響を与えることなくメタデータをオンラインでリアルタイムに復元できるようにします。
(2) オブザーバー: クエリ ノードを拡張するために使用され、メタデータのバックアップの役割も果たします。クラスターの負荷が非常に高く、クエリ全体の機能を拡張する必要がある場合は、オブザーバー ノードを追加できます。オブザーバーは書き込みには関与せず、読み取りのみを行います。
⚫ BE (バックエンド): 物理データの保存と計算を担当し、FE によって生成された物理計画に従って分散方式でクエリを実行します。
データの信頼性は BE によって保証されており、BE はデータ全体の複数のコピーまたは 3 つのコピーを保存します。コピー数は需要に応じて動的に調整できます。
⚫ MySQLクライアント
MySQL プロトコルの助けを借りて、Doris は任意の MySQL ODBC/JDBC および MySQL クライアントを使用して Doris に直接アクセスできます。
⚫ ブローカー
ブローカーは独立したステートレス プロセスです。ファイル システム インターフェイスをカプセル化し、Doris に HDFS、S3、BOS などのリモート ストレージ システムのファイルを読み取る機能を提供します。