Doris2.0時代のチャンスと課題！

300万語！ネットワーク全体で最も完全なビッグデータ学習インタビューコミュニティがあなたを待っています!

先週の金曜日、Doris はバージョン 2.0 を正式に発表しましたが、パフォーマンスの大幅な向上に加えて、特に注意が必要な機能がいくつかあります。

公式ウェブサイトの説明によると、ドリスは次の分野で大きな進歩を遂げました。

ログ分析
データレイクのフェデレーション分析シナリオ
データ更新効率と書き込み
リソースの弾力性とストレージと計算の分離
ビジネスユーザー向けの追加の使いやすさ機能

ドリスがこれらの能力を手に入れる前は、誰もがこれらの能力を無料で使用する機会がありませんでした。データベースのこれらの機能は、クラウドプラットフォーム上の一部の有料データベースに集中しており、お金を支払わなければ体験できません。

ここには、特に重要な更新情報がいくつかあります。Doris を詳しく使用する場合は、特に注意する必要があるかもしれません。多くの面接官は、これらの質問をしたがります。私が実践したいくつかを組み合わせて、重要なものをいくつか取り上げます。

同時実行のサポートを確認する

データ開高い同時実行性により。たとえば、注文属性クエリのシーンでは、注文番号に従って注文の一部の属性情報を関連付ける必要がありますが、多くの OLAP はこのシナリオでパフォーマンスに重大な問題を抱えているため、さまざまな OLAP ライブラリがこのシナリオに対応していないことは前述しました。 Data Serving クエリに対応する開発には Mysql データベースが使用されますが、バージョン 2.0 以降では、ビジネス規模が小さい場合は、Hbase などの追加コンポーネントを導入する必要がなく、狭い範囲で特定のポイントのクエリ要件をサポートできます。複雑なテクノロジースタックを削減し、メンテナンスコストとデータの冗長ストレージを削減します。

ここでの原則には、キャッシュの最適化、行ストレージ形式、ポイントクエリのショートパスの最適化、ステートメントの前処理、行キャッシュなどが含まれます。これは自分で理解する必要があります。大規模な運用環境でこの機能を使用する場合は、基本原則と運用のベストプラクティスを理解する必要があります。

ログ分析シナリオ

Doris バージョン 2.0 では、「転置インデックス」や「半構造化データ型」などのいくつかの機能が導入されています。ES に詳しくない場合は、上記の 2 つの単語を理解する必要があります。

その前は、ログシステム (FileBeat、Logstash、Kafka、Kibana) をサポートするために ELK ファミリバケットを大規模に使用していましたが、ES DSL についても理解する必要がありました。システムが大規模でない場合、使用コスト、運用コスト、メンテナンスコストが発生していました。上記のコンポーネントの導入により、高速化は非常に複雑ですが、ES の読み書きの安定性などの問題も解決する必要があります。

Doris 2.0 バージョン以降では、いくつかのシナリオで Doris に基づいた、低コストで使いやすい ELK システムの簡易バージョンの作成を試みることができます。さらに、Doris は標準 SQL をサポートし、MySQL プロトコルとの高い互換性を備えています。非常に簡単にログ分析を実行できます。

温冷分離

バージョン 2.0 の重要な機能は、ホットとコールドの分離です。ホットとコールドの分離は、ビッグデータの分野では非常に重要な概念です。実際、Doris が登場する前は、ビッグデータの分野の多くのコンポーネントが、ES のフラグメント割り当て戦略を使用するよく知られた Elasticsearch などのコールドとホットの分離ストレージをサポートしていました。指定されたノードルーティングにより、コールドデータストレージとホットデータストレージを個別に実現できるため、ホットデータノードはすべての新しい入力データを処理し、ストレージ速度も高速になり、高速なデータ収集と取得が保証されます。コールドノードはストレージ密度が高く、データを長期間保持できるため、コストが大幅に削減されます。

Doris は、動的パーティション機能を使用して、テーブルパーティションのライフサイクルを管理することもできます。ホットデータが冷却されるまでの時間とストレージメディアの識別を設定することで、バックグラウンドタスクが自動的にホットデータを SSD から HDD に冷却し、ユーザーがストレージコストを最小限に抑えることができます。料金。

これは、大規模なビジネスとデータを扱うシナリオではほぼ必須の操作です。

湖倉総合フィールド

Doris は、Hive、ES などの非常に初期のバージョンでさまざまな異種データソースのマッピングをサポートしていました。バージョン 2.0 では、レイクテーブルの範囲が拡張され、Hudi、Iceberg、および Paimon のサポートが追加されました。。これは大きな変更であり、レイクテーブルを Doris に簡単にマップしてクエリを高速化できるようになり、データフェデレーションのクエリと分析のシナリオが大幅に進歩しました。