Tuoshupai の主力製品である PieCloudDB は、最先端のデータ ウェアハウス仮想化テクノロジーを採用し、企業向けに高セキュリティ、高信頼性、高度なオンラインの「強固な」クラウドネイティブ仮想データ ウェアハウスを構築します。このシリーズの記事では、PieCloudDB Database の最新の開発と新機能を紹介します。
関連動画：リンク
製品トライアル: https://app.pieclouddb.com
コンピューティング リソースとネットワーク リソースが豊富にあるため、コンピューティング プラットフォームは、メインフレーム時代、PC 時代、そして今日のクラウド時代に至るまで、3 世代にわたるプラットフォームの変化を経験してきました。3 番目の変革では、サーバー仮想化技術の進歩により、クラウド コンピューティングの時代が到来しました。
3 世代にわたるコンピューティング プラットフォームの変化
クラウドによってもたらされる恩恵を最大限に活用するために、Tuoshupai はクラウド時代の新しいデータベース管理プラットフォームである PieCloudDB を作成しました。PieCloudDB は、ユーザー データ、メタデータ、コンピューティング エンジンの 3 つの論理コア コンポーネントを分解し、クラウド上で再構築します。このストレージとコンピューティングの分離アーキテクチャは、クラウド上で高い弾力性をもたらし、高い耐障害性と、ソフトウェアとハードウェアを分離する高いオンライン機能を備えています。ユーザーは、自分のニーズに応じて、オンデマンドでストレージやコンピューティング リソースを柔軟に拡張できます。
データ ウェアハウスのクラウドネイティブ仮想化テクノロジーの画期的な進歩がデータ コンピューティングの時代をリード
2022 年 10 月 24 日以降、Tuosupai は PieCloudDB コミュニティ エディション、エンタープライズ エディション、オールインワン バージョンを連続してリリースしました。3 月 14 日の π デーに、Tuosupai は PieCloudDB の新バージョン、Cloud on Cloud をリリースしました。これまで、PieCloudDB はベア ハードウェア、プライベート クラウド、パブリック クラウドの 3 つの導入方法を完全にサポートしてきました。
PieCloudDBのさまざまな導入方法
新しいバージョンでは、PieCloudDB はデータ ウェアハウスのクラウド仮想化を完全に実現します。クラウド ネイティブ データ ウェアハウス仮想化は、従来の MPP データベースの多くのボトルネックを突破し、クラウド上で新しい eMPP アーキテクチャを実現し、複数のクラウド ネイティブ仮想データ ウェアハウスの同時実行を可能にします。データアイランドの破壊、第 2 レベルの拡張と縮小、リソースの動的な割り当て、オンデマンドの支払いなど、クラウド上の新しいアーキテクチャによって提供される多くの利益を得るために。
PieCloudDB はクラウド上に eMPP アーキテクチャを実装します
新しいバージョンは多くの新機能を実装し、あらゆる面でパフォーマンスと安定性が向上し、 PieCloudDB を真に「壊れない」強固なものにしています。
- 集計プッシュダウン機能が強化されました
データベースの分析シナリオでは、多くの場合、多数の集計操作が行われます。PieCloudDB が実装する集計プッシュダウン機能は、接続操作の前に実行される集計操作をプッシュすることで、接続操作で処理するデータ量を大幅に削減し、クエリのパフォーマンスを大幅に向上させることができます。
テスト後、集約プッシュダウンにより、一部の複雑なクエリ アプリケーション シナリオでは、PieCloudDB がほぼ 100 倍、さらには 1000 倍も改善されました。
集約プッシュダウン関数
- ブロックファイルスキップの最適化
PieCloudDBのユーザーデータは、行と列が混在したデータ形式でオブジェクトストレージに保存されます。同時に、PieCloudDB はブロック ファイルをストレージ ユニットとして使用します。ブロック ファイルは、効率的な圧縮を実現し、ストレージ スペースを節約するために列に格納されます。新しいバージョンの PieCloudDB に実装されたブロック ファイル スキッピング最適化メカニズムは、データベースがクエリ ステートメントを実行するときに各ブロック ファイルの列集計情報を事前に計算し、クエリ ステートメントを実行します。不要なデータ ブロックがスキップされるため、読み取られるデータ量が削減され、クエリのパフォーマンスが向上します。
PieCloudDB 行と列の混合ストレージ
- 極めて高速な分析を実現
「分析」操作は、データベース テーブルの内容を分析し、各テーブルの各列の値の分布に関する統計を収集します。データベース クエリ エンジンはこれらの統計を使用して、最適なクエリ プランを生成します。
ほとんどのデータベース システムでは、分析は手動で実行されるか、AUTO VACUUM によって自動的に実行されることが多く、大量のデータを含む大きなテーブルに対するクエリには時間がかかりすぎます。
新しいバージョンでは、PieCloudDB は非常に高速な分析を実装しており、データが変更されたときに自動的に分析を完了し、より正確なクエリ プランニング統計をタイムリーに生成できます。
- 新しいキャッシュメカニズム
メタデータに関しては、PieCloudDB はメタデータ レイヤーに新しいキャッシュ メカニズムを実装します。これにより、メタデータ サーバーへのアクセスによって生じるネットワーク通信のオーバーヘッドとメタデータ サーバーの負荷が効果的に削減され、メタデータ アクセスの速度が向上します。
- 高速ETL/ELTおよび外部データソースのクエリをサポート
新しいバージョンでは、PieCloudDB は Kafka ストリーミング データのインポートをネイティブにサポートします。コピー操作は元の単一ノードからクラスター全体へ最適化され、クラスターのサイズに比例してパフォーマンスが大幅に向上します。
さらに、新しいバージョンでは、PieCloudDB が外部データ ラッパー モジュールをサポートし、ユーザーが HDFS、MySQL などを含む (ただしこれらに限定されない) データ ソースにアクセスできるようになります。同時に、PieCloudDB は、ユーザーが新しいストレージ データ ソースにアクセスするためのモジュールを開発することをサポートします。
これら 5 つの主要な最適化に加えて、PieCloudDB の新しいバージョンのカーネルには次の機能も実装されています。
- 可観測性の向上
- 真空の最適化
- HDFS/NAS システムでネイティブ ストレージ形式をサポート
- オープンソースのオプティマイザー Orca のサポート
- オープンソースの機械学習ライブラリ Madlib のサポート
- 非常に大きなデータ量のフィールドのサポート
…。
その他多くの最適化。
PieCloudDB は、新しいストレージ エンジン JANM を作成しました。Jianmo は、PieCloudDB の行と列の混合ストレージのストレージ形式を生き生きと説明している「Bamboo Slips and Ink Book」から来ています。
PieCloudDB の新しいバージョンでは、ストレージ エンジン JANM が以下を実装します。
- JANM分散処理の強化
- JANM はファイルを動的に割り当てて読み取り、ディスパッチのパフォーマンスを向上させます
- JANM例外処理の最適化
…。
など多くの機能があります。
PieCloudDB クラウドネイティブの管理および制御プラットフォームは、以下を含めて完成しました。
- ユーザー権限の最適化
- 登録オプションが追加されました
- データ洞察の最適化
- データインポートの最適化
- 外部アクセスはより多くのタイプをサポートします
…。
その他多くの最適化。
PieCloudDB は引き続き反復して前進します。https: //app.pieclouddb.comにアクセスして、クラウド オン クラウド バージョンを試してください。また、QR コードをスキャンして技術コミュニティに参加し、一緒に作業できることを楽しみにしています。