Databend オープンソース週刊第 107 号

Databend は、最新のクラウドデータウェアハウスです。柔軟性と効率性を考慮して設計されており、大規模な分析ニーズに応えます。無料でオープンソース。クラウドサービスを今すぐ体験してください: https://app.databend.cn。

データベンドの内容

今週は Databend の新たな進歩を探索し、あなたの心にもっと近い Databend を見つけてください。

接続パラメータについて

接続パラメータは、 Databend によってサポートされる外部ストレージサービス (Amazon S3 など) への接続を確立するために必要な認証情報と構成情報のセットです。これらのパラメーターはかっこで囲まれ、コンマまたはスペースで区切られた一連のキーと値のペアで構成されます。ステージの作成時COPY INTOや外部ファイルのクエリ時に使用されます。

次の SQL ステートメントは、接続パラメーターを使用して、基盤となるストレージとして S3 を持つステージを作成する方法を示しています。

CREATE STAGE my_s3_stage
URL = 's3://load/files/'
CONNECTION = (
    ACCESS_KEY_ID = '<your-access-key-id>',
    SECRET_ACCESS_KEY = '<your-secret-access-key>'
);

さらに詳しく知りたい場合は、以下にリストされているリソースを参照してください。

ドキュメント | SQL リファレンス - 接続パラメータ

Hive カタログはストレージパラメータの構成をサポートします

先週、Databend は Hive Catalog のストレージパラメーターオプションを導入し、Default Catalog 独自のストレージバックエンドに依存せずに特定のストレージサービスを構成できるようにしました。

次の例は、基盤となるストレージサービスとして MinIO を使用して Hive カタログを作成する方法を示しています。

CREATE CATALOG hive_ctl 
TYPE = HIVE 
CONNECTION =(
    ADDRESS = '127.0.0.1:9083' 
    URL = 's3://warehouse/' 
    AWS_KEY_ID = 'admin' 
    AWS_SECRET_KEY = 'password' 
    ENDPOINT_URL = 'http://localhost:9000/'
)

さらに詳しく知りたい場合は、以下にリストされているリソースを参照してください。

コードコーナー

Databend とその周囲のエコシステムのコードスニペットまたはプロジェクトを調べてみましょう。

`gitoxide`Git 依存関係のダウンロードを高速化する

gitoxideは、Rust で書かれた高性能の最新の Git 実装です。cargoの機能 (不安定)を使用すると、代わりに crategitoxideを使用してさまざまな git 操作を実行でき、crates-index と git の依存関係をダウンロードする際のパフォーマンスが数倍向上します。gitoxidegit2

Databend は最近、の CI でcargo {build | clippy | test} この機能を有効にしました。-Zgitoxideローカルで開発するときにオプションを追加して、ビルドプロセスを高速化することもできます。

cargo -Zgitoxide=fetch,shallow-index,shallow-deps build

さらに詳しく知りたい場合は、以下にリストされているリソースを参照してください。

ハイライト

ここでは、興味深いと思われる注目のイベントをいくつか紹介します。

この句は、と一緒に使用せずにSELECT単独で使用することもできますVALUES。
列を変更するときのデフォルト値の変更のサポート。
Parquet 形式のテーブルの仮想列サポートを追加
書き込み操作後のテーブルの自動再クラスタリングのサポート (COPY INTOおよび)REPLACE INTO

次は何だろう

私たちは最先端のテクノロジーや革新的なアイデアを常に受け入れており、コミュニティに参加して Databend に命を吹き込むことを歓迎します。

`infer_schema`ファイルパスをサポートする機能の強化

現在、Databend は、ファイルパスが指すファイルとステージ内にあるファイルの両方のクエリをサポートしています。次に例を示します。

select * from 'fs:///home/...';
select * from 's3://bucket/...';
select * from @stage;

ただし、現在はinfer_schemaステージにあるファイルの処理のみをサポートしています。

select * from infer_schema(location=>'@stage/...');

他のパスにあるファイルが推論に必要な場合は、エラーが報告されます。

select * from infer_schema(location =>'fs:///home/...'); -- this will panic.

infer_schema私たちは関数の動作を統一し、すべての場所にあるファイルを推測できるようにして、関数をより使いやすくしたいと考えています。

問題 #12458 | 機能:infer_schema通常のファイルパスをサポート

このトピックに興味がある場合は、問題のいくつかを解決してみたり、ディスカッションや PR レビューに参加したりできます。あるいは、https://link.databend.rs/im-feeling-luckyをクリックして、ランダムな質問を選択することもできます。頑張ってください。

変更履歴

Databend の毎日のビルドの変更ログにアクセスして、開発に関する最新情報を入手してください。

アドレス: https://github.com/datafuselabs/databend/releases

貢献者

今週も素晴らしい仕事をしてくれた寄稿者に感謝します。

私達と接続

Databend は、オープンソースで柔軟かつ低コストの新しいデータウェアハウスであり、オブジェクトストレージに基づいてリアルタイム分析も実行できます。皆様のご注目をお待ちしております。クラウドネイティブのデータウェアハウスソリューションを一緒に探索して、新世代のオープンソースデータクラウドを作成しましょう。