新しいバージョンのFluid0.3が正式にリリースされました：クラウドネイティブシナリオのユニバーサルデータアクセラレーションの実現

はじめに： ビッグデータやAI、南京大学PASALab、Alibaba、Alluxioなどのデータ集約型アプリケーションのクラウドネイティブコンピューティングおよびストレージ分離シナリオにおける、高いデータアクセス遅延、共同分析の難しさ、および複雑な多次元管理の問題を解決するため2020年9月、オープンソースプロジェクトFluidが共同で開始されました。

ヘッドpicture.png

著者| Gu Rong Nanjing University PASALab

はじめに：クラウドネイティブコンピューティングとストレージ分離シナリオでのビッグデータやAIなどのデータ集約型アプリケーションでの高いデータアクセス遅延、共同分析の難しさ、複雑な多次元管理の問題を解決するために、南京大学PASALab、Alibaba、Alluxioが2020年9月、オープンソースプロジェクトFluidが共同で開始されました。

Fluidは、クラウドネイティブ環境でのデータ集約型アプリケーションの効率的なサポートプラットフォームです。プロジェクトのオープンソースリリース以来、関連分野の多くの専門家やエンジニアの注目を集めています。コミュニティの開発は、すべての人からの肯定的なフィードバックの下で急速に進んでいます。最近、Fluid 0.3が正式にリリースされ、次の3つの重要な機能が追加されました。

一般的なデータストレージアクセラレーションを実現し、Kubernetesデータボリュームアクセスアクセラレーション機能を提供します
データアクセスのセキュリティ保護を強化し、データセットにきめ細かい権限制御機能を提供します
ユーザーの複雑なパラメーターの構成を簡素化し、ネイティブシステムの内部パラメーター構成の最適化機能を提供します

流動的なプロジェクトのアドレス：https：//github.com/fluid-cloudnative/fluid

これらの3つの主要な機能の開発要件は、多くのコミュニティユーザーの実際の生産フィードバックから得られます。さらに、Fluid v0.3は、いくつかのバグ修正とドキュメントの更新も実行しました。Fluidv0.3を体験してください。このバージョンに貢献してくれたコミュニティパートナーに感謝します。Fluidプロジェクトの開発を促進するために、コミュニティの提案に従い、採用していきます。皆様からのフィードバックをお待ちしております。

流体v0.3をダウンロードリンク：https://github.com/fluid-cloudnative/fluid/releのAS

以下は、この新しいバージョンリリースの機能の詳細です。

1.Kubernetesデータボリュームアクセスアクセラレーションをサポート

以前のバージョンのFluidはすでに多くの基盤となるストレージシステム（HDFS、OSSなど）をサポートしていますが、実際の実稼働環境では、企業の内部ストレージシステムはより多様であることが多く、互換性のないストレージシステムのためにFluidをドッキングできない状況が依然として存在します。たとえば、ユーザーがLustre分散ファイルシステムを使用している場合、以前のFluidで使用されていた分散キャッシュエンジンはLustreシステムと互換性がないため、ユーザーは通常のFluidを使用できなくなります。

クラウドネイティブのデータアクセスアクセラレーションシナリオでFluidの汎用性を向上させるために、Fluid v0.3。は、データボリュームの永続ボリュームクレーム（PVC）とホストディレクトリ（ホストパス）のマウントのアクセラレーションサポートを追加し、さまざまなストレージシステムにFluidのドッキングは、一般化された高速化ソリューションを提供します。使用されている基盤となるストレージシステムに関係なく、ストレージシステムをKubernetesネイティブデータボリュームPVCリソースオブジェクトまたはクラスターノード上のホストディレクトリにマップできる限り、パスできます。 Fluidは、分散データキャッシングやデータアフィニティスケジューリングなどの機能機能によってもたらされる利点を享受しています。基本的な概念を次の図に示します。

具体的な使用方法は非常に簡単です。ユーザーはmountPointでpvc：// nfs-imagenetを指定するだけで済みます。ここで、nfs-imagenetはKubernetesクラスターの既存のデータボリュームです。

apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: fluid-imagenet
spec:
  mounts:
  - mountPoint: pvc://nfs-imagenet
    name: nfs-imagenet

[クリックしてシステムのデモビデオを表示]

TensorFlow Benchmarkを使用して、PVCアクセス加速能力を検証するためのテストシナリオとしてResNet-50モデルをトレーニングしました。速度向上の結果は次のとおりです。

評価結果から、Fluidが提供する分散キャッシュ機能により、トレーニングタスク全体の速度が向上し、全体的なトレーニング時間が20％以上短縮されます。テストの詳細については、Githubの関連するサンプルドキュメントを参照してください。

PVCアクセラレーションドキュメント：https：//github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/accelerate_pvc.md
ホストディレクトリアクセラレーションドキュメント：https：//github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/hostpath.md

2.データセットのアクセス制御

機械学習プラットフォームサービスを提供する多くの企業は、マルチユーザー共有ストレージシステムとシナリオを持っています。セキュリティ上の理由から、機械学習プラットフォームのサービスプロバイダーは、ユーザー間のデータ分離を確実にするために厳密なアクセス制御を実装する必要があります。つまり、許可されていないユーザーが他の人のデータセットに自由にアクセスすることは許可されません。

Fluidは、v0.3で上記のシナリオをサポートします。複数のユーザーが共有する基盤となるストレージシステムがFluidにマウントされた後、Fluidによって公開されるファイル許可情報（ユーザー、ファイルモードなど）は、基盤となるストレージシステムと一致します。、これは、基盤となるストレージシステムからFluidが展開されているノードへのファイルの透過的な送信を実現します。これは、基盤となるストレージシステムのアクセス制御が、Fluidが展開されている各ノードでも有効になり、ユーザー間のデータ分離が破壊されないようにすることを意味します。

さらに、Fluid v0.3は、データセットの「一時的な借用」機能も提供します。「一時的な借用」とは、ユーザーが別のユーザーのデータセットに一時的にアクセスする必要があることを意味します。Fluid v0.3では、管理者は、Fluidが展開されているノードでデータセットの所有権の変換を柔軟な構成で完了できるため、指定されたユーザーは他のユーザーからデータセットを「一時的に借用」できます。これにより、クラスター管理者はより詳細な情報を得ることができます。きめ細かく柔軟なデータセット権限管理。

ルート以外のユーザーデータにアクセスするためのドキュメント：https：//github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/nonroot_access.md

3.デフォルトのパラメーター構成の最適化

Fluidは、ユーザーが独自のアプリケーションをカスタマイズするための多くのパラメーター構成を提供します。Fluid0.3バージョンより前は、ユーザーは実際の環境とビジネス目標に従って完全に手動構成を実行する必要があります。ただし、ほとんどのユーザーが構成の最適化を手動で完了することは困難です。重い作業負荷。

Fluid v0.3には、AlluxioやFuseなどの内部コンポーネント用のデフォルトのパラメーター構成の最適化が多数組み込まれています。ユーザーはパラメーター構成の最適化に集中する必要がなくなりました。私たちの経験に基づいて最適化されたデフォルトのパラメータ設定は、最も一般的な流体使用シナリオでより良いパフォーマンスを達成できます。

総括する

Fluid v0.3は、主に実際の実稼働環境におけるコミュニティユーザーの問題とニーズを解決します。ホストディレクトリとPVCマウントのサポートにより、基盤となるさまざまなストレージシステムとの互換性のためのユニバーサルソリューションが提供されます。データセットのアクセス制御により、Fluidは、複数のユーザーが共有する実際の実稼働環境のニーズを真に満たすことができます。最適化されたデフォルトパラメータ設定により、Fluidの使いやすさが向上し、ほとんどのシナリオで安定したパフォーマンスが維持されます。

ご不明な点がございましたら、DingTalk交換グループに参加してご参加ください。https：//img.alicdn.com/tfs/TB1Cm4ciNvbeK8jSZPfXXariXXa-452-550.png

ありがとう

Kubernetesデータボリュームアクセスアクセラレーションのサポートに貢献してくれたZhihaoXuとYiliLuo（PASALab、南京大学）に感謝します
データセットの許可管理機能に貢献してくれたLuDongdongとXieYuandong（Yun Zhisheng）に感謝します。

著者について

南京大学コンピュータサイエンス学科准教授、大規模データ処理システムの研究指導者であるRong Gu Ph.D.は、TPDS、ICDE、JPDC、IPDPS、 ICPPなどの分野の最前線に立つジャーナルに掲載され、中国国立自然科学財団/青年を主宰しました。多くのプロジェクトとChinaPostdoctoral Science Foundationの特別資金によるプロジェクト。調査結果は、Alibaba、Baidu、ByteDance、Sinopec、Huatai Securitiesなどの企業、およびオープンソースプロジェクトのApache Spark、Alluxioに適用され、2018 Jiangsu Science and Technology FirstClassを受賞しました。賞、2019年江蘇コンピュータ協会の若手科学技術賞、中国コンピュータ協会のシステムソフトウェア委員会/ビッグデータ委員会の通信委員会のメンバー、江蘇コンピュータ協会のビッグデータ委員会の事務局長、Fluidオープンソースプロジェクトの共同創設者、 PMC、Alluxioオープンソースプロジェクトのメンバー。

「アリババクラウドネイティブなmicroservices、サーバーレス、コンテナ、およびサービスメッシュなどの技術分野に焦点を当て、クラウドネイティブ人気のある技術の動向に焦点を当て、およびネイティブの大規模な着陸プラクティスをクラウド、クラウドネイティブについての最もよいの知っている開発者のための公式アカウントです。」

元のリンク：https ：//developer.aliyun.com/article/775708？

著作権に関する声明： この記事の内容は、Alibaba Cloudの実名登録ユーザーによって自発的に提供されています。著作権は元の作成者に帰属します。AlibabaCloud開発者コミュニティはその著作権を所有せず、対応する法的責任を負いません。特定の規則については、「Alibaba Cloud DeveloperCommunityユーザーサービス契約」および「AlibabaCloudDeveloperCommunity知的財産保護ガイドライン」を参照してください。このコミュニティで盗難の疑いがある場合は、侵害の申し立てフォームに記入して報告してください。確認が完了すると、コミュニティは侵害の疑いのあるコンテンツをすぐに削除します。