2023年中国オープンソース未来発展サミットは5月13日に成功裡に開催された。カンファレンスのオープンソース ネイティブ ビジネス サブフォーラムでは、Kyligence ソリューション アーキテクチャのシニア ディレクターである Zhang Xiaolong 氏が「クラウド ネイティブ ビッグ データベースの進化」について基調講演を行い、オープンソースの開発に関する彼の見解を世界に紹介しました。講演内容は以下の通りです:
みなさん、こんにちは。このスピーチは 3 つの部分で構成されています。
最初の部分の内容は、私の個人的な経験と、私が見聞きしたことから生み出された考えに基づいており、オープンソースの開発に関する私の見解の一部を話します。
2 番目の部分では、基本的な主要なコア技術が新たな開発の機会を得るだろうと私が考える理由について話します。
最後の部分では、業界におけるデータベースの進化トレンドと、新たな開発機会に関する当社の実践例を紹介します。
最初の部分 (オープンソースに関する私の意見) では、Kyligence の過去の経験を議論として使用し、次に 3 つの観点を提示します。
1 つ目の視点は、オープンソース ソフトウェア テクノロジーとその商用化が、さまざまな分野でデジタル トランスフォーメーションを推進する重要な原動力であるということです。
まず、Apache Kylin と Kyligence を紹介します。
Apache Kylin™ は、オープンソースの分散分析データ ウェアハウスです。
Apache Kylin の創設チームによって 2016 年に設立された Kyligence は、ビッグデータ分析およびインジケーター プラットフォームの大手プロバイダーです。
多くの企業ロゴを見たことがあると思いますが、現在、世界中の 1,500 社以上の企業が、デジタル運用、分析、意思決定における問題点を解決するために Apache Kylin および Kyligence 商用製品を使用しています。企業の豊富な実践により、オープンソースの開発と商業化が常に推進されており、同時に、オープンソースと商業化は、より多くの分野でデジタル変革を推進しています。
Apache Kylin と Kyligence の開発は比較的成熟していますが、これは無数のオープンソースとオープンソースの商業化勢力の 1 つにすぎません。オープンソースとその背後にある商業化は、さまざまな分野でデジタル変革を推進する重要な勢力です。これは非常に重要であり、これらの力を精力的に発展させることが重要です。
2 番目の観点は、オープンソース ソフトウェアの生態学的繁栄は、デジタル経済の精力的な発展によってもたらされる波及効果に依存しているということです。
なぜなら、デジタル経済には、デジタル産業化と産業デジタル化という 2 つの部分が含まれるからです。
まず、デジタル産業化により高度な技術と多くの人材を確保し、業界の発展をゼロサムゲームから協調発展へ移行させることが、オープンソース発展の基本条件となる。
さらに、デジタル産業化によって生み出される技術と人材は、産業のデジタル化のプロセスにおいて大きな役割を果たします。伝統的な産業のデジタル変革は、オープンソース プロジェクトを利用し商業化をサポートすると同時に、持続可能な開発の勢いをオープンソースに注入することで変革のペースを加速できます。
このタイムラインから Apache Kylin と Kyligence の開発プロセスを観察すると、この点がよく証明されると思います。2015 年以前、Kylin プロジェクトは eBay で開発され、その後 Apache Foundation に寄付されました。これはデジタル産業化のプロセスであり、その後、産業デジタル化の急速な進展に伴い、伝統産業のデジタル変革がキリジェンスの商業的発展を支え、キリジェンスにパワーと活力を注入し、産業デジタル化へのさらなる貢献を可能にしました。2016 年以来、キリジェンスは推進する重要な力となっています。オープンソース Kylin の進化に貢献し、その後、Byzer と Gluten という 2 つのオープンソース プロジェクトに貢献しました。私の意見では、オープンソースエコシステムの繁栄に影響を与える根本的な要因は、デジタル経済とビジネス環境の発展レベルであり、長期主義、協力、ウィンウィンを堅持する必要があります。
3 番目の観点は、オープンソース ソフトウェア エコシステムによる社会的価値の創造には、特に長期的な計画的かつ組織的な投資が必要であるということです。
Github はホストされているオープンソース プロジェクトに基づいて毎年調査と分析を行っており、最新の結論は注目に値します。報告書では、ほぼすべての大規模なオープンソース プロジェクトがテクノロジー企業によって主導および維持されており、そのほとんどがフレームワーク、コンパイラー、プログラミング言語などの主要な基本テクノロジーであると述べています。最も多くの貢献者がいるほぼすべてのオープンソース プロジェクトには、商業的なサポートが付いています。
Kyligence を例に挙げると、現在 Kyligence が主導している Apache Kylin 以外の 2 つのプロジェクトも良好な成果を上げています。
Byzerは、データとAIのローコード開発プラットフォームで、商用サポートを提供しているため、金融業界のオープンソースコントリビューターも深く関与しており、現在、金融業界をはじめとする業界のプロダクションビジネスに適用されています。
Gluten はベクトル化されたコンピューティング エンジンであり、その目標はネイティブ Spark と比較してコンピューティング パフォーマンスを数倍向上させることです。Apache Spark は、ビッグ データの分野で最も広く使用されているオープンソースの分散コンピューティング エンジンの 1 つであるため、Gluten は、パフォーマンスの向上とクラウド コンピューティングの柔軟性を通じて、既存の Spark ユーザーの IT コンピューティング能力の投資収益率を向上させることに取り組んでいます。ユーザーのコスト。
第二部では、中国がデジタル中国構築の大戦略を打ち出す中、データテクノロジーがどのような新たな発展の機会を得るのかに特に注目し、議論していきたいと思います。
デジタル中国建設計画は野心的で体系的かつ包括的であり、基礎的主要技術の開発を促進する最も重要な側面は、「2522」枠組みの「2つの基盤」の1つであり、デジタル統合の重要な戦略であると考えています。インフラストラクチャー。近年精力的に展開されている「東のデジタルと西のコンピューティング」プロジェクトを例に挙げると、一般データセンター、スーパーコンピューティングセンター、インテリジェントコンピューティングセンター、エッジデータが多数配置されている。センターを設立し、「異種コンピューティング能力の融合、クラウドネットワーク統合、マルチクラウドスケジューリング、東西コラボレーション、データセキュリティ循環...」と一連の開発要件を提案し、明らかに人工知能などの基礎技術の革新を促進します。インテリジェンス、ビッグデータ、クラウド コンピューティング、およびそれらの統合と共同アプリケーションは、将来の開発の重要な方向性となります。
「東のデジタルから西のコンピューティングへ」プロジェクトでは、10 の国家データセンター クラスターを含む、国内に 8 つの国家コンピューティング パワー ハブ ノードがあります。重慶クラスターと成都・重慶ハブは重要なコンピューティング能力であり、重慶の関連産業には非常に良い発展の機会があるだろう。
一部のコンピューティングパワー産業の発展のために最近発表された政策と措置から、サーバー、コンピューティングとストレージ、クラウドプラットフォームなどのコアソフトウェアとハードウェアに基づいた、ローカライズされたクラウドコンピューティングとビッグデータプラットフォームの開発が見られます。これにより、人工知能、ビッグデータ、クラウドコンピューティングなどの基礎技術の革新と開発がさらに促進され、これは非常にまれな開発機会となります。
上記の機会に直面して、私たちは、ビッグデータ、人工知能、クラウド ネイティブ テクノロジーの組み合わせが、上記の機会を満たすための良い出発点であると信じています。第 3 部では、関連する実践的な経験を皆さんと共有します。
Alibaba Cloud や Databricks などの国内外の大手企業がクラウドネイティブ アーキテクチャのデータ レイクとレイク ウェアハウスの統合開発を推進しているのを私たちは見てきましたが、Kyligence の実践経験と組み合わせると、Hadoop の次はクラウドネイティブ Kubernetes になると考えています。技術的には、Spark、Flink、その他のストリーミングおよびバッチ コンピューティング テクノロジを統合コンピューティング エンジンとして、Hucang を統合ストレージ コアとして使用して、新世代のビッグ データベースを形成します。これにより、データ スタックの複雑さが大幅に簡素化され、構築されます。ローコードかつ低しきい値のデータ アプリケーションが将来の一般的なトレンドになります。
この傾向に対応するために、Kyligence は 、ベクトル化されたコンピューティング テクノロジーを使用し、Spark エコロジカル アプリケーションと互換性のある Hucang エンジンを立ち上げました。これは、 Hucang プラットフォームの運用をサポートする高性能、俊敏性、柔軟性に優れたオープン エンジンになります。
現在、ユーザーはこのテクノロジーを Kubernetes コンテナ クラウドに導入して試すことができ、ベクトル化された Spark のコンピューティング パフォーマンスがネイティブ Spark と比較して 2 倍になり、コンピューティング コストが 50% 削減されることを体験できます。
このテクノロジーはオープントライアルの段階にあり、すでに一部の企業ユーザーがパブリック クラウド上のオフライン コンピューティングのコスト削減や Hadoop クラスターのコンピューティング パフォーマンスの向上のためにこのテクノロジーを使用してみて、良好な結果を達成しています。いくつかのシナリオ。
次に、5 分間のデモ ビデオを再生して説明します: 1. Hucang エンジンのデプロイ方法、2. ネイティブ Spark とのパフォーマンスの比較方法、3. ユーザーが新しいエンジンを使用してカスタム SQL、クエリ、またはクエリを実行する方法定義されたデータの処理; 4. ユーザーが計算エンジンのカスタム バージョンを迅速に追加し、コストを Hucang エンジンと比較するにはどうすればよいですか。
将来的には、ベクトル化された Spark エンジンのパフォーマンスと互換性をさらに強化し、さまざまな Spark アプリケーションとの接続と連携を強化する予定です。クラウド ネイティブ テクノロジーと完全に統合されているため、エンジンの弾力性、機敏性、パフォーマンスが向上し、コンピューティングのエネルギー効率が大幅に向上し、コンピューティング コストが大幅に削減され、オープン戦略を通じて、信頼性が高く持続可能なサポートをユーザーに提供します。
- 弾力性の点では、リソースはオンデマンドでアクセスされ、負荷は非常に迅速に拡張でき、リソースは高度に分離されます。
- 高性能の点では、ベクトル化コンピューティングの演算子がさらに強化され、一般的なコンピューティング プラットフォームと互換性があり、コンピューティングの高速化のための複数のアーキテクチャを備えたチップの使用がサポートされます。
- 俊敏性の点では、さまざまな場所で実行される異種コンピューティング プラットフォームをサポートし、マルチクラウドとクロスクラウドをサポートします。
- オープン性の観点では、私たちは常にインターフェイス標準をオープンにし、Spark標準インターフェイスと常に互換性を持ち、Sparkエコシステム内の他のテクノロジーと統合し、ローカリゼーションとレター作成要件を引き受け、企業や企業と協力しながらコアソースコードをオープンし、サポートします。企業はコア基本技術の独立した制御を実現し、ソフトウェアサプライチェーンの信頼性と信頼性を確保します。
次に、TPC-H シナリオにおける Kyligence Hucang エンジンと Apache Spark のテスト レポートを共有します。ベクトル化された Spark エンジンのパフォーマンスが向上し、コンピューティング リソースの半分が節約され、使用コストが削減されたことがわかります。ユーザーにとっては 50% です。彼の商品化を支援することを決定して以来、キリジェンスは、さらに速いペースで技術を進歩させるためにリソースを倍増させています。当初コンピューティング エンジンとして Spark を使用していたより多くのユーザーが Kyligence Hucang エンジンを使用して、使用コストを削減し、より良いユーザー エクスペリエンスを得ることができることを願っています。この新しいテクノロジーの進歩を促進し、価値を生み出すために協力してくださる皆様を歓迎します。
画面上の QR コードをスキャンしたり、Kyligence をフォローしたり、Hucang エンジンのトライアル コミュニケーション グループに参加したり、さらにコミュニケーションを図るために私の個人的な WeChat を追加したりすることができます。今日の共有はこれで終わりです。皆さんありがとうございました。
カンファレンスの主催者からのご招待に改めて感謝し、私たちは中国のオープンソース産業の持続可能な発展とデジタル中国の構築に貢献するために、喜んで協力してまいります。
Kyligence Hucang エンジンを無料で試すことに興味のあるリスナーは、QR コードをスキャンするか、リンクをクリックして関連情報を入力してください。送信後、Kyligence Hucang Engine の無料トライアル リンクをメールに送信します。
