オープンソースのコンテナ オーケストレーション エンジンである Kubernetes は、2014 年のリリース以来、開発者に愛されてきました。これほど大きな成功を収めるとは誰も考えていませんでした。今日、クラウドネイティブ技術開発の波の中で、Kubernetes は、コンテナ オーケストレーションの分野における事実上の標準であり、クラウドネイティブの分野における重要なプロジェクトとして、クラウドネイティブの標準構成になっています。
— 1 —
Kubernetes の結果: コンテナー レイアウトの市場パターンを書き換える
Kubernetes に関して言えば、Docker を回避することはできません。
2010 年に、dotCloud と呼ばれる会社が、Google が立ち上げた Go 言語に基づいて一連の内部ツールを開発し、後に Docker と名付けられました。アプリケーションを開発、公開、実行するためのオープン プラットフォームとして、Docker の人気は急速に高まり、Google、Microsoft、Amazon などの大手企業でさえ支持されています。
しかし、事業規模が徐々に拡大し、コンテナの数が増えるにつれ、これらのコンテナをどのように調整し、スケジュールするかという新たな問題が次々と発生します。サービスを中断せずにアプリケーションをアップグレードするにはどうすればよいですか? アプリケーションの状態を監視するにはどうすればよいですか? コンテナ内のプログラムをバッチ再起動する方法...
これらの問題を解決するために必要なのは、コンテナ オーケストレーション テクノロジです。これは、多くのマシンを抽象化し、複数のコンテナを展開、管理、監視し、実際の PaaS プラットフォームとして機能して、ユーザーが独自のコンテナ アプリケーションを展開できるようにします。
コンテナ自体には「価値」がなく、価値があるのはコンテナの配置です。
そこで 2014 年頃、Docker、Mesos、Google が相次いで独自の PaaS プラットフォームをリリースし、本格的にコンテナ オーケストレーションの戦いが始まりました。
コンテナ エンジン市場で大きな成功を収めている Docker がコンテナ オーケストレーションの分野に参入するのは当然のことです。Docker は 2015 年初頭に Swarm をリリースしました。Swarm プラットフォームは、Docker エコシステムとのシームレスな統合に優れており、ユーザーは低コストで移行できます。
Mesos は 2014 年に Docker コンテナーをサポートする最初のコンテナー オーケストレーション フレームワークの 1 つになりました. その最大の利点は、重要なタスクを実行するときの成熟度です. 他のコンテナー テクノロジよりも成熟しており、信頼性が高いため、Twitter、Apple などの企業に採用されています、およびNetflixを採用。
2014 年 6 月、Google は、10 年以上にわたって厳重に秘密にされてきた Google の秘密兵器である Borg のオープン ソース バージョンとして Kubernetes をリリースしました。つまり、当初から Kubernetes は他の人が到達するのが困難な高さに達しており、各コア機能の提案は、ほぼ Google で実行されてきた Borg/Omega システムの設計と経験から生まれています。長年にわたり、オープン ソース コミュニティで実装されてきました. 最後に、コミュニティ全体の貢献のおかげで、Borg システムに残された多くの欠陥や問題が改善および修正されました.
さらに価値があるのは、Kubernetes が Borg を直接拡張するのではなく、これらの貴重な経験に基づいてゼロから設計され、歴史的な負担なしで最も高度な設計概念を採用していることです。
それは、Kubernetes が体現する独自の高度な性質と完全性であり、「未熟な」Docker テクノロジー スタックや「古い」Mesos コミュニティと比較すると、Kubernetes は遅れて登場しましたが、後発として明らかな利点があります。
2015 年 5 月には、Google での Kubernetes の検索人気が Mesos や Docker Swarm を大きく上回り、その後急上昇し、コンテナ オーケストレーション エンジンの分野における 3 本柱の時代は終わりました。
2017 年 9 月、Mesos は Kubernetes のサポートを発表しました。
2017 年 10 月、Docker は Kubernetes を正式にサポートしました。
2018 年 3 月に CNCF を正式に卒業し、コンテナ オーケストレーションの最初の兄弟の地位に就き始めました。
今日、クラウドネイティブのビッグデータの分野でさらに 2 つの画期的なイベントがあります。つまり、2021 年 3 月には Apache の Spark が Kubernetes をサポートし、同年 5 月には Kafka も Kubernetes を公式にサポートしました。 K8s をサポートするようになりました。
— 2 —
Kubernetes市場の状況: 53% 以上の企業がビッグデータ アプリケーションを Kubernetes に移行しています
Kubernetes は複雑で監視や管理が難しいソフトウェアだと思われている方も多いかもしれませんが、ここ数年で Kubernetes は目覚ましい発展を遂げ、多くの企業が利用するようになり、科学的な研究テーマから変化してきました。 IT 業界で主流のテクノロジであり、ここでの利点は欠点を完全に上回ります。
Dimensional Research の新しい調査によると、Kubernetes が主流のテクノロジになりつつあることを示す最も明確な兆候の 1 つは、デプロイされているクラスターの数が急速に増加していることです。2020 年にこの質問がされたとき、企業の 30% が 5 つ以下のクラスターを持ち、15% だけが 50 を超えるクラスターを持っていました。2022 年の調査によると、クラスター数が 5 以下の企業は 12% にすぎず、クラスター数が 50 を超える企業は 29% であり、将来の計画によれば、来年はさらに爆発的な成長が見られる可能性があります。
公式アカウントに注目して、キーワード【Clearpath】に返信して「Kubernetes Big Data Report 2022（中国語版）」をゲットしよう
Pepperdata のレポートでは、回答者の半数以上 (53%) が、「全体的な支出を削減するためにビッグデータ アプリケーションを Kubernetes に移行している」と述べています。ほとんどのビッグデータ アプリケーションは Kubernetes に移行されています。回答者の約 10% は、すべてを移行すると述べています。アプリケーションがあります。(レポートの完全な中国語版を取得するには、キーワード [Pepperdata] に返信してください)
また、2022 年春、調査会社 Clearpath Strategies の調査レポートによると、回答者の 83% が営業収入の 10% 以上を Kubernetes で実行されているデータに起因すると考えており、企業の 3 分の 1 がビジネスの生産性に気付いています。倍増しました。
企業は、リソースをより有効に活用するためにコンテナを採用しています。
Dimensional Research のレポートによると、回答者の 99% が、Kubernetes をデプロイする利点を認識していると述べています。上位 2 つの利点は変わりませんが、リソース使用率が向上し (59%)、アプリケーションのアップグレードとメンテナンスが簡素化されます (49%)。3 つ目はクラウド環境への移行の実現 (42%)、4 つ目はハイブリッド クラウド モデルの実現 (40%) です。パブリック クラウドのコストを削減することを選択した回答者の割合 (34%) も、昨年から 6 ポイント増加しました。
回答者の約 3 分の 1 が、今年追加された 2 つのオプションを選択しました。それは、運用チームのメンバーがより効率的に作業し、スキルを適用できるようにすること (32%) と、以前はサイロ化されていたチームの非効率性を排除すること (28%) です。Kubernetes は、運用を遅らせる摩擦を軽減し、IT リソースの使用率を最大化し、チームがより効率的かつ緊密に連携できるようにします。
— 3 —
Kubernetes には多くのメリットがあります: 従来のビッグデータ プラットフォームの変革
Kubernetes の開発履歴を振り返り、現在の市場状況を分析しても、K8s が企業で広く使用されていることは間違いありません。しかし、現在、国内企業が K8 を使用する場合、ほとんどがクラウド コンピューティング関連のスケジューリングを行っており、ビッグデータの分野では、企業は依然として別の複雑なシステム、つまり従来のビッグデータ プラットフォームを管理しています。
まず、企業がビッグデータプラットフォームを使用したい場合、少なくとも12台のサーバーを購入し、ビッグデータの各コンポーネントをインストールする専門家を見つける必要があります.インストール後、開発プラットフォーム、運用および保守プラットフォーム、さまざまなツールを購入する. 構築と使用のコスト、しきい値、および意思決定のリスクは比較的高い.
その後、従来のビッグデータ プラットフォームの欠点とさまざまな欠点が徐々に明らかになりました。たとえば、複数の部門がリソースの分離や制限なしにクラスターを共有し、相互にやり取りします。システムは複雑な手動展開に依存しており、運用と保守のコストが高くなります。リソースの使用率が低く、既存のデジタル ソリューションの統合が困難です。データ コンポーネントのリリース プロセスでは、顧客の独立したデータ機能を形成することはできません。
さて、このようなビッグデータプラットフォームをK8sに移行することで、上記の問題を解決できるという要件や背景から、Data on Kubernetesという言葉が出てきました。
昨年 10 月に北米で開催された KubeCon が終了したばかりでした.Data on Kubernetes に関する特別セッションを初めて開催し、Kubernetes でデータ アプリケーションを実行する方法について話しました.大注目。DoK コミュニティが主催する業界レポートでは、Data on Kubernetes を使用しているこれらの企業が、これらのアプリケーションを Kubernetes に移行したい理由として、最初の 2 つに基づいて、管理の統一性を確保し、管理を簡素化することが示されています。
これまでのところ、顧客から「ライブ」や「ピュア」と呼ばれることが多いクラウドネイティブのビッグデータ プラットフォームが登場しました.Zhilingyun が独自に開発したもので、市場で Kubernetes に完全に展開できる最初のコンテナ化されたクラウドです。ネイティブ ビッグ データ プラットフォーム -- Kubernetes Data Platform (略して KDP)。
— 4 —
Kubernetes変換の アイデア: すべてのコンポーネントが K8 で変換され、真のクラウドネイティブなビッグデータ プラットフォームが作成されます
KDP は、業界の多くの企業がそれを行っているため、純粋な K8s クラウド ネイティブ ビッグ データ プラットフォームと呼ぶことができますが、それらの主な違いは、それらのルートが異なることです. KDP は現在、完全に K8s に基づいて構築された最初のパブリック コンテナーです。マーケット ビッグデータ プラットフォーム。
完全に K8s に基づいて構築されたビッグ データ プラットフォームは、シリコン バレーですでに実践されており、その傾向は明らかです。しかし、多くの国内メーカーは依然として従来のビッグデータプラットフォームの元の問題に取り組んでおり、一般的に言えば、国内のユーザーは既存のアーキテクチャからスムーズに移行することを好み、メーカーはより慎重です。
たとえば、一部のメーカーは、独自のスケジューリング システムと分散コンピューティング システムに基づいてビッグ データ プラットフォームを開発しています.K8s 変換も行っており、スケジューリング作業の一部を K8s に移行していますが、ほとんどのコンポーネントは依然として元のビッグ データ プラットフォームに基づいています。 . システムの運用は、クラウドネイティブなアーキテクチャの下でデータプラットフォームを実際に実現していません。
したがって、ほとんどのビッグデータ企業は K8s で多くの作業を行ってきましたが、Zhiling Cloud の違いは、最初の真の K8s クラウドネイティブ ビッグデータ プラットフォームを構築することです。「本物」という言葉が強調されているのは、プラットフォームのすべてのコンポーネントがコンテナーを介して再構築され、一部ではなく、K8s 標準管理システムに組み込まれているためです。
これの価値は明らかで、異なる環境間でも、基盤となるインフラが K8s 環境であれば、物理インフラの構成を繰り返し処理する必要はなく、コードの変更も必要なく、大きなデータ プラットフォームをスムーズに展開できます。
さらに、「クラウドネイティブ ビッグ データ プラットフォーム」の基盤となるサポートは、グローバルに共有されるプラットフォームです。ユーザーは、既存のシステムをリソース プールに移行して、リソースの使用率を高めることができます。同時に、クラウド ネイティブのストレージ コンピューティング分離アーキテクチャは、コールド データ ストレージとホット データ ストレージを別々に管理することもできます。ストレージコストを削減するためのストレージ。
もちろん、KDP を使用すると、ユーザーは Hadoop への依存を完全に取り除くことができ、K8s 環境ですべてのワークロードを直接実行し、リソース管理を統合し、マルチテナント課金管理を容易にし、運用と保守のコストを大幅に削減できます。
まとめると、クラウドネイティブなビッグデータプラットフォームはよく耳にするもので、今回やっと生きたものを見た。
- フィン -
よりエキサイティングな推奨事項