データアプリケーションの新たな潮流を見つめる｜第8回テンセントクラウド手帳TVPデベロッパーサミット無事閉幕

導入

データドリブンの時代において、ビッグデータをいかに有効活用するかが様々な業界で重要な課題となっています。クラウドコンピューティングや人工知能などの新興テクノロジーの活発な発展に伴い、データテクノロジーは成長を続け、新たな傾向や特徴を示しています。企業はデータテクノロジーの新しいコンテキストをどのように把握し、データの背後にある価値について洞察を得ることができるでしょうか?

2023 年 8 月 19 日、Tencent Cloud TVP が主催する第 8 回手帳 TVP 開発者サミット「データはインテリジェンスを駆動し、インテリジェンスは未来に力を与える」が盛会のうちに閉幕しました。このサミットにはデータテクノロジー業界のリーダー 6 名が集まり、専門家による素晴らしい共有と分析が行われました。データテクノロジーの最新の進歩、トレンド、革新的なアプリケーションに関する詳細な意見交換が行われ、アイデアや実践の面で開発者にインスピレーションを提供します。

W

▲「Three People Walk Together」の創設者でTencent Cloud TVPのLu Dongming氏による開会の挨拶

このサミットは、Tencent Cloud TVPの教師である陸東明氏が主催しており、陸東明氏はビッグデータとAIの分野に焦点を当てたインタビューコラム「明書三星」の創設者兼司会者でもあり、「明おじさん」としても知られています。サミットの冒頭、明おじさんは、英国の有名な小説家ディケンズの『二都物語』の古典的な引用を借りて始めた。「今は中国のデータ技術にとって最良の時代であると同時に、最悪の時代でもある」。これは、中国の歴史の中でデータベースとビッグデータ技術の開発サイクルにおいて最も繁栄した瞬間ですが、目もくらむような技術システムと絶えず変化する製品は、開発者と企業に前例のない課題ももたらしています。数多くのデータベーステクノロジに直面して、さまざまな目標を達成するためにそれらをどのように選択し、どのように組み合わせるかは、企業や開発者が検討し、明確にする必要がある重要な問題です。

AIの民主化によるデータプラットフォームの4大トレンド

▲「リーンデータ手法」の著者兼創設者であり、Tencent Cloud TVPであるShi Kai氏のスピーチ

「リーンデータ手法」の著者兼創始者であり、Tencent Cloud の TVP である Shi Kai 教師は、「AI の普遍化の下でのデータプラットフォームの 4 つの主要なトレンド」というテーマを共有しました。

Shi先生は、私たちは「データ民主化」から「AI民主化」の時代に急速に突入していると指摘し、データ民主化の時代には、誰もがデータによって力を与えられ、データの適用と分析を通じてリアルタイムのフィードバックと分析を得ることができるようになります。 . 洞察力。ChatGPTの登場により、AI民主化の時代が急速に近づいています。将来、人工知能はすべての人に利益をもたらすでしょうが、同時に企業データプラットフォームに大きな課題をもたらすでしょう。それは、無限に増大するデータアプリケーションのニーズと、限定的かつ細分化されたデータ生産性との間の矛盾です。しかし、大規模なモデルの出現により、データ担当者に新たな想像力の余地が与えられ、AI テクノロジーがデータ生成とデータ分析に役立ち、データソースからの価値の生成が加速されることを誰もが期待しています。

この目的を達成するために、Shi 先生は、データプラットフォームの将来の発展における 4 つの主要なトレンドを提案しました。

データプラットフォームの価値が明確になってきました。企業がデータへの投資を増やすにつれ、データがビジネスに直接価値を生み出すことを期待する企業が増えています。これは、データプラットフォームにどのように統合するかという新たな課題ももたらしています。データプラットフォームへの価値はビジネス価値に直結します。
データプラットフォームアーキテクチャは最新化され、データプラットフォームは統合分析、使いやすさ、信頼性、分散化の方向に発展し、データファブリック/データメッシュに代表される新しいデータアーキテクチャの実践が徐々に出現しています。
AIGC が強化したデータバリューチェーンであるデータプラットフォームには、AIGC の新技術が統合され、企業データ生成バリューチェーンの無駄が排除されます。
AIGC の機能はプラットフォーム指向およびサービス指向です。AIGC は企業がいつでも使用および調整できる機能になります。一般に、企業は独自の大規模なモデルを構築する必要はありませんが、大規模なモデルの機能を統合する方法に焦点を当てる必要があります。データの価値のマイニングを深めるためのモデル。

共有の最後に Shi Kai 氏は、「デジタルトランスフォーメーションは問題から始まり、ビジネスから始まり、データに基づいて、シナリオに基づいて、価値に基づいて測定され、最後に組織化されます。」と全員に向けて要約しました。データプラットフォームは進化しますが、ビジネスからどのように学ぶことができますか? 成長し、データを注入し、シナリオに到達し、最終的にビジネス価値を提示し、企業全体のデジタル化を促進することが、企業の関心事の中核となる命題です。

コストと使いやすさの両立 - Tencent Cloud ES のクラウドネイティブなサーバーレスの進化パス

▲Tencent Cloud ES R&DディレクターのGao Pan氏が講演

技術的な想像力から、エンタープライズデータガバナンスの現実に戻りましょう。今日、大規模な成長が集中的な成長に変化する中、どのようにコストを削減し、効率を高め、データ効率を改善するかが企業と開発者の焦点となっています。Tencent Cloud ES の研究開発ディレクターである Gao Pan 氏は、「コストと使いやすさの両方 - Tencent Cloud ES クラウドネイティブサーバーレスの進化」を共有しました。

Gao Pan 教師は、Tencent Cloud ES は Tencent Cloud ネイティブのワンストップフルマネージド ELKB サービスであり、オープンソース ES に基づいており、コスト、パフォーマンス、安定性、拡張性などの側面を中心に自社開発のカーネル変換を実行し、次のような成果を達成していると紹介しました。コストが 50% ～ 80% 削減され、クエリパフォーマンスが 3 ～ 10 倍、書き込みパフォーマンスが 2 倍、SLA が 99.99% に達し、スケーラビリティが 10 倍以上向上しました。

Tencent Cloud Big Data ES には多くのサービスシナリオがあり、その中でログが最も一般的で最大のシナリオです。ログ値の密度は比較的低いですが、規模は通常大きいため、企業はログシナリオのコスト管理に重点を置いています。そのため、Tencent Cloud Big Data ES では、コストに関して多くの最適化と改善が行われ、リンク統合、インデックスの自律性、ストレージと計算の分離などのテクノロジを通じて、アクセスコスト、運用保守コスト、リソースコストが大幅に削減されました。

コストの問題は簡単に解決でき、ガオ・パン教師は今後も使いやすさを向上させ、ワンストップのビッグデータ分析サービスをユーザーに提供したいと考えています。さまざまなベンダーが最下位の ES カーネルに基づいた PaaS ベースの ES サービスを提供していますが、ユーザーは依然としてクラスターの作成、データリンクの構成、インデックスのライフサイクル管理などの運用保守作業にエネルギーを費やす必要があります。そこで、彼と彼のチームは、Tencent Cloud PaaS バージョンの ES サービスを改良し、クラスターやノードを気にする必要がなく、運用とメンテナンスが不要なサーバーレス ES サービスを立ち上げました。コスト面でもさらなる最適化が図られており、サーバーレスは従来のPaaSサービスのノード単位の課金方式とは異なり、書き込み量とクエリ量に応じて課金されるまさにオンデマンド課金となります。安定性の面では、クラスタインデックスバックグラウンドの統一運用保守チューニング方式を採用し、誤使用による障害を回避しており、オープンソースのES APIと100%互換性があり、ELKエコシステムとも100%互換性があります。

エンタープライズレベルのリアルタイムデータウェアハウスの構築: Apache Doris に基づいて安定した信頼性の高いデータウェアハウス TCHouse-D を作成します。

▲Tencent Cloud Doris R&DテクニカルディレクターのLi De氏が講演

Apache Doris は、ASF の有名なオープンソースデータウェアハウスプロジェクトであり、そのシンプルさ、使いやすさ、柔軟性により多くの開発者の支持を獲得しています。Tencent Cloud Doris R&D のテクニカルディレクターであり、Apache Doris コミュニティの PMC である Li De 氏が、「エンタープライズレベルのリアルタイムデータウェアハウスの構築: Apache をベースにした安定した信頼性の高いデータウェアハウス TCHouse-D の構築」というトピックについて共有しました。ドリス」。

共有の初めに、Li De 氏が Tencent Cloud ビッグデータ TCHouse-D について簡単に紹介しました。TCHouse-D は、Tencent Cloud によって構築された Apache Doris ベースのリアルタイムデータウェアハウスサービスです。100% 互換性があります。 Apache Doris を使用し、MySQL プロトコルと互換性があり、同時実行性と多次元性をサポートします。分析、インタラクティブ分析、リアルタイムデータウェアハウス、レイクウェアハウスフェデレーション分析およびその他のビジネスシナリオ、シンプルで使いやすく、弾力的に拡張可能、安全です。信頼性が高く、環境に配慮し、機能が充実しています。Li De 教師はすぐに、エンタープライズレベルのリアルタイム更新可能なデータウェアハウスについての理解を共有しました。

リアルタイムの書き込みと追加、削除、変更、クエリ。データはリアルタイムでバッチで書き込むことができ、追加、削除、変更、クエリはリアルタイムで表示され、Flink や Flink などのリアルタイムシステムに接続できます。カフカ。
データ変更のリアルタイム同期、データベース全体の同期と増分同期のサポート、ストリーミングライトバックプレッシャーの自動速度調整、テーブル構造変更のリアルタイムノンブロッキング自動同期。
エンタープライズレベルの安定性と信頼性、完全な認証、権限および監査機能、完全な監視、警告および検査、完全に管理されたサービス、高い読み取りおよび書き込み可用性。

TCHouse-D は上記の基準に基づいて厳密に設計されており、リアルタイムの書き込みと追加、削除、変更、クエリを保証するために、Google Mesa の事前集計モデルを利用しており、ストレージエンジンは LSM を介した高速データインポートサポートを提供しています。のようなデータ構造。リアルタイム同期に関しては、MySQL Binlog はリアルタイムで同期でき、データベース全体の増分とセグメントの変更は自動的に同期でき、さらに、送信には 2 つの段階があり、Exactly Once セマンティクスを実現できます。クラウド製品として、TCHouse-D は安定性への投資に疑いの余地がなく、運用とメンテナンス、ユーザーの 2 レベルのアラームシステム、スケジュールされた検査、リアルタイムのライトバックプレッシャー自動電流制限、タブレットと圧縮のヘルスチェックをサポートしています。さらに、ロールベースの権限システム、ホワイトリスト、メタデータの二重バックアップなどのメカニズム設計により、サービスの安全性と信頼性も確保されています。

皆の期待を受けて、Li De 氏は TCHouse-D の将来の計画と展望を共有しました。ホットとコールドの階層化、コンピューティングノード、クラスタ間同期レプリケーション、ストレージと計算の分離、その他の機能が開発中であり、リリースされる予定です。今年の第 4 四半期か来年初めに。皆さんに会いましょう。

DataOps の探索: Apache トップ 10 DataOps プロジェクト選択分析

▲ Apache Software Foundation メンバーで Tencent Cloud TVP の Guo Wei 氏によるスピーチ

ビッグデータの分野では、企業はデータ抽出や効率的なマイニングの結果に焦点を当てることが多いですが、データの生成、保存、統合、循環、再生成の閉ループプロセスの探索は表面をなぞっただけです。Apache Software Foundation メンバーで Tencent Cloud TVP 教師の Guo Wei 氏は、「DataOps の探索: Apache Top Ten DataOps プロジェクト選択分析」というテーマを共有しました。

誰もが DataOps をより直観的に理解できるように、Guo 氏は次のように要約しました。データをデータベースに保存し、ダッシュボードを構築し、それをデータレイクに統合してデータモデルを構築し、次にマイニングを実行し、最後に結果を予測します。新しいデータを再生成するこのデータの閉ループプロセス全体。Gartner はかつて、2019 年に IT テクノロジーを IT クラフトマンシップ、IT 産業化、IT デジタル化の 3 つの時代に分けました。郭先生は、AI技術の急速な進歩と大規模モデルの出現により、私たちは第4の時代、つまりITインテリジェンスの時代を迎えており、DataOpsもBIからAIへの発展傾向を示すだろうと指摘した。続いて郭氏は、Apache SeaTunnel、Apache Airflow、Apache DolphinScheduler、Apache Nifi などの 10 の人気のある ASF DataOps オープンソースプロジェクトの詳細な紹介と選択分析を行い、企業や開発者が適切なプロジェクトを見つけるために計画を調整できるようにしました。自社のDataOpsプラットフォームをスムーズに構築するために。

大規模モデルと DataOps の衝突と誰もが関心を寄せている将来の動向について、Guo 氏は、企業がオープンソースの大規模モデルを通じて独自のモデルを再トレーニングするのが一般的な傾向であると述べ、「お金を使う」という一文を使用しました。「独自のプライベート化モデルをトレーニングするためのスターバックスのカップ」。「ChatGPT」の事例ビデオは、大規模モデルのトレーニングの実現可能性を鮮やかに示しています。DataOps の最終目標はデータ生成を高速化することであり、大規模モデルと DataOps の組み合わせは、すべての企業とすべての個人が果敢に試みるべきことです。

最後に郭氏は、「Ops の本質は人の効率を向上させ、ビジネスと技術の効率を向上させ、設計と研究開発の効率を向上させ、異なる人々の間の効率を向上させることである」と全員を未来に期待させました。 DataOps の分野では、誰もが自然言語を通じてデータを理解できるようにする「ChatGPT のような」アプリケーションも登場すると思います。

AIGC シナリオにおける Tencent Cloud Intelligent Storage のアーキテクチャと実装の実践

▲テンセントクラウドインテリジェントストレージ研究開発責任者の王苗氏が講演

現在、AIGC は大型モデルの重要なアプリケーションシナリオであり、多くの業界で求められており、一部の機関は、AIGC シナリオは 5 ～ 10 年で兆ドル市場になると予測しています。Tencent Cloud のインテリジェントストレージ研究開発責任者である Wang Miao 氏も、Tencent Cloud Intelligent Storage の技術アーキテクチャと主な機能を詳細に紹介した「AIGC シナリオにおける Tencent Cloud Intelligent Storage のアーキテクチャと実装の実践」を共有してくれました。以下は、企業の解決に役立つ対象となる問題です。

王苗先生はまず、アクセス層、論理処理層、データ処理層、ストレージ層、および基礎となる基本サービスにおけるインテリジェントストレージシステムの技術アーキテクチャを詳細に紹介しました。次に、Wang Miao 教師は、AIGC シナリオの中核要素であるコンテンツ生成、コンテンツセキュリティ、コンテンツインテリジェンスを要約し、これら 3 つの中核要素に焦点を当て、データ収集、データ前処理、機能に至る AIGC シナリオに関わるすべてのプロセスと組み合わせました。 Tencent Cloud は、モデルトレーニングから推論アプリケーション、コンテンツレビュー、コンテンツインテリジェンスまで、エンドツーエンドのインテリジェントストレージソリューションを提供します。

Tencent Cloud のスマートストレージソリューションでは、COS がデータレイクの統合ストレージベースとして機能し、強力な帯域幅を必要とするデータトレーニング段階では、データアクセラレータ GooseFS および GooseFSx を提供し、分散アクセラレーションサービスと豊富なプロトコルサポートを通じて、データレイクのパフォーマンスを大幅に向上させることができます。データの読み書き効率とアクセスの利便性。コンテンツセキュリティの面では、Tencent Cloudは、Data Wanxiangの豊富なコンテンツレビュー機能とAIGCの特別なシナリオに基づいたカスタマイズされたモデルを通じて、入力から出力までの統合されたストレージコンテンツセキュリティソリューションを提供します。王苗先生は、データの電子透かし機能の技術原理についても詳しく紹介しました。離散フーリエ変換アルゴリズムを通じて、画像とビデオフレームが周波数領域/時間領域に変換され、変換プロセスに電子透かし情報が埋め込まれます。ウォーターマークはデジタル製品の著作権を保護します。また、AIGC の製品は配布する必要があり、Tencent Cloud Intelligent Storage は、画像形式を変更せずに JPG および PNG 画像を 50% 以上の容量圧縮できる Jiezhi 圧縮サービスも提供し、配布トラフィックを節約します。

最後に、Wang Miao 氏は、Vincentian グラフの分野に焦点を当てた顧客事例を共有し、Tencent Cloud Intelligent Storage チームは、顧客がトレーニングノードに GooseFS を展開し、TB/秒のスループット容量を構築し、トレーニング効率を大幅に向上させるのを支援しました。顧客のモデル反復効率を向上させます。ビジネスがオンラインになり、膨大なリクエストと AIGC 製品に直面するにつれて、顧客はデータが豊富な AIGC 自動レビュー機能を使用してテキストと画像を 1 日に何千万回もレビューし、コンテンツのセキュリティ問題を完全に解決しました。画像を配信する場合、AVIF 適応型圧縮と非常にインテリジェントな圧縮の組み合わせにより、最小の画像がさまざまなプラットフォームにインテリジェントに配信され、画像のダウンロード帯域幅が 50% 削減され、運用コストが節約され、アクセス速度が向上します。

ラウンドテーブルダイアログセッション

▲ラウンドテーブルダイアログセッション

有益な情報が満載の専門家との共有セッションの後、今回のサミットのために特別に企画されたラウンドテーブルセッションが行われました。今回の座談会はこれまでと異なり、明おじさんの司会のもと討論形式で行われ、ゲストの石凱、高潘、李徳、郭偉、王苗の5人がこのテーマについて意見を表明し、意見を発表した。さまざまな見解とユニークな洞察。ほぼすべての問題について肯定的な意見と否定的な意見が衝突し、しばらく興奮しました。聴衆は夢中になる一方で、大物たちの思考精神も学びました。

汎用AIの時代が到来し、ビッグデータはさらに繁栄するでしょうか？

Shi Kai、Gao Pan、Wang Miao の 3 人の教師は前向きな姿勢をとっており、将来は AI によってあらゆる生活がより豊かになり、データ量が劇的に増加し、市場のコンピューティング能力が向上すると信じています。将来のビッグデータの効率化や効率化などの要求に応え、技術アップデートをさらに促進し、ビッグデータのより高いレベルの発展を促進します。

李徳先生は反対の意見を持っており、「20 年前と今では、オペレーティングシステムのどちらが普及していましたか?」という質問の後に、AI が真に究極の成熟度まで反復されると、データベースやビッグデータは隠蔽されるだろうと考えました。、データベースやビッグデータに対するみんなの需要が減少する可能性があります。Guo Wei 先生も Li De 先生の意見に同意しており、将来的にはビッグデータがインフラとなり、すべてのビジネスロジックが AI の大型モデルによって実行されると考えています。

ホストのアンクル・ミンも彼の意見を共有しました。彼の意見では、データに対する私たちの理解と探索は十分に深くありません。AIの発展に伴い、データのニーズも変化しており、新しいデータタイプまたは新しいデータタイプがデータに現れる可能性があります。データの特性、当時のデータエンジニアはまったく新しい課題を解決する必要があるかもしれません。テストからテキスト、画像、そしてビデオへの進化であり、ビデオの背後にあるものについては想像の余地がたくさんあります。

中国のデータテクノロジーの将来の発展の成功の道は「大きくて包括的」なのか、それとも「小さくて美しい」のか?

ワン・ミャオ先生は小さくても美しいことを好み、一部の垂直シナリオの企業は十分に深い専門分野の知識を持っており、ビッグデータ技術と組み合わせることで、一部の垂直分野のニーズに迅速に対応できると信じています。同時に同氏は、小さいながらも美しい企業が巨人の肩の上に立ち、基盤技術にオープンソース技術やクラウドサービスの利用を検討し、自社のエネルギーとリソースを集中して自社の製品を迅速に発売できるようにすることも提案した。Gao Pan先生は、この問題は分業の問題であると考えており、小規模で優秀な企業は、自らの分野での徹底的な探求に注力し、自社製品を改善し、その後大企業と協力する必要があり、大規模で総合的なクラウドベンダーは統合する必要があると考えています。顧客に完全なソリューションセットを提供します。

Guo Wei 先生、Shi Kai 先生、Li De 先生は、包括的であることが良いと信じています。郭偉先生は、甲企業のニーズは多様化しており、20％の企業は小さくて美しい単一のツールを自社で組み立てることを選択しているが、80％の企業はワンストップソリューションに依存している可能性があると指摘した。Shi Kai氏は、「今日の熾烈な市場環境では、大規模かつ総合的に成長しない企業は存続の問題に直面する可能性がある。甲と乙の間には技術やビジネス目標の理解において情報格差がある。データベース製品会社として」と述べた。、それは宣言する必要があります大きく包括的であり、自社製品の利点を強調することによってのみ、業界での認知度を高めることができます。李徳先生も同様の見解を持っており、小さくて美しいことが理想的なビジョンであり、大きくて包括的なことが現実的な道であると考えています。ビジネスの成功の観点から見ると、製品のポジショニングとマーケティングは非常に重要ですが、小規模で美しい企業の多くは、よく知られる大規模で総合的な企業ほどポジショニングや宣伝が得意ではありません。

明おじさんは、「小さくて美しい企業はイノベーションの根源である。小さくて美しい企業が成功することを望んでいるが、リソースとコスト管理の統合においては、大規模で総合的な企業の方が有利である。現在のビジネス環境を考慮すると、大規模で総合的な企業は、さらに多くの利点があり、企業全体が成功する可能性が高くなります。

複数の武器が存在する時代において、開発者が戦闘効率を向上させるのに役立つ「武器」とは何でしょうか?

Gao Pan先生は兵器の観点からの提案を共有し、技術的な製品は複雑ですが、開発者はオフライン用のSparkシナリオやTPシナリオなど、各分野でよく知られた製品を選択するだけで、独自のシナリオのニーズに応じて深く研究することができます。 MySQL、PG、ES、および Doris in AP シナリオはすべて許容され、残りの製品も同様に使用できます。

Shi Kai 先生は、テクノロジーがあらゆる場所に存在する時代においては、コアコンピテンシーを維持することがより重要であると考え、開発者に必要な 3 つの重要な能力、つまり学習能力、論理能力、コミュニケーション能力を提案しました。学習能力はより早い成長を保証し、論理能力は問題をより良く解決するのに役立ち、コミュニケーション能力は非常に良好な雰囲気と環境を作り出し、より遠くへ、より着実に、より速く進むことを可能にします。

Li De 教師はまた、3 つの能力についても共有しました: 1 つ目は、ChatGPT などのツール、成熟した「ホイール」、その他のツールやコンポーネントを使用してビジネスニーズを完了する能力、2 つ目は、オープンソースに参加し、オープンソースコードを使用して学習や研究を行う能力です。より速く進歩する; 最後に、それは要約する能力です。要約は自分に考えさせるプロセスです。要約が上手になると、思考の次元が向上します。

Guo Wei 氏は、オープンソースへの参加も開発者への提案の 1 つであり、さらに、大規模なモデル、特に補助プログラミングのパフォーマンスが期待を超える民営化モデルに注意を払うよう開発者に注意を促しています。次に、多くの場合、ビジネスプロセスと要件を深く理解していることが、優秀なプログラマーと普通のプログラマーを区別する基準となります。優れた開発者になるには、コードを書けるだけでなく、ビジネスを理解し、ビジネスプロセスに参加してビジネスニーズをより適切に制御する必要があります。

ワン・ミャオ先生は、開発者はビジネス意識を持つ必要があると強調し、アーキテクチャやテクノロジーの選択を設計する際には、ビジネス意識を利用してインプットとアウトプットの比率を比較検討し、何かを行うべきかどうか、それにどれだけのリソースを投資すべきかを決定する必要があると強調しました。開発者がさらに総合的な人材になるために非常に必要な資質です。

最後に、主催者の明おじさんは、参加者に向けて、反対、理由、説明という 3 つの単語の提案をまとめました。「違い」とは、違いの違いだけでなく、バリエーションの違いでもあり、同質化が深刻な現代において、開発者は違いを求め、市場の変化を観察し、次のサイクルでチャンスを掴む必要がある、「理由」です。「理解することは理解です。システムの理解とビジネスの理解はますます重要になります。そして、「話す」ことは説得を表します。本当に成功した開発者は最終的にチームを率いることになることが多く、この道では説得が不可欠です。