ChatGPT の人気に伴い、大規模な言語モデルと関連アプリケーションが次々と登場しています。大規模な言語モデルの技術的な詳細を理解していますか? 大規模な言語モデル アプリケーションを開発したことがありますか? 大規模言語モデルの背後にあるインフラストラクチャに興味がある場合は、7 月 8 日に北京市海淀区中関村荘業街でクラウドネイティブのオープンソース AI 大規模言語モデル インフラストラクチャ ミートアップが開催されますので、ぜひご議論ください。
このミートアップには、Milvus、VMware、Zhiyuan、SenseTime、WasmEdge などの AI/クラウド ネイティブ分野の専門家が集まり、大規模モデル アプリケーションの開発、フェデレーテッド ラーニングと大規模言語モデル、ベクトル データベース、ニューラル ネットワークの量子化、モデルの評価などに関する講演が行われます。 、大規模な言語モデルの完全な開発ライフ サイクルを分析し、大規模な言語モデルの背後にある詳細を徹底的に理解します。
このイベントは素晴らしい講演内容に加え、CNCF（Cloud Native Computing Foundation）からも強力な支援を受けており、カンファレンスではドリンクとピザが提供されます。People's Posts and Telecommunications Press は、技術学習に役立つ AI、オープンソース、Rust 関連の技術書籍を後援しています。また、フリスビー、クールなステッカー、帽子、エナメルカップ、T シャツ、その他の周辺ギフトも用意されており、全額の特典を持って帰ることができます。
時間
2023 年 7 月 8 日の午後 1 時から午後 6 時まで、ピザは午後 1 時に利用可能になります。お友達は早めにサインインすることを歓迎します。
場所
北京市海淀区中関村荘業街12号ビル5階
議題の紹介
午後 1 時 35 分 - 午後 2 時 20 分: Rust と Wasm を使用した軽量 AI アプリケーションの開発 - WasmEdge 創設者、Michael Yuan
LLM - ChatGPT のような大規模言語モデルは、記憶、感覚、手を持たない脳のようなものです。API とプラグインを使用すると、開発者はこれらの主要な機能を LLM に追加し、LLM アプリケーションを有効にすることができます。オープン AI プラグインと関数テンプレートの人気は、そのようなサービスに対する大きな需要があることを示しています。ただし、現在の LLM プラグインは、VM、Linux コンテナ、K8s クラスターなどの本格的なサービス向けに設計された複雑なクラウドネイティブ インフラストラクチャ上に構築されていることがよくあります。このインフラストラクチャは、LLM と外部サービス間の軽量リンクとして機能するほとんどのプラグイン/サーバーレス アプリケーションにとっては扱いにくいものです。WebAssembly (Wasm) は、このタイプの関数にとって魅力的な軽量でポータブルかつ安全なランタイムとして登場しました。
WasmEdge コミュニティ (CNCF サンドボックス プロジェクト) が LLM プラグイン用の Wasm コンテナ インフラストラクチャをどのように活用し、構築するかについて説明します。研究開発管理、DevRel、マーケティングオートメーション、トレーニング/学習などの主要なユースケースとアプリケーション分野をカバーします。次に、これらの LLM ユースケースを実現するためのテクノロジー スタックと、コミュニティが作成した Rust および JavaScript SDK について詳しく説明します。
このスピーチでは、サーバーレスを使用して AI アプリケーションを構築および開発する方法を 3 分で学びます。
午後 2 時 20 分 - 午後 3 時 05 分: FATE-LLM: Federated Learning が大規模言語モデルと出会うとき — VMware CTO オフィス、シニア エンジニア、FATE プロジェクト メンテナー、Fangchi Wang 氏
近年、トランスフォーマーをベースとした大規模言語モデルの人気が高まっており、議論はますます加熱し、さまざまな大規模モデルが次々とリリースされています。データとプライバシーの問題に関するスケール言語モデルが徐々に顕著になってきました。最近、オープンソースのフェデレーテッド ラーニング フレームワーク FATE は、フェデレーテッドラーニング ソリューション FATE-LLM をリリースしました。これは、フェデレーテッド ラーニングと大規模モデル テクノロジーを組み合わせて、上記の問題に前向きなソリューションをもたらします。FATE-LLM を通じて、各参加者はデータをローカル ドメインに残すことなく、独自のプライベート データを使用して大規模モデルを微調整することができ、相互利益を実現できます。この講演では、ChatGLM や LLaMA などの大規模言語モデルにフェデレーテッド ラーニングを適用する FATE-LLM の最新の取り組みを紹介し、技術的および実践的な課題、設計上のアイデア、将来の計画について説明します。
このスピーチを通じて、1. フェデレーテッド ラーニングとフェデレーテッド大規模モデル 2. FATE-LLM 関連の設計アイデア 3. FATE オープンソース コミュニティの生態学を学びます。
午後 3 時 05 分 - 午後 3 時 50 分:ベクトル データベース: 大規模モデルの長期記憶 — Li Chen Zilliz 運用および生態学ディレクター
ベクトル データベースは、独自の大規模言語モデルを構築する組織にとって重要です。ベクトル データベースの新しい重要な使用例は LLM です。LLM を使用すると、テキスト生成中にドメイン固有または独自のファクトを取得したり、非構造化データの大規模なデータセットを保存、インデックス付け、検索、取得したりできます。この共有では、AI インフラストラクチャのオープンソース ベクトル データベース Milvus と対応するクラウド サービス Zilliz Cloud がどのように知識を強化し、LLM を強化し、大規模モデルとベクトル データベース、エコロジカルな統合、ツールとアプリケーションなどの関係につながるかに焦点を当てます。 。
このスピーチを通じて、1. AI ネイティブ アプリケーションを構築するための大規模モデルとベクトル データベースの統合について理解する 2. ベクトル データベースがどのように知識を強化し、AIGC ドメイン関連の能力を強化するのかを学びます。
3:50pm - 4:05pm: ティーブレイク
午後 4 時 05 分 - 午後 4 時 50 分: AI 開発におけるモデルの定量化に関連する技術的実践 — SenseTime モデル定量化フレームワーク、PPQ のチーフ エンジニア、Zhi Zhang 氏
ニューラル ネットワークの量子化は、ニューラル ネットワークの計算コストとメモリ使用量を低コストで削減するために広く使用されている手法です。現在最も広く使用されている量子化手法は、浮動小数点モデルを 8 ビット整数モデルに変換し、整数演算子を使用してネットワークの推論プロセスを完了します。量子化テクノロジは現在、推論フレームワークで広く使用されています。大規模なモデルの圧縮と展開も、ニューラル ネットワークの量子化圧縮に大きく依存しています。SenseTime の OpenPPL チームによって開発された量子化フレームワーク PPQ は、現在、中国におけるニューラル ネットワークの量子化フレームワークのリーダーです。複数のハードウェア バックエンド プラットフォームの定量的なシミュレーションと展開、およびこれに基づいた定量的なフレームワーク設計の完全なセットを抽象化します。重みのみの量子化からグループごとの KV キャッシュ量子化まで、大規模な言語モデルで広く使用されている量子化手法に焦点を当て、これらの手法のアプリケーション シナリオとパフォーマンス上の利点を紹介します。
この講演を通じて、サーバー上でネットワーク展開とパフォーマンス調整を実行する方法を学び、それによってニューラル ネットワーク モデルのストレージ要件とコンピューティング コストを大幅に削減し、リソースを要求するデバイス上でこれらのモデルを実行できるようにします。実際のアプリケーションのいくつかのケースを通じて、ニューラル ネットワーク モデルの量子化の実装の詳細と制限についてさらに理解できます。
午後 4 時 50 分 - 午後 5 時 35 分: FlagEval: 大規模モデル評価オープンソース プロジェクト — Xuan Richeng、Zhiyuan Intelligent Evaluation Group のアルゴリズム研究者、Libra プロジェクトの中心貢献者
モデル評価はモデル製作のライフサイクルにおいて非常に重要な部分ですが、近年、基礎モデル関連の理論や技術が急速に発展するにつれ、従来の評価手法やベンチマークでは基礎モデルの評価が失敗するというジレンマに直面しています。開発はモデルの評価方法に基づいており、ツールはさらに重要です。FlagEval 大規模モデルのオープンソース評価システムは、「能力-タスク-指標」の 3 次元大規模言語モデル評価フレームワークを革新的に構築し、基本モデルの認知能力境界をきめ細かい方法で記述しようとしています。
この講演を通じて、大規模モデル評価の基本概念と大規模モデルの評価方法を理解します。
5:35 - 6:00 pm: グループ写真とフリーチャット
登録方法
上の QR コードをスキャンするか、ここをクリックして登録してください
http://hdxu.cn/L3bji
7月8日にお会いできるのを楽しみにしています！
