編集者の選択
これは、人工知能分野の上級専門家である You Yang 氏によって作成され、Kaifu Li、Zhou Honyi、Yan Shuicheng によって強く推奨され、発売されると、JD.com の「コンピュータとテクノロジー」でトップ 1 になりました。インターネット』書籍ランキング。
「実践AI大モデル」では、基本概念から実践スキルまで多くのコンテンツを詳しく紹介し、AI大モデルを浅いところから深いところまで段階的に包括的に解釈します。本書にはQRコード動画が掲載されており、読者は本書の世界に没入して、さまざまな体験やテクニックを素早く深く習得することができます。この本には、オープンソース ツールとライブラリ、データセットとモデル ケース スタディと実用的なアプリケーション、オンライン コミュニケーション コミュニティなど、豊富な追加リソースも付属しています。読者はこれらのリソースを包括的に利用して、より豊かな学習体験を獲得し、自身の学習と成長を加速することができます。
「実用AI大型モデル」について
次に、人工知能（AI）分野のおすすめの本を紹介したいと思いますが、具体的には以下のような内容です。さらに、この記事の最後にあるコメント欄に「実践的な大規模AIモデルを始めてみたい」とコメントすると、抽選で3名に『実践的な大規模AIモデル』の紙版がプレゼントされます。 ：2024.01.07。
『実践AIラージモデル』は、人工知能（AI）分野（特にAIラージモデル）における理論と実践の橋渡しを目的とした実践的なマニュアルです。本書では、Transformer、BERT、ALBERT、T5、GPT シリーズ、InstructGPT、ChatGPT、GPT 4、PaLM、ビジュアル モデルなどの AI 大型モデルの基礎知識と主要技術を紹介し、技術原理と詳細な説明を行っています。これらのモデル、アプリケーションの実際の実装、および並列コンピューティングやメモリ最適化などのハイ パフォーマンス コンピューティング (HPC) テクノロジの使用。
同時に、「実践 AI ラージ モデル」では、実際の事例と、Colossal AI を使用してさまざまなモデルをトレーニングする方法の詳細も提供します。人工知能の初心者でも経験豊富な実務家でも、急速に発展する AI 分野で自分に合った方向性を見つけるために、この本から実践的な知識とスキルを学ぶことができます。
「実践 AI 大規模モデル」ポータルを入手: https://item.jd.com/14281522.html 個人的にこの本はとても良い本だと思いますが、特に AI 大規模モデル開発者にとっては、珍しい本です。所有して研究する価値があります。
著者について
You Yang は清華大学で修士号、カリフォルニア大学バークレー校で博士号を取得しており、シンガポール国立大学コンピューター サイエンス学部の若手学長教授です。ImageNet、BERT、AlphaFold、ViT のトレーニング速度の世界記録を樹立しており、関連テクノロジは Google、Microsoft、Intel、NVIDIA などの大手テクノロジー企業で広く使用されています。過去 3 年間で、NIPS、ICLR、SC、IPDPS、ICS などの重要な国際会議やジャーナルに筆頭著者として 10 本以上の論文を発表しました。国際並列分散処理部門の最優秀賞を受賞したこともあります。国際並列処理会議（IPDPS）の筆頭著者として国際並列処理会議（ICPP）の論文賞（受賞率0.8％）および最優秀論文賞（受賞率0.3％）を受賞、また国際並列処理会議の優秀論文賞を受賞。人工知能 (AAAI) を責任著者として受賞 (受賞率 0.14%)、計算言語学国際会議 (ACL) の優秀論文賞 (受賞率 0.86%) を受賞しており、合計で 100 本近くの論文を発表しています。清華大学の優秀な卒業生に授与される最高額のシーベル奨学金と、当時清華大学最大のコンピュータサイエンス学部であるACM-IEEE CSジョージ・マイケル記念HPCフェローシップ（公式ウェブサイトで博士課程の学生に授与される唯一の奨学金）を受賞Association for Computing Machinery (ACM) の賞を受賞し、バークレーの Lotfi A. Zadeh 学生賞の優秀な卒業生に授与されます。彼はカリフォルニア大学バークレー校から ACM 博士論文賞にノミネートされました。Google、Microsoft、NVIDIA、Intel、IBM で勤務し、2021 年には Forbes Under 30 List (Asia) に選ばれ、IEEE-CS スーパーコンピューティング優秀新人賞を受賞しました。
目次
第 1 章 ディープラーニングにおける AI ラージ モデル
1.1 人工知能分野における AI ラージ モデルの台頭
1.1.1 AI ラージ モデルの開発と課題
1.1.2 AI ラージ モデルのトレーニングが難しい理由
1.2 ディープ ラーニング フレームワークの概要
1.2.1 ニューラル ネットワークの構築
1.2.2 テキスト分類器のトレーニング 第 2 章 分散システム: 大規模 AI モデルの誕生
2.1 ディープラーニングと分散システム
2.1.1 分散コンピューティングから分散 AI システムへ
2.1.2 大規模分散トレーニング プラットフォーム主要テクノロジー
2.1.3 Colossal AI アプリケーションの実践
2.2 AI 大規模モデルのトレーニング方法
2.2.1 勾配累積と勾配クリッピング
2.2.2 大規模バッチ オプティマイザー LARSLAMB
2.2.3 モデルの精度と混合精度トレーニング
2.3 異種トレーニング
2.3.1 異種トレーニングの基本原則
2.3.2 異種混合トレーニングの実装戦略
2.4 実践的な分散トレーニング
2.4.1 Colossal AI 環境の構築
2.4.2 Colossal AI を使用した最初のモデルのトレーニング
2.4.3 大規模な AI モデルの異種混合トレーニング 第 3 章 分散トレーニング: 数千台のマシンが一緒に踊る方法
3.1並列戦略の基本原則
3.1.1 データ並列処理: 最も基本的な並列トレーニング パラダイム
3.1.2 テンソル並列処理: 層内モデル並列処理
3.1.3 パイプライン並列処理の原理と実装
3.2 高度な並列処理 戦略の基本原則
3.2.1 シーケンス並列処理: 超長時間シーケンス モデルのトレーニング
3.2.2 ハイブリッド並列処理: モデルを数千億のパラメーターに拡張
3.2.3 自動並列処理: 自動化された分散並列トレーニング
3.3 実際の分散トレーニング
3.3.1 モデルの並列処理戦略の適用 実際のケース
3.3.2 トレーニング複数の並列戦略を組み合わせる練習 第 4 章 AI ラージモデル時代の基礎となるトランスフォーマーモデル
4.1 自然言語処理の基礎
4.1.1 自然言語タスクの概要
4.1.2 言語入力の前処理
4.1.3 シーケンスツーシーケンスモデル
4.2 詳細Transformer の説明
4.2.1 Transformer モデルの構造
4.2.2 アテンションとセルフアテンションのメカニズム
4.2.3 Transformer における正規化
4.3 Transformer のバリエーションと拡張
4.3.1 バリアント モデルの概要
4.3.2 Transformer シーケンスの位置 情報のエンコードと処理
4.3. 3 トランスフォーマーのトレーニング 第 5 章 AI が Google 検索の品質を大幅に向上: BERT モデル
5.1 BERT モデルの詳細説明
5.1.1 BERT モデルの全体アーキテクチャと入力形式
5.1.2 BERT モデルの事前トレーニング タスク
5.1.3 BERT モデルの適用方法
5.2メモリ使用量を効率的に削減する ALBERT モデル
5.2.1 パラメータ共有に基づくパラメータ削減手法
5.2.2 文順序予測 (SOP) 事前学習タスク
5.3 BERT モデルの実践的な学習 5.3.1
BERT モデルの構築
5.3.2 BERT モデルの並列学習第 6 章 自然言語処理パラダイムを統一する T5 モデル
6.1 T5 モデルの詳細説明
6.1.1 T5 モデルのアーキテクチャと入出力 - テキストからテキストへ
6.1.2 T5 モデルの事前トレーニング
6.1.3 T5 モデル適用の展望と今後の展開
6.2 BERT と GPT の BART モデルの統合
6.2.1 BERT、GPT から BART へ
6.2.2 BART モデルの事前トレーニング
6.2.3 BART モデルの応用
6.3 統一言語学習パラダイムの UL2 フレームワーク
6.3.1 言語モデルの事前トレーニングに関する統一された視点6.3.2
異なる事前トレーニングパラダイムのハイブリッドデノイザーの組み合わせ
6.3.3 UL2 のモデルパフォーマンス
6.4 T5 モデルの事前トレーニング方法と主要技術 第 7 章 一般人工知能の出発点としての GPT シリーズモデル
7.1 GPT シリーズモデルの起源
7.1.1 GPT トレーニング方法とキーテクノロジー
7.1.2 GPT のモデル性能評価分析
7.2 GPT 2 モデルの詳細説明
7.2.1 GPT 2 の核となる考え方
7.2.2 GPT 2 のモデル性能
7.3 GPT 3 モデルの詳細説明
7.3.1 小規模サンプル学習、ワンタイム学習、ゼロタイム学習の類似点と相違点
7.3.2 GPT 3 のトレーニング方法と主要テクノロジー
7.3.3 GPT 3 のモデルのパフォーマンスと効果評価
7.4 GPT 3 モデルの構築とトレーニングの実践
7.4.1 GPT 3 モデルの構築
7.4.2 GPT 3 を削減するための異種トレーニングの使用 トレーニングによるリソースの消費 第 8 章 新世代の人工知能の台頭: ChatGPT モデル
8.1 インターネットと対話できる WebGPT
8.1.1 WebGPT のトレーニング方法とキー8.1.2 WebGPT モデルのパフォーマンス
評価分析
8.2 人間と対話できる InstructGPT モデル
8.2 .1 命令学習
8.2.2 近接ポリシーの最適化
8.2.3 ヒューマンフィードバックに基づく強化学習 (RLHF) 手法の概要
8.3 ChatGPT と GPT-4
8.3 .1 ChatGPT モデルの導入と応用
8.3.2 GPT 4 モデルの機能と応用
8.4 会話システム モデルの構築
8.4.1 監視に基づく命令の微調整とモデル トレーニング
8.4.2 会話システムの推論と展開戦略 第 9 章 満開の自然言語モデル: スイッチ トランスフォーマーとPaLM
9.1 兆パラメータのスパース大規模モデル Switch Transformer
9.1.1 スパース ゲート ハイブリッド エキスパート モデル MoE
9.1.2 MoE に基づく兆パラメータ モデル Switch Transformer
9.2 PaLM モデル: 言語モデルのパフォーマンスの最適化
9.2.1 PaLM の構造、原理、および主要な機能モデル
9.2.2 PaLM トレーニング戦略と効果評価
9.3 PaLM 実践トレーニング 第 10 章 Transformer のコンピュータ ビジョンへの進出を実現する ViT モデル
10.1 コンピュータ ビジョンにおける Transformer の応用
10.1.1 コンピュータ ビジョンにおける ViT モデルの開発背景
10.1.2 ViT モデル アーキテクチャ
10.1.3 大規模 ViT モデルのアプリケーション シナリオと課題10.2
大規模ビジュアル モデルのさらなる開発: Transformer とコンボリューションの融合
10.2.1 Transformer に基づくビジュアル モデルのアプリケーションの改善
10.2.2 コンボリューションに基づくビジュアル モデルの開発と最適化
10.3 ViT モデルの構築とトレーニングの実践
10.3.1 ViT モデルを構築するための主要な手順と主要な方法
10.3.2 多次元テンソル並列 ViT の演習
序文/序文
今日、人工知能技術の急速な発展と広範な応用は社会の注目と関心を集めており、技術開発の中核となっているだけでなく、社会生活の全面的な変化を促進しています。特に、ディープラーニングは AI の重要な分野として、表現力を継続的に刷新することで技術革命を導き、定義してきました。大規模な深層学習モデル (AI ラージ モデルと呼ばれます) は、その強力な表現能力と優れたパフォーマンスにより、自然言語処理、コンピューター ビジョン、レコメンデーション システムなどの分野で画期的な進歩を遂げています。特に大規模な AI モデルの広範な適用により、数え切れないほどの分野がその恩恵を受けています。
ただし、大規模な AI モデルの研究と応用は複雑で困難な探求です。トレーニング方法、最適化技術、コンピューティングリソース、データ品質、セキュリティ、倫理などにおける課題や問題は、一つずつ対処し、解決する必要があります。上記は、著者が本書を執筆する際の当初の意図と目標です。この本が研究者、エンジニア、学者、学生、その他のグループに詳細なガイドと参考資料を提供し、理論を組み合わせた包括的な視点を読者に提供できることを願っています。彼らは、大規模な AI モデルを理解して使用できるように、また、この本が読者をより新しい問題の探索に導き、それによって人工知能の継続的な開発を促進することを望んでいます。
大規模な AI モデルのトレーニングには、膨大なコンピューティング リソースと複雑な分散システムのサポートが必要です。機械学習から AI 大規模モデルまでの開発プロセスの観点から見ると、深層学習の基本概念、古典的なアルゴリズム、ネットワーク アーキテクチャを習得することによってのみ、AI 大規模モデルをより深く理解し、適用することができます。さらに、分散トレーニングと並列戦略は、AI 大規模モデルのトレーニングにおいて重要な役割を果たし、トレーニングの効率とモデルのパフォーマンスを効果的に向上させることができます。同時に、大規模な AI モデルのアプリケーションには、自然言語処理、コンピューター ビジョン、その他の分野も含まれており、あらゆるタイプの読者に幅広いアプリケーション スペースを提供します。
本書では、読者が大規模な AI モデルをより深く理解し、応用できるよう、基本的な概念から実践的なテクニックに至るまで、多くの内容を詳細に紹介しています。各章では、中心となる概念、主要なテクノロジー、実践事例の紹介に重点を置いています。ニューラルネットワーク、Transformerモデル、BERTモデル、GPTシリーズモデルなど、基本概念から最先端技術まで幅広い内容を網羅。この本では、各モデルの原理、トレーニング方法、適用シナリオを詳細に紹介し、AI 大規模モデルのトレーニングにおける課題の解決と最適化方法について説明します。さらに、この本では、分散システム、並列戦略、メモリ最適化などの主要なテクノロジーや、コンピューター ビジョンや自然言語処理などの分野での Transformer モデルの応用についても説明します。全体として、この本は、深層学習の分野における AI の大規模モデルと分散トレーニングの重要性と応用の見通しについて読者が深く理解できるようにするための包括的な視点を提供します。
本書の内容は次のように構成されています。
第 1 章では、大規模な AI モデルの台頭、課題、トレーニングの難しさ、ニューラル ネットワークの開発の歴史、ディープ ラーニング フレームワークの入門ガイドを紹介します。
第 2 章では、分散 AI システムと大規模分散トレーニング プラットフォームの主要テクノロジーに加え、勾配累積、勾配クリッピング、大規模バッチ オプティマイザーのアプリケーションを紹介します。
第 3 章では、分散環境で大規模データとテンソル データを処理するデータ並列処理とテンソル並列処理の手法、および分散トレーニング効果を向上させるハイブリッド並列戦略を紹介します。
第 4 章では、Transformer モデルの構造とセルフアテンション メカニズムの実装を紹介し、自然言語処理における一般的なタスクとテキスト処理における Transformer モデルの応用について説明します。
第 5 章では、BERT モデルのアーキテクチャと事前トレーニング タスクに加えて、パラメーター共有と文順序予測を活用してモデルのパフォーマンスを最適化し、メモリ使用量を削減する方法を紹介します。
第 6 章では、T5 モデルのアーキテクチャ、事前トレーニング方法と主要なテクノロジー、事前トレーニング タスクに関する統一された視点、およびさまざまな事前トレーニング パラダイムを組み合わせたハイブリッド デノイザーのアプリケーションを紹介します。
第 7 章では、GPT シリーズ モデルの起源、トレーニング方法、主要な技術、および GPT-2 および GPT-3 モデルの核となる考え方、モデルの性能、効果評価を紹介します。
第 8 章では、インターネットや人間と対話できる ChatGPT モデルと InstructGPT モデル、および ChatGPT モデルのアプリケーションと GPT-4 モデルの特性とアプリケーションを紹介します。
第 9 章では、スパース ゲート ハイブリッド エキスパート モデルと MoE ベースのスイッチ トランスフォーマー モデル、および PaLM モデルの構造、トレーニング戦略、効果評価を紹介します。
第 10 章では、コンピューター ビジョンにおける ViT モデルのアプリケーションとパフォーマンス、および画像分類、ターゲット検出、画像生成などのタスクにおける Transformer のアプリケーションの見通しを紹介します。
BERT、GPT、PaLM のいずれであっても、各モデルは人工知能テクノロジーの進化の結晶であり、その背後には深い理論的基礎と実践的な経験が含まれています。このため、この本では、各モデルの深さと広さを適切にカバーするために、各モデルを個別に説明することにしました。この本では、これらのモデルをトレーニングするために必要なテクノロジーについても包括的に紹介します: ハイ パフォーマンス コンピューティング (HPC) から並列処理、大規模な最適化手法からメモリの最適化に至るまで、各テクノロジーは慎重に選択され、深く研究されています。これらは大規模な AI モデル トレーニングの基礎であり、高性能 AI システムを構築するための鍵です。
ただし、理論的な知識を習得することは、大規模なモデルを理解するための出発点にすぎません。AI を実用化するには、コンピューティング リソースの管理やトレーニング効率の最適化など、大規模な AI モデルのトレーニングにおける一連の課題を解決する必要があります。これは、この本の中で特に強調されている部分、Colossal AI につながります。
本書では、Colossal AI を使用して、BERT、GPT 3、PaLM、ViT、会話システムを段階的にトレーニングする方法など、一連の実践的な内容を提供します。これらの実践的なコンテンツは、モデル トレーニングの具体的な手順を紹介するだけでなく、主要なテクノロジーと Colossal AI の利点の詳細な分析も提供し、読者がこの強力なツールを使用して研究や作業を改善する方法を理解するのに役立ちます
。最後に、この本は理論を実践に変えることを目的とした一連の実践的な演習を設計しています。このような設計は、プログラミング学習における「実践こそが真の知識となる」という経験とも一致しており、複雑な AI 大型モデルの背後にある原理を真に理解して習得するには、実際に実践して操作する必要があります。
この本は、ディープラーニングと人工知能の分野に興味のある読者を対象としています。学生、研究者、実務家を問わず、この本から貴重な知識と洞察を得ることができます。本書は、初心者向けに、必要な知識フレームワークを確立するのに役立つディープ ラーニングと AI の大規模モデルの基本概念とアルゴリズムを提供し、一定の経験を持つ読者向けに、大規模モデルと分散トレーニングの主要なテクノロジと手法について詳しく説明します。最新の研究の進歩と実際の応用について深く理解できるようになります。
この本は、読者が学んだことをより深く理解し、応用するのに役立つ豊富なリソースを提供します。本書の内容は著者によって注意深く整理・整理されており、体系的かつ一貫性があり、読者は明確な知識構造と学習経路を得ることができます。同時に、本書ではコード例や実際の事例も多数掲載しているので、読者は
実践的な運用を通じて学んだ概念やテクニックを定着させることができます。さらに、この本では、読者が興味のあるトピックをより深く掘り下げるのに役立つ、さらなる研究のための参考文献も提供されています。さらに、この本には豊富な追加リソースも付属しており、読者が本の知識を超えて独自の探求と学習を継続できるように設計されています。
書籍『実践AIラージモデル』の概要
「実践 AI 大規模モデル」ポータルを入手: https://item.jd.com/14281522.html 個人的にこの本はとても良い本だと思いますが、特に AI 大規模モデル開発者にとっては、珍しい本です。所有して研究する価値があります。
結論
今日の AI 時代において、深層学習モデルは人工知能の開発を促進するための重要なエンジンとなっています。ただし、深層学習モデルを実際のアプリケーションに効率的に導入する方法は、業界が常に直面している課題です。「実践的な AI ラージ モデル: ディープ ラーニング モデルのコンパイルと最適化」では、AI ラージ モデルの秘密を明らかにし、ディープ ラーニングの分野でブレークスルーを達成するのに役立ちます。
AI ラージ モデルは、強力な深層学習モデル コンパイル ツールとして、モデルを効率的なマシン コードに最適化して、モデルの動作効率と電力消費効率を大幅に向上させることができます。その原理と実践を深く理解することで、ディープ ラーニング モデルを迅速に開発および最適化し、実際のアプリケーションに強力なサポートを提供できます。
今後のAIの発展において、TVMはディープラーニングの分野で重要なツールとなることが期待されています。TVM は、オープンソースの機械学習コンパイラー スタックとして、深層学習モデルの動作効率を向上させ、人工知能の開発に大きく貢献することに取り組んでいます。人工知能の分野に携わる人、またはこれからこの分野に参入しようとしている人にとって、TVM コンパイラ技術を習得することは、技術開発のスピードに追いつくための鍵であり、時代に淘汰されないためにも必須のスキルです。
「実践AI大規模モデル：深層学習モデルの構築と最適化」を学習することで、AI大規模モデルの構築原理、最適化手法、実践的な適用事例を習得します。この本は、TVM の動作メカニズムを深く理解し、TVM テクノロジーを実際のプロジェクトに適用してディープ ラーニング モデルのパフォーマンスを向上させるのに役立ちます。人工知能の波の中で、大規模な AI モデルの無限の可能性を共同で探索し、人工知能技術の将来の発展のための強固な基盤を築きましょう。
こんにちは、フェイチェンです。
フロントエンドの学習リソース、技術の変化や生存ルールの毎日の共有、業界関係者や洞察を得るために私をフォローすることを歓迎します。