ChatGPT の爆発的な普及により、大規模言語モデル (LLM) は前例のない注目を集めています。「2023Q1雇用動向ビッグデータレポート」によると、ビッグ言語モデルの求人数は前年比172.53％増加し、全産業の中で最大の求人数増加となった。NLP とインテリジェント音声の分野の専門家は、大規模な言語モデルに近づいています。
では、独自の ChatGPT を 0 から 1 まで構築するにはどのようなスキルが必要でしょうか? 要約すると、主なポイントは次のとおりです。
(1) トランスとRLHF
Transformer は ChatGPT の基礎となるコア アーキテクチャであるため、Transformer の詳細 (Seq2Seq アーキテクチャ、アテンション メカニズムを含む) を深く理解する必要があり、モデルの微調整と最適化 - ヒューマン フィードバック強化学習の方法も習得する必要があります。 RLHFモデル。
(2) エンジニアリングスキル
ChatGPT は、データの前処理、モデルのトレーニング、チューニングなどの複雑なエンジニアリング機能を必要とするプロジェクトです。
Deep Blue Academy は、変圧器と RLHF の原理をエンジニアリングの実践と組み合わせて、「生成事前トレーニング言語モデル: 理論と実践」コースを開始しました。古典的な言語モデルから始めて、徐々に GPT モデルに深く入り込み、GPT のコア モジュールを詳細に分解し、最終的には全員が独自の mini-ChatGPT を実現できるように導きます。このコースでは原理を説明しながらコードの実践にも重点を置いており、データの前処理からモデルのトレーニングとチューニングまで、10 の実践的なプロジェクトのコード実装が各アルゴリズム理論に散りばめられています。
Deep Blue Academy miniChatGPT プロジェクトの紹介
QRコードをスキャンして詳細をご覧ください
備考【615 】、プライオリティパス！
コース講師
黄佳
シンガポール科学技術研究庁の人工知能の上級研究員。主な研究方向は、NLP 大規模モデル、継続学習、フィンテックにおける AI、分光測定データにおける AI の開発と応用です。『基礎機械学習』や『データ分析十章』などのベストセラー書籍を多数執筆しており、長年にわたってデータサイエンスの分野に深く携わり、豊富な科学研究プロジェクトと研究成果を蓄積してきました。政府、銀行、エネルギー、医療分野での AI プロジェクトの実装、実務経験。
コース概要
(クリックすると大きな画像が表示されます)
コースの目的
このコースでは、ChatGPTに代表される生成言語モデルの原理とコード実装を徹底的に理解し、独自のChatGPTを開発します。
(1) 言語モデルの古典的および主流のアルゴリズムとその開発コンテキストをマスターします。
(2) ChatGPT のいくつかのコア技術を深く理解する。
(3) ChatGPT のミニ版を手動で実装します。
収穫
1. 最新の NLP テクノロジーの主要なコアと完全なコンテキストを取得します (あまり理解する必要のない古いものはすべて放棄します)。
2. 独自の簡易バージョンの ChatGPT (生成言語モデル) を構築します。
3. NLP分野の基本的なプログラミングスキルとPyTorchの主要コンテンツをマスターします。
4. アテンション メカニズムと Transformer アーキテクチャの核となるアイデアとコード実装をマスターします。
コースサービス
1. 3部門による支援
講師とティーチングアシスタントは質問にタイムリーに答え、校長はクラスを率いてプロセス全体を監督し、先延ばしを克服して継続的に進歩できるように支援します。
2. 定期クラスミーティング
ティーチング・アシスタントは 1 対 1 で宿題を添削し、クラス会議でコメントや指導を行い、クラス会議でより多くのスキルを学び、交流でより多くのアイデアを獲得します。
もっと相談する
QRコードをスキャンして詳細をご覧ください
備考【615 】、友達経由のみ！
