labml-nn ライブラリには、さまざまなニューラル ネットワークと関連アルゴリズムのシンプルな PyTorch 実装が統合されており、ディープ ラーニング モデルを迅速に開発するのに役立ちます。コードを 1 行ずつ説明するドキュメントも付属しています。
1. ウェブサイト
ディープ ラーニング モデルのコードを 1 行ずつ説明する Web サイト ( https://nn.labml.ai/ )を共有します。この Web サイトには、すべての主流モデルが含まれています。
本ウェブサイトの中国語翻訳サイト：https ://nn.labml.ai/zh/
この Web サイトでは、ディープ モデルのコードを 1 行ずつ説明しています。
2.主な収録機種
収録されている主なモデルは、
| タイプ | プロジェクト |
|---|---|
| トランスフォーマー | マルチヘッド アテンション、トランスフォーマー ビルディング ブロック、トランスフォーマー XL、相対マルチヘッド アテンション、回転位置埋め込み (RoPE)、リニア バイアス付きアテンション (ALiBi)、RETRO、圧縮トランスフォーマー、GPT アーキテクチャ、GLU バリアント、kNN-LM: Passed Memory実装の一般化、フィードバック トランスフォーマー、スイッチ トランスフォーマー、高速ウェイト トランスフォーマー、FNet、アテンション フリー トランスフォーマー、マスク言語モデル、MLP ミキサー: ビジョン用の完全な MLP アーキテクチャ、アテンション MLP (gMLP)、ビジュアル トランスフォーマー (ViT)、Primer EZ、Hourglass |
| エレウザー GPT-NeoX | 48GB GPU で生成され、2 つの 48GB GPU で微調整された LLM.int8() |
| 普及モデル | ノイズ除去拡散確率モデル (DDPM)、ノイズ除去拡散暗黙モデル (DDIM)、潜在拡散モデル、安定拡散 |
| 敵対的生成ネットワーク | オリジナル GAN、ディープ畳み込みネットワークを備えた GAN、Cycle GAN、Wasserstein GAN、勾配ペナルティを備えた Wasserstein GAN、StyleGAN 2 |
| 循環型高速道路ネットワーク | 環状道路網 |
| LSTM | |
| ハイパーネットワーク - HyperLSTM | ハイパーネットワーク - HyperLSTM |
| レスネット | 残留ネットワーク |
| 変換ミキサー | |
| カプセルネットワーク | |
| ユーネット | |
| スケッチRNN | |
| グラフニューラルネットワーク | グラフ アテンション ネットワーク (GAT)、グラフ アテンション ネットワーク v2 (GATv2) |
| 強化学習 | 近接ポリシーの最適化と一般化された利点の推定、デュアル ネットワークを備えたディープ Q ネットワーク、優先リプレイおよびデュアル Q ネットワーク |
| 反事実的後悔の最小化 (CFR) | CFR を使用して、ポーカーなどの不完全な情報を含むゲームを解決します。クーンポーカー |
| オプティマイザー | Adam、AMSGrad、予熱付きの Adam オプティマイザー、Noam オプティマイザー、修正された Adam オプティマイザー、AdaBelief オプティマイザー、Sophia-G オプティマイザー |
| 正規化層 | バッチ正規化、レイヤー正規化、インスタンス正規化、グループ正規化、重み正規化、バッチチャネル正規化、DeepNorm |
| 蒸留 | |
| 適応型計算 | 熟考ネット |
| 不確実性 | 分類の不確実性を定量化するための証拠に基づいた深層学習 |
| アクティベーション | ファジー タイルのアクティブ化 |
| 言語モデルのサンプリング手法 | 貪欲サンプリング、温度サンプリング、トップ k サンプリング、核サンプリング (Nucleus Sampling) |
| スケーラブルなトレーニング/推論 | Zero3 メモリの最適化 |
3.githubコード
https://github.com/labmlai/annotated_deep_learning_paper_implementations/tree/master/labml_nn
4.pipのインストール
pip install labml-nn