導入
TigerBot は、多言語およびマルチタスクの大規模言語モデル (LLM) です。パブリック NLP データセットに関する OpenAI InstructGPT 論文の自動評価によると、TigerBot-7B は同じサイズの OpenAI モデルの総合パフォーマンスの 96% に達しており、これは私たちの MVP にすぎません。探査結果:
モデル: TigerBot-7B、TigerBot-7B ベース、TigerBot-180B (研究バージョン)、
コード: 基本トレーニングおよび推論コード (デュアル カード推論 180B モデルの量子化および推論コードを含む)、
データ: 事前トレーニング 100G、2TB からフィルタリングデータはノイズ除去、重複除去、クリーン化されており、1G または 100 万個のデータを監視および微調整しており、10 の主要カテゴリと 120 のサブカテゴリの一般的なユーザー指示を比例的にカバーしています コード不要のトレーニングと独自の大規模モデルとデータの
使用、
ドメイン データ: 金融、法律、百科事典、大規模モデルのアプリケーション開発者をカバーし、中国で世界クラスのアプリケーションを作成するよう招待されます。
BLOOM に基づいて、モデル アーキテクチャとアルゴリズムを次のように最適化しました。
この命令は、より良い学習性を得るために教師あり微調整の革新的なアルゴリズムを完成させ、
アンサンブルおよび確率的モデリング手法を使用して、より制御可能な事実性と生成性を実現します。
並行トレーニングでは、次のような主流のフレームワークにおけるいくつかの記憶とコミュニケーションの問題をブレークスルーしました。ディープスピードにより、キロカロリー環境で数か月間中断のない動作が発生しましたが、
中国語のより不規則な分布のために、トークナイザーからトレーニング アルゴリズムまで、より適切なアルゴリズムの最適化が行われました。