GitHub - zjunlp/KnowLM: 知識豊富な大規模言語モデル フレームワーク。
深層学習技術の急速な発展に伴い、ChatGPTなどの大規模言語モデルは自然言語処理の分野で目覚ましい成果を上げています。ただし、これらの大規模モデルには、知識の更新の難しさ、モデル内の潜在的なエラーやバイアスなどの知識の誤りなど、知識の学習と理解において依然としていくつかの課題と問題があります。KnowLM プロジェクトは、知識の誤謬の問題を軽減するために、オープンソースの大規模モデル フレームワークと対応するモデルの重みをリリースすることを目的としています。本项目一期知識抽出のためのLlamaベースの知的分析モデルをリリースしました。元のモデルの分布を破壊することなく中国語能力を提供するために、このプロジェクトでは、まず(1) 中国語コーパスを使用して、LLaMA (13B) でさらに完全な事前トレーニングを実施し、元の英語とコード能力を維持しながらモデルをさらに改善します。中国語の理解力と知識の予備として、 (2)最初のステップで命令データ セットを使用してモデルを微調整し、人間による抽出命令に対する言語モデルの理解を向上させます。
