最近、チャットGLM関連のコンテンツに触れる必要があるプロジェクトのため、ローカライズされたデプロイと運用がその一つです。この学習と実践の過程で、多くのエラーが報告されました。ここでは主に、さまざまなエラー報告をまとめます。どなたでも歓迎です。私たちは解決策を通じて、同じように困っている人々を助けたいと考えています。
質問 1
LLaMA-13b モデルの重みと Vicuna デルタの重みをマージおよび統合すると、次のようにエラー「configuration_auto.py in getitem raise KeyError(key) KeyError: llama」が報告されます。
解決策は、次のようにトランスフォーマー ライブラリをアップグレードしてインストールすることです。
pip install transformers==4.28.1
質問2
公式の p-tuing 微調整メソッドを使用して chatGLM モデルをトレーニングした後、モデルの重み付けファイルをロードして開始するときにエラーが報告されます。 AttributeError: 'ChatGLMModel' object has noattribute 'prefix_encoder'
この問題についてインターネット上で多くの関連記事を見つけましたが、どれも解決策が一致していませんでした。最終的な解決策は、configuration_chatglm.py モジュールの pre_seq_len パラメータを変更することです。