Ключевые слова : pip, git lfs
pip загружает указанную версию коммита из git
С горячей разработкой больших моделей PEFT и преобразователи также часто обновляются.Часто видно, что программный пакет, установленный в требованиях, исходит из хэша коммита в github, например, в требованиях:
peft @ git+https://github.com/huggingface/peft.git@e536616888d51b453ed354a6f1e243fecb02ea08
Если при установке возникают сбои, например проблемы с сетью, вы можете вручную установить этот пакет отдельно.Существует два метода:
- Ручная установка pip, указание
git commit hash
pip install git+https://github.com/huggingface/peft@e536616888d51b453ed354a6f1e243fecb02ea08
- Загрузите соответствующую библиотеку на github, переключитесь на соответствующую
commit hashи установите ее вручную.
git clone https://github.com/huggingface/peft.git
cd peft
git checkout e536616888d51b453ed354a6f1e243fecb02ea08
# 查看当前版本对应的commmit hash
git rev-parse --short HEAD
# 安装该commit hash下的版本
pip install .
git lfs скачать большие файлы
В настоящее время большинство больших моделей с открытым исходным кодом хранятся в Huggingface Models , которые можно скачать через git lfs.
Проверив git-lfs --version, установлен ли он, если он не установлен, вы можете обратиться к git-lfs для его установки.
- Загрузите файлы моделей из моделей Huggingface, например
git clone https://huggingface.co/THUDM/chatglm-6b
Поскольку файл модели относительно большой, вы можете сначала загрузить файл указателя, а затем загрузить файл lfs, чтобы скорость загрузки и ход выполнения отображались в режиме реального времени.
git clone https://huggingface.co/THUDM/chatglm-6b
cd chatglm-6b
git lfs pull
Ссылка на конкретное использование : https://zzz.buzz/zh/2016/04/19/the-guide-to-git-lfs/
----------КОНЕЦ----------