Huggingface上传自己的预训练模型(大小权重都可以)

1.安装

$ curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
$ sudo apt-get install git-lfs
$ git lfs install
$ pip install huggingface_hub

2.登录

使用huggingface-cli login命令进行登录,登录过程中需要输入用户的Access Tokens 。这里需要先到网站页面上进行设置然后复制过来进行登录。

$ huggingface-cli login

        _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
        _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
        _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
        _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
        _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

        To login, `huggingface_hub` now requires a token generated from https://huggingface.co/settings/token.
        (Deprecated, will be removed in v0.3.0) To login with username and password instead, interrupt with Ctrl+C.
        
Token: 
Login successful

3.创建项目

$ huggingface-cli repo create model_name

如果你想要手动创建,则可以直接在Huggingface上new一个Model就可以跳过这一步了。

4.克隆仓库并准备上传

$ git lfs install
$ git clone https://huggingface.co/username/model_name

克隆来以后就可以把需要上传的文件放入到这个下载的model_name文件夹中。

这个时候如果你发现你上传的文件的大小大于5GB,你就应该运行以下命令,否则可以不运行:

$ huggingface-cli lfs-enable-largefiles ./path/to/your/repo

5.上传模型

$ git add .
$ git commit -m "commit from $USER"
$ git push

第一次上传可能出现让你输入账号密码,只需要按照要求输入即可。

参考

  1. https://juejin.cn/post/7081452948550746148
  2. https://blog.csdn.net/javastart/article/details/122648199

猜你喜欢

转载自blog.csdn.net/u014297502/article/details/130892102