解决huggingface 在代码因为网络无法下载模型和数据集的问题(伪)

huggingface的模型下载

其实是用git手动下载
具体的方法:

sudo apt-get update
sudo apt-get install git-lfs
git lfs install 

然后git clone https://huggingface.co/roberta-large

huggingface数据集下载

首先有些数据集也可以通过git下载(那种,打开数据集页面,文件中有数据集本体的,有些数据集文件里只有下载数据集的python脚本文件什么的,这种就不行)

那么只能,挂梯子,或者换一个网络,本地下载,然后上传到服务器:

# 下载并本地存储
from datasets import load_dataset
dataset = load_dataset('super_glue', 'cb', cache_dir='./raw_datasets')
dataset.save_to_disk('superglue_cb')

# 读取本地的文件
from datasets import load_from_disk
raw_dataset = load_from_disk("saved_to_disk/superglue_cb")

猜你喜欢

转载自blog.csdn.net/Defiler_Lee/article/details/132825677
今日推荐