ハグフェイスがネットワークのせいでコード内に設定したモデルとデータをダウンロードできない問題を解決(擬似)

ハグフェイスのモデルダウンロード

実際には、 git を使用して手動でダウンロードします
。具体的な方法は次のとおりです。

sudo apt-get update
sudo apt-get install git-lfs
git lfs install 

それからgit clone https://huggingface.co/roberta-large

ハグフェイスデータセットのダウンロード

まず、一部のデータ セットは git 経由でダウンロードすることもできます (データ セットのページを開くと、ファイルにはデータ セット自体が含まれます。一部のデータ セット ファイルには、データ セットをダウンロードするための Python スクリプト ファイルしか含まれていません。このようなものです)動作しません）

その場合は、はしごを終了するか、ネットワークを変更して、ローカルにダウンロードしてからサーバーにアップロードするだけです。

# 下载并本地存储
from datasets import load_dataset
dataset = load_dataset('super_glue', 'cb', cache_dir='./raw_datasets')
dataset.save_to_disk('superglue_cb')

# 读取本地的文件
from datasets import load_from_disk
raw_dataset = load_from_disk("saved_to_disk/superglue_cb")