Huggingface lädt den lokalen Datensatz herunter und lädt ihn

Einzelheiten finden Sie auf der offiziellen Website Hauptklassen

Laden Sie den Datensatz in den angegebenen Pfad herunter:

Zum Beispiel:

from datasets import load_dataset, load_from_disk
books = load_dataset("opus100", "en-zh")
books.save_to_disk('./opus100')  

Laden Sie es in den opus100-Ordner auf der aktuellen Seite herunter

Die heruntergeladene Datei ist wie in der Abbildung dargestellt

Lokalen Datensatz laden:

ds = load_from_disk("./opus100")

 Sie können auch den Typ ändern

B. to_csv, to_pandas, to_dict, to_json usw

Acho que você gosta

Origin blog.csdn.net/lishijie258/article/details/130336978
Recomendado
Clasificación