schreibe vorne
In einer Zeit, in der große Modelle weit verbreitet sind, ist es für Forscher, die keine Verbindung zum externen Netzwerk auf dem Server herstellen können, wirklich schwierig. Jedes Mal, wenn sie große Modelle wie CLIP und BLIP ausprobieren möchten, erhalten sie „requests.Exceptions.ConnectionError: (MaxRetryError ("HTTPSConnectionPool(host='huggingface.co', port=443)" oder "requests.Exceptions.ConnectionError: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443)): Max. Wiederholungsversuche überschritten mit URL: /api/models/bert-base-uncased/tree/main?recursive=True&expand=False (Verursacht durch NewConnectionError('<urllib3.connection.HTTPSConnection-Objekt bei 0x7f4326e15e50>: Fehler beim Herstellen einer neuen Verbindung: [Errno 101 ] Netzwerk ist nicht erreichbar'))"), '(Anfrage-ID: 390a0157-95dd-416d-80c5-79f4fdd4b6d1)')" ähnliche "Belohnungen".
Tatsächlich liegt der Hauptgrund darin, dass kein Zugriff auf das externe Netzwerk möglich ist und die vorab trainierten Gewichte nicht von Huggingface heruntergeladen werden können. Eine einfache Möglichkeit besteht darin, die vorab trainierte Gewichtsdatei lokal herunterzuladen und dann auf den Server hochzuladen. Nach der Suche nach relevanten Tutorials im Internet ist die Verwendung jedoch nicht besonders einfach. Ich nehme sie hier auf, damit ich darauf stoßen kann ähnliche Probleme in der Zukunft. Fragenreferenz.
Im Folgenden wird als Beispiel ein BLIP-Aufruf von BERT verwendet.
Die Fehleranweisung lautet:
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
Lösung
1. Rufen Sie die offizielle Huggingface-Website auf: https://huggingface.co/
2. Geben Sie den Namen des Modells, das Sie herunterladen möchten, in das Suchfeld ein, z. B. bert-base-uncased
3. Suchen Sie den Link, der dem von Ihnen gewünschten Modell entspricht wie in der Abbildung gezeigt, und klicken Sie darauf. Klicken Sie auf Dateien und Versionen .
4. Laden Sie die erforderlichen Dateien herunter. Hier müssen Sie am Beispiel von Torch vier Dateien herunterladen, nämlich config.json , pytorch_model.bin , tokenizer.json und vocab.txt
. 5. Erstellen Sie lokal einen neuen Ordner. Ich nenne hier BERT und lade dann die oben genannten vier Dateien in dieses Verzeichnis herunter. Hinweis: Der Dateiname und das Suffix können nicht geändert werden.
6. Laden Sie den Ordner in den Ordner hoch, in dem sich das Serverprojekt befindet, und verwenden Sie die Parameter in from_pretrained()
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
Ändern, um den Ordnerpfad auf dem Server zu ändern, z
tokenizer = BertTokenizer.from_pretrained('/data/timer/BLIP/BERT')
Dies liegt hauptsächlich daran, dass BertTokenizer.from_pretrained() mehrere Parameter akzeptieren kann, Kurznamen (abgekürzter Name, ähnlich wie bert-base-uncased), Bezeichnernamen (ähnlich wie microsoft/DialoGPT-small), Ordner und Dateien.
Tatsächlich gibt es entsprechende Online-Tutorials, die jedoch kein Beispiel enthalten oder nicht umfassend genug sind. Insbesondere gibt es keine besonders detaillierten Anweisungen zum Platzieren heruntergeladener Dateien. Ich hoffe, dieser Blog kann allen helfen.
Referenz: