Modellquelle

Xinference unterstützt das Herunterladen verschiedener Modelle aus unterschiedlichen Quellen.

HuggingFace

Xinference lädt standardmäßig die benötigten Modelle direkt aus dem offiziellen Hugging Face Modell-Repository herunter.

Bemerkung

Falls dein Netzwerk keine Verbindung zu HuggingFace herstellen kann, kannst du über die Umgebungsvariable die HuggingFace Mirror-Seite angeben: HF_ENDPOINT=https://hf-mirror.com.

ModelScope

Wenn Xinference erkennt, dass die Systemsprache auf „Vereinfachtes Chinesisch“ eingestellt ist, wird die Download-Quelle für Modelle auf ModelScope gesetzt.

Sie können dies auch erreichen, indem Sie die Umgebungsvariable XINFERENCE_MODEL_SRC=modelscope manuell setzen.

Bitte überprüfen Sie auf der Detailseite des Modells, ob es einen Download von ModelScope unterstützt. Wenn ein Modell den Download von ModelScope unterstützt, enthält das Feld „Model Hubs“ in den Modellinformationen den Eintrag „ModelScope“.