In einem Kubernetes-Cluster Xinference installieren.#

Basierend auf der nativen Helm-Methode#

Xinference bietet eine auf nativen Helm basierende Installationsmethode in Kubernetes-Clustern.

Vorbereitungsbedingungen#

  • Ein verfügbarer Kubernetes-Cluster.

  • Aktivieren Sie GPU-Unterstützung in Kubernetes, siehe hier.

  • Helm korrekt installieren.

Konkrete Schritte#

  1. Füge das Xinference Helm-Repository hinzu

    helm repo add xinference https://xorbitsai.github.io/xinference-helm-charts

  2. Aktualisiere das Repositorium-Index und durchsuche die installierbaren Versionen.

    helm repo update xinference
helm search repo xinference/xinference --devel --versions

  3. Installation

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version>

Benutzerdefinierte Installation#

Die oben genannte Installationsmethode installiert eine Art Standalone-Xinference, das heißt, es gibt nur einen Knoten, während alle anderen Startparameter auf den Standardwerten belassen werden.

Im Folgenden werden einige gängige benutzerdefinierte Installationskonfigurationen gezeigt.

  1. Ich muss das Modell von ModelScope herunterladen.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.model_src="modelscope"

  2. Ich möchte das CPU-Image von Xinference (oder ein Image einer anderen Version) verwenden.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.xinference_image="<xinference_docker_image>"

  3. Ich muss 4 Xinference-Worker-Knoten starten, wobei jeder Worker 4 GPUs verwaltet.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.worker_num=4 --set config.gpu_per_worker="4"

Die obige Installationsmethode basiert auf der Helm-Option --set. Für komplexere benutzerdefinierte Installationsszenarien, wie z. B. die gemeinsame Nutzung von Speicher durch mehrere Worker, wird dringend empfohlen, Ihre eigene values.yaml-Datei zu verwenden und die Installation über die Helm-Option -f durchzuführen.

The default values.yaml file is located here. Some examples can be found here.

Basierend auf der Drittanbieter-Methode KubeBlocks#

Du kannst Xinference auch über den Drittanbieter KubeBlocks in einem K8s-Cluster installieren. Diese Methode wird nicht offiziell von Xinference gewartet, daher kann die Aktualität und Verfügbarkeit nicht strikt garantiert werden. Siehe Dokumentation .