Installation auf der Ascend NPU

Xinference kann auf der Ascend NPU ausgeführt werden. Verwenden Sie den folgenden Befehl zur Installation.

Warnung

Die Open-Source-Version ist für die Inferenz auf Transformers angewiesen, was auf Chips wie dem 310p3 zu langsamer Ausführung führen kann. Wir bieten eine Unternehmensversion an, die die MindIE-Engine unterstützt, leistungsstärker ist und eine bessere Kompatibilität für Ascend NPU bietet. Weitere Details finden Sie unter Xinference Enterprise Edition.

Installieren Sie PyTorch und die Ascend-Erweiterung

Installieren Sie die PyTorch CPU-Version und die entsprechende Ascend-Erweiterung.

Am Beispiel von PyTorch v2.1.0.

pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu

Installieren Sie die Ascend PyTorch-Erweiterung.

pip3 install 'numpy<2.0'
pip3 install decorator
pip3 install torch-npu==2.1.0.post3

Führen Sie den folgenden Befehl aus, um zu überprüfen. Wenn er normal ausgeführt wird, wird die Anzahl der Ascend NPUs ausgegeben.

python -c "import torch; import torch_npu; print(torch.npu.device_count())"

Installieren Sie Xinference

pip3 install xinference

Sie können nun auf die Dokumentation verweisen, um Xinference zu verwenden. Transformers ist der einzige Open-Source-Engine, der die Ascend NPU unterstützt.

Unternehmensunterstützung

Wenn Sie auf dem Ascend NPU auf Leistungs- oder andere Probleme stoßen, wenden Sie sich bitte an die Xinference Enterprise Edition. Kontaktieren Sie uns hier.