Willkommen bei Xinference!#
Xorbits Inference (Xinference) ist eine Open-Source-Plattform zur Vereinfachung des Betriebs und der Integration verschiedener KI-Modelle. Mit Xinference können Sie jedes Open-Source-LLM, Einbettungsmodell und multimodale Modell in der Cloud oder in der lokalen Umgebung ausführen und leistungsstarke KI-Anwendungen erstellen.
Verwendung von Xinference zur Entwicklung von KI-Anwendungen in realen Szenarien#
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
# Chat to LLM
model.chat(
messages=[{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "What is the largest animal?"}],
generate_config={"max_tokens": 1024}
)
# Chat to VL model
model.chat(
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What’s in this image?"},
{
"type": "image_url",
"image_url": {
"url": "http://i.epochtimes.com/assets/uploads/2020/07/shutterstock_675595789-600x400.jpg",
},
},
],
}
],
generate_config={"max_tokens": 1024}
)
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.create_embedding("What is the capital of China?")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_image("An astronaut walking on the mars")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
with open("speech.mp3", "rb") as audio_file:
model.transcriptions(audio_file.read())
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
query = "A man is eating pasta."
corpus = [
"A man is eating food.",
"A man is eating a piece of bread.",
"The girl is carrying a baby.",
"A man is riding a horse.",
"A woman is playing violin."
]
print(model.rerank(corpus, query))
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_video("")
Erste Schritte#
Installation von Xinference unter Linux, Windows und macOS.
Führen Sie zuerst Xinference auf dem lokalen Computer aus.
Entdecken Sie die verschiedenen Modelle, die Xinference unterstützt.
Registrieren Sie die Modellgewichte und konvertieren Sie sie in eine API.
API erkunden#
Lernen Sie, wie Sie mit LLM in Xinference chatten.
Lernen Sie, wie Sie LLM mit externen Tools verbinden.
Erfahren Sie, wie Sie Text-Embeddings in Xinference erstellen.
Erfahren Sie, wie Sie das Re-Ranking-Modell in Xinference verwenden.
Lernen Sie, mit Xinference Bilder zu generieren.
Lernen Sie, wie Sie mit LLM Bilder und Audio verarbeiten.
Lernen Sie, wie Sie mit Xinference Audio in Text oder Text in Audio umwandeln.
Lernen Sie, wie Sie mit Xinference Videos generieren.
Verstehen Sie, wie man traditionelle maschinelle Lernmodelle mit Xinference ableitet.
Nehmen Sie an uns teil.#
Aktuelle Nachrichten
Folge uns auf Twitter
Hilfe suchen
Discord-Community
Tritt der Telegram-Gruppe bei
auf Github ein Issue eröffnen
Beitrag
PR auf Github erstellen