Einbettung#

Erfahren Sie, wie Sie Text-Embeddings in Xinference erstellen.

Entschuldigung, ich benötige den spezifischen chinesischen Text, den Sie übersetzen möchten. Bitte geben Sie den Inhalt an.#

Texteinbettungen werden verwendet, um die Relevanz zwischen verschiedenen Texten zu quantifizieren. Sie können in verschiedenen Anwendungen eingesetzt werden, darunter Suche, Clustering, Empfehlungen, Anomalieerkennung, Diversitätsmetriken und Klassifizierung.

Ein Embedding ist ein Vektor von Gleitkommazahlen. Die Nähe zwischen zwei Vektoren kann als Indikator für ihre Ähnlichkeit dienen. Ein geringerer Abstand bedeutet eine höhere Korrelation, während ein größerer Abstand auf eine geringere Korrelation hinweist.

Über die Embeddings API können Modelle in Xinference aufgerufen werden, um Einbettungen zu erstellen. Die Embeddings API ahmt die create embeddings API von OpenAI nach.

API-Endpunkt	OpenAI-kompatibler Endpunkt
Embeddings API	/v1/embeddings

Unterstützte Modelle#

Sie können alle eingebetteten Modelle in Xinference anzeigen.

Schnellstart#

Wir können die Embeddings API über cURL, den OpenAI Client oder den Python-Client von Xinference ausprobieren.

curl -X 'POST' \
  'http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1/embeddings' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "<MODEL_UID>",
    "input": "What is the capital of China?"
  }'

import openai

client = openai.Client(
  api_key="cannot be empty",
  base_url="http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1"
)
client.embeddings.create(
  model=model_uid,
  input=["What is the capital of China?"]
)

from xinference.client import Client

client = Client("http://<XINFERENCE_HOST>:<XINFERENCE_PORT>")

model = client.get_model("<MODEL_UID>")
input = "What is the capital of China?"
model.create_embedding(input)

{
  "object": "list",
  "model": "<MODEL_UID>",
  "data": [{
    "index": 0,
    "object": "embedding",
    "embedding": [
      -0.014207549393177032,
      -0.01832585781812668,
      ...
      -0.03009396605193615,
      0.05420297756791115]
  }],
  "usage": {
    "prompt_tokens": 37,
    "total_tokens": 37
  }
}

Sie können weitere Beispiele für die embed-Funktion im Tutorial-Notebook finden.

LangChain Streamlit Dokumenten-Dialog

Lernen Sie anhand eines Beispiels, wie Sie die Embedding-API über LangChain verwenden.

https://github.com/xorbitsai/inference/blob/main/examples/LangChain_Streamlit_Doc_Chat.py

FAQ#

Unterstützt LLM die Embeddings-API in Xinference?#

No. Xinference doesn’t provide embed API for LLMs due to considerations of performance.

Bietet die Embeddings API eine Integrationsmethode mit LangChain?#

Ja, du kannst den offiziellen Xinference-Dokumentationsteil zu LangChain konsultieren. Hier ist der Link: Text Embedding Models: Xinference

Does Embeddings API support hrbrid model?#

Yes, you can use flag as the engine to deploy the model and call Embeddings API by setting the extra parameter return_parse=True which will return sparse vectors.