Beispiel

Hier finden Sie Beispiele und Lernressourcen zur Nutzung von Xinference.

Beispiel

End-to-End-Anwendung mit Xinference:

• Podcast: Sprachdialog mit einem KI-Agenten auf dem M2 Max

• Interaktion mit LLM-Modellen: Kommandozeilenbeispiel

• Interaktion mit LLM-Modellen: Gradio-Chatseitenbeispiel

• PDF-Chatbot mit lokalem LLM und Embedding-Modell

• Lokale Dokumentenkonversation mit LangChain und Streamlit

Wenn du in deinem eigenen Arbeitsablauf auf andere Beispiele stößt, ermutigen wir dich, einen PR beizutragen!

Tutorial

Das folgende Tutorial behandelt die Grundlagen der Verwendung von Xinference in verschiedenen Szenarien:

• [Notebook] Verwendung von Xinference, Milvus und LangChain für eine Frage-Antwort (QA)-Anwendung

• Verwendung von lokalen LLMs mit Xinference in LlamaIndex

• [Chinese] 如何让 Chatbox 接入开源大模型，实现免费聊天

• [Chinese] 摆脱 OpenAI 依赖，8 分钟教你用开源生态构建全栈 AI 应用

• [Chinese] 使用全套开源工具构建 LLM 应用实战： 在 Dify 调用 Baichuan 开源模型能力

Integration von Drittanbieter-Bibliotheken

Xinference kann Open-Source-KI-Modelle nahtlos integrieren und bereitstellen und unterstützt daher die wichtigsten Toolkits im KI-Bereich. Xinference kann mit den folgenden Drittanbieterbibliotheken verwendet werden:

• LangChain Text Embedding Models and LLMs

• LlamaIndex Xinference LLM