Beispiel: Kommandozeilen-Chatbot 🤖️#

Beschreibung:

Demonstriert, wie mit Xinference interagiert wird, um über LLM-basierte Chatfunktionen in der Befehlszeile mit dem KI-Agenten zu interagieren. 💻

Beteiligte Technik:

@ ggerganov ggml

@ Xinference als Plattform

Alle LLaMA- und Chatglm-Modelle, die von Xinference Inference unterstützt werden.

Detaillierte Erläuterung der Demonstrationsfunktion:

  1. Akzeptiert die Befehlszeileneingabe des Benutzers im Terminal und erhält die Parameter, die zum Starten des Modells erforderlich sind.

  2. Starte das Xinference-Framework und stelle das vom Benutzer angeforderte Modell automatisch im Cluster bereit.

  3. Initialisieren eines leeren Chatverlaufs, um den gesamten Kontext des Chatraums zu speichern.

  4. Fordere rekursiv die Eingabe des Nutzers als Prompt an, damit das Modell auf Basis des Prompts und des Chatverlaufs eine Antwort generiert. Zeige die Ausgabe der Antwort im Terminal an.

  5. Speichere die Eingabe des Benutzers und die Antwort des Agenten im Chatverlauf, um sie als Kontext für die kommenden Gesprächsrunden zu nutzen.

Quellcode