Xinference Models Hub#

Added in version v1.13.0.

Überblick#

Xinference Models Hub ist eine einheitliche Plattform von Xinference für die Verwaltung und Zusammenarbeit an Modellen. Sie bietet durchgängige Unterstützung für das Durchsuchen, Registrieren, Überprüfen, Aktualisieren und die gemeinsame Wartung von Modellen und richtet sich sowohl an normale Benutzer als auch an Modellwartende mit umfassenden Funktionen für den gesamten Prozess.

Vor der Einführung von Models Hub mussten Modell-JSON-Dateien von Benutzern direkt per PR im Open-Source-Repository xorbitsai/inference geändert werden. Diese Methode führte zu unkontrollierbaren Modellversionen, langen Iterationszyklen und einer Abhängigkeit der Modellaktualisierungen vom Produktveröffentlichungsprozess, sodass Benutzer nicht rechtzeitig die neuesten Modelle erhalten konnten.

Durch den zentralisierten Online-Modellverwaltungsmechanismus erfordert der Xinference Models Hub, dass alle Modellinformationen (einschließlich Metadaten, Parameter und README) auf der Plattform bearbeitet werden. Das System erstellt und reicht basierend auf den Änderungen der Modellbetreuer automatisch einen PR im xorbitsai/inference-Repository ein, was eine standardisierte, automatisierte und nachvollziehbare Abwicklung gewährleistet und Inkonsistenzen durch manuelle Änderungen vermeidet.

Der Benutzer kann jederzeit über die Modellaktualisierung-Funktion die aktuellste Modellliste abrufen, wodurch die Modellbereitstellungseffizienz und das gesamte Benutzererlebnis deutlich verbessert werden.

Benutzerhandbuch#

Dieser Abschnitt beschreibt die grundlegenden Funktionen, die von normalen registrierten Benutzern genutzt werden können.

Zielgruppe: Normale Benutzer ohne Berechtigung zur Modellregistrierung oder -wartung.

Kernfunktionen#

Normale Benutzer können öffentliche Modelle ohne Anmeldung durchsuchen:

Modell durchsuchen#

  • Funktion: Alle öffentlich verfügbaren Modelle anzeigen

  • Eingangsposition: Navigationsleiste → „Models“

  • Modelldetails: Standardmäßig wird das README-Tag angezeigt, das Modellbeschreibungen, Nutzungsanleitungen und wichtige Hinweise enthält.

Bemerkung

Einige erweiterte oder Unternehmensmodelle sind nur für Benutzer mit entsprechenden Berechtigungen sichtbar.

Modellwartungsleitfaden#

Dieser Abschnitt stellt die Funktionen vor, die Benutzern mit Berechtigungen zur Modellregistrierung oder -wartung zur Verfügung stehen, einschließlich des Prozesses der Modellregistrierung, Aktualisierung und Überprüfung.

Zielgruppe: Benutzer mit Berechtigungen zur Registrierung oder Wartung von Modellen.

Kernfunktionen (Anmeldung erforderlich)#

Modellbetreuer können auf Basis der Funktionen für normale Benutzer die folgenden erweiterten Fähigkeiten nutzen:

Kundencenter#

  • Funktion: Persönliche Informationen anzeigen und verwalten

  • Eingangsposition: Avatar oben rechts → „Benutzercenter“

  • Kontoverwaltung: Aktualisieren Sie persönliche Daten, E-Mail-Adressen und andere Informationen.

  • Token-Verwaltung: Konfigurieren Sie ein persönliches GitHub-Token, um Modelle zu übermitteln oder zu aktualisieren.

Bemerkung

Wenn kein persönlicher GitHub-Token konfiguriert ist, verwendet das System beim Erstellen eines PRs den Standard-Token.

Modellregistrierung#

  • Funktion: Neues Modell registrieren und zur Überprüfung einreichen

  • Einstiegspunkt: Nach Login → Avatar oben rechts → „Modell registrieren“

Einreichungsschritte:

  1. Füllen Sie die Basis-Modellinformationen aus (Name, Engine, Format usw.).

  2. Bearbeiten Sie die README (klicken Sie auf „README abrufen“, um eine Vorlage automatisch zu generieren).

  3. Modell einreichen (Aktivieren Sie den Parameter „Öffentliches Modell“, falls Sie ein öffentliches Modell registrieren möchten)

Bemerkung

Bei der Registrierung eines öffentlichen Modells erstellt das System automatisch einen PR im Repository xorbitsai/inference.

Mein Modell#

  • Funktion: Alle mit dem aktuellen Konto verknüpften Modelle anzeigen

  • Eingangsposition: Nach der Anmeldung → Profilbild oben rechts → „Meine Modelle“

Modellpflege#

  • Funktion: JSON oder README des Modells bearbeiten

  • Eingangsposition: Modell-Detailseite → Symbol „Einstellungen“

Bemerkung

Bei der Aktualisierung öffentlicher Modelle erstellt das System automatisch einen PR im Repository xorbitsai/inference.

Prüfungsprozess#

Ablauf des Einreichers:

  1. Modell einreichen

  2. Warten auf Überprüfung

  3. Gemäß den Prüfkommentaren ändern.

  4. Bei öffentlichen Modellen wird der PR nach der Änderung automatisch aktualisiert.

Prüferberechtigungen: Zugriff auf die Modellprüfungsliste und Ausführung von Prüfaktionen.

Prüferprozess:

  1. Gehen Sie zur „Überprüfungsliste“.

  2. Bewertung der Modellqualität, Informationsvollständigkeit und Normkonformität

  3. Genehmigt oder abgelehnt, mit entsprechendem Feedback.