AnythingLLM
AnythingLLM installieren, seinen Generic OpenAI-Anbieter für RunAPI konfigurieren, Modellgrenzen auswählen und einen Workspace-Chat überprüfen.
AnythingLLM stellt einen entwicklerorientierten OpenAI (generic)-Anbieter für kompatible Chat-Completions-Dienste bereit. Erstellen Sie zunächst einen standard RunAPI-API-Schlüssel im Authentifizierungsleitfaden und wählen Sie ein Modell aus dem Model Catalog.
AnythingLLM installieren
Die Desktop- oder selbst gehostete Edition mit dem offiziellen AnythingLLM-Installationsleitfaden installieren. AnythingLLM öffnen und die Ersteinrichtung abschließen, bevor der LLM-Anbieter geändert wird.
OpenAI konfigurieren (generisch)
- Öffnen Sie Settings → LLM Preference und wählen Sie OpenAI (generic).
- Geben Sie
https://runapi.ai/v1als Base URL ein. Hängen Sie/chat/completionsnicht an; AnythingLLM fügt den Operationspfad selbst hinzu. - Geben Sie Ihren RunAPI-API-Schlüssel ein.
- Wählen Sie den genauen RunAPI-Bezeichner unter Selected Model. Falls die Modellliste leer ist, geben Sie den Bezeichner aus dem Model Catalog manuell ein.
- Setzen Sie Model context window und Max Tokens auf vom Modell unterstützte Werte und speichern Sie den Anbieter.
AnythingLLM verwendet Model context window, um Systemanweisungen,
Verlauf und Benutzereingaben zu budgetieren. Es sendet Max Tokens als max_tokens, daher müssen diese Werte dem gewählten Modell entsprechen und nicht einem allgemeinen Beispiel.
Verbindung überprüfen
Erstellen oder öffnen Sie einen Arbeitsbereich, starten Sie einen Chat und senden Sie Reply with the word
connected. Eine Textantwort bestätigt, dass der Arbeitsbereich den gespeicherten RunAPI-Anbieter und das ausgewählte Modell verwendet.
Fehlerbehebung
- Es werden keine Modelle aufgelistet: Vergewissern Sie sich, dass die Base URL genau
https://runapi.ai/v1ist, und geben Sie dann eine aktuelle Modellkennung manuell ein. - Die Anfrage wird wegen Länge abgelehnt: Reduzieren Sie den Workspace-Verlauf oder korrigieren Sie Model context window und Max Tokens anhand der aktuellen Grenzwerte des ausgewählten Modells.
- Authentifizierung schlägt fehl: Aktualisieren Sie den API-Schlüssel in OpenAI (generic) mit einem gültigen Standard-Schlüssel aus der Authentifizierungsanleitung.
- Ein anderes Modell beantwortet den Workspace: Öffnen Sie LLM Preference erneut, vergewissern Sie sich, dass OpenAI (generic) aktiv ist, und speichern Sie das gewünschte Selected Model erneut.
Für das gemeinsame Protokollverhalten verwenden Sie den LLM API Quickstart. Für Anfrage- und Antwortfelder verwenden Sie die Chat Completions API Referenz.