Przejdź do treści
Zasoby dla deweloperów
Zasoby dla deweloperów

AnythingLLM

Zainstaluj AnythingLLM, skonfiguruj jego dostawcę Generic OpenAI dla RunAPI, wybierz limity modeli i zweryfikuj czat w obszarze roboczym.

Zobacz Markdown

AnythingLLM udostępnia dostawcę OpenAI (generic) ukierunkowanego na programistów, przeznaczonego do obsługi kompatybilnych usług Chat Completions. Przed rozpoczęciem utwórz standardowy klucz API RunAPI zgodnie z Przewodnikiem uwierzytelniania i wybierz model z Katalogu modeli.

Instalacja AnythingLLM

Zainstaluj wersję desktopową lub samodzielnie hostowaną, korzystając z oficjalnego przewodnika instalacji AnythingLLM. Otwórz AnythingLLM i zakończ jego inicjalną konfigurację przed zmianą dostawcy LLM.

Konfiguracja OpenAI (ogólna)

  1. Otwórz Settings → LLM Preference i wybierz OpenAI (generic).
  2. Wprowadź https://runapi.ai/v1 jako Base URL. Nie dodawaj /chat/completions; AnythingLLM samodzielnie dołącza ścieżkę operacji.
  3. Wprowadź swój klucz API RunAPI.
  4. Wybierz dokładny identyfikator RunAPI w polu Selected Model. Jeśli lista modeli jest pusta, wpisz identyfikator z Katalogu modeli.
  5. Ustaw Model context window i Max Tokens na wartości obsługiwane przez dany model, a następnie zapisz dostawcę.

AnythingLLM używa Model context window do budżetowania instrukcji systemowych, historii i danych wejściowych użytkownika. Wysyła Max Tokens jako max_tokens, dlatego wartości te muszą być dostosowane do wybranego modelu, a nie do uniwersalnego przykładu.

Weryfikuj połączenie

Utwórz lub otwórz obszar roboczy, rozpocznij czat i wyślij wiadomość Reply with the word connected. Odpowiedź tekstowa potwierdza, że obszar roboczy korzysta z zapisanego dostawcy RunAPI i wybranego modelu.

Rozwiązywanie problemów

  • Brak modeli na liście: zweryfikuj, czy Base URL to dokładnie https://runapi.ai/v1, a następnie ręcznie wprowadź aktualny identyfikator modelu.
  • Żądanie jest odrzucane ze względu na długość: zmniejsz historię obszaru roboczego lub popraw Model context window i Max Tokens, korzystając z aktualnych limitów wybranego modelu.
  • Uwierzytelnianie kończy się niepowodzeniem: zaktualizuj klucz API w OpenAI (generic), podając prawidłowy klucz standardowy z Przewodnika po uwierzytelnianiu.
  • Inny model odpowiada w obszarze roboczym: otwórz ponownie LLM Preference, potwierdź, że OpenAI (generic) jest aktywny, i ponownie zapisz zamierzony Selected Model.

W przypadku wspólnego zachowania protokołu skorzystaj z Szybkiego startu LLM API . W przypadku pól żądania i odpowiedzi skorzystaj z Dokumentacji interfejsu Chat Completions API.