Naar inhoud springen
Developer Resources
Developer Resources

AnythingLLM

Installeer AnythingLLM, configureer de Generic OpenAI-provider voor RunAPI, kies modellimieten en verifieer een werkruimtechat.

Markdown bekijken

AnythingLLM biedt een ontwikkelaarsgericht OpenAI (generic)-provider voor compatibele Chat Completions-services. Maak vóór het starten een standaard RunAPI API-sleutel aan via de Authenticatiehandleiding en kies een model uit de Modelcatalogus.

AnythingLLM installeren

Installeer de desktop- of zelfgehoste editie met behulp van de officiële AnythingLLM-installatiehandleiding. Open AnythingLLM en voltooi de initiële instelling voordat u de LLM-provider wijzigt.

OpenAI configureren (algemeen)

  1. Open Settings → LLM Preference en selecteer OpenAI (generic).
  2. Voer https://runapi.ai/v1 in als de Base URL. Voeg /chat/completions niet toe; AnythingLLM voegt het bewerkingspad zelf toe.
  3. Voer uw RunAPI API-sleutel in.
  4. Kies de exacte RunAPI-identificatie onder Selected Model. Als de modellijst leeg is, typ dan de identificatie uit de Modelcatalogus.
  5. Stel Model context window en Max Tokens in op waarden die door dat model worden ondersteund en sla de provider vervolgens op.

AnythingLLM gebruikt Model context window om systeeminstructies, geschiedenis en gebruikersinvoer te budgetteren. Het verzendt Max Tokens als max_tokens, dus deze waarden moeten zijn afgestemd op het geselecteerde model en niet op een universeel voorbeeld.

De verbinding verifiëren

Maak een werkruimte aan of open er een, start een chat en stuur Reply with the word connected. Een tekstantwoord bevestigt dat de werkruimte gebruikmaakt van de opgeslagen RunAPI-provider en het geselecteerde model.

Probleemoplossing

  • Er worden geen modellen weergegeven: controleer of de Base URL exact https://runapi.ai/v1 is en voer vervolgens handmatig een actuele modelidentificator in.
  • Het verzoek wordt afgewezen vanwege de lengte: verminder de werkruimtegeschiedenis of corrigeer Model context window en Max Tokens met de actuele limieten van het geselecteerde model.
  • Authenticatie mislukt: werk de API-sleutel bij in OpenAI (generic) met een geldige standaardsleutel via de Authenticatiehandleiding.
  • Een ander model beantwoordt de werkruimte: open LLM Preference opnieuw, controleer of OpenAI (generic) actief is en sla het gewenste Selected Model opnieuw op.

Gebruik de LLM API-snelstart voor het gedeelde protocolgedrag. Gebruik de Chat Completions API-referentie voor aanvraag- en antwoordvelden.