跳至主要內容
開發者資源
開發者資源

AnythingLLM

安裝 AnythingLLM,為 RunAPI 配置其 Generic OpenAI 供應商,選擇模型限制,並驗證工作區聊天。

AnythingLLM 為相容的 Chat Completions 服務提供以開發者為中心的OpenAI (generic)提供商。開始前,請在身份驗證指南中建立標準 RunAPI API 金鑰,並從模型目錄選擇模型。

安裝 AnythingLLM

使用官方 AnythingLLM 安裝指南安裝桌面版或自架版。開啟 AnythingLLM 並在更改 LLM 供應商前完成初始設定。

配置 OpenAI(通用)

  1. 開啟Settings → LLM Preference,選擇OpenAI (generic)
  2. 輸入 https://runapi.ai/v1 作為Base URL。請勿附加 /chat/completions;AnythingLLM 會自動加入操作路徑。
  3. 輸入您的 RunAPI API 金鑰。
  4. Selected Model下選擇確切的 RunAPI 識別碼。若模型清單為空,請從模型目錄輸入識別碼。
  5. Model context windowMax Tokens設定為該模型所支援的數值,然後儲存提供商。

AnythingLLM 使用Model context window來分配系統指令、歷史記錄和用戶輸入的預算。它將Max Tokens作為 max_tokens 傳送,因此這些值必須依照所選模型設定,而非使用通用範例。

驗證連線

建立或開啟工作區,開始聊天,然後發送 Reply with the word connected. 文字回覆確認工作區正在使用已儲存的 RunAPI 提供者及所選模型。

疑難排解

  • 未列出任何模型: 請確認 Base URL 確實為 https://runapi.ai/v1,然後手動輸入當前的模型識別碼。
  • 請求因長度而被拒絕: 請縮減工作區歷史記錄,或根據所選模型的當前限制修正 Model context windowMax Tokens
  • 身份驗證失敗: 請在 OpenAI (generic) 中以來自身份驗證指南的有效標準金鑰更新 API 金鑰。
  • 工作區由另一個模型回覆: 請重新開啟 LLM Preference,確認 OpenAI (generic) 已啟用,然後再次儲存預期的 Selected Model

有關共享協議行為,請使用 LLM API 快速入門。有關請求及回應欄位,請使用 Chat Completions API 參考