跳到主要內容
開發者資源
開發者資源

AnythingLLM

安裝 AnythingLLM,為 RunAPI 設定其 Generic OpenAI 提供者,選擇模型限制,並驗證工作區聊天。

AnythingLLM 為相容的 Chat Completions 服務提供以開發者為導向的 OpenAI (generic) 提供者。開始之前,請依照身分驗證指南建立標準 RunAPI API 金鑰,並從模型目錄選擇一個模型。

安裝 AnythingLLM

使用 AnythingLLM 官方安裝指南安裝桌面版或自架版本。開啟 AnythingLLM 並完成初始設定後,再變更 LLM 提供者。

設定 OpenAI(通用)

  1. 開啟 Settings → LLM Preference,並選取 OpenAI (generic)
  2. 輸入 https://runapi.ai/v1 作為 Base URL。請勿附加 /chat/completions;AnythingLLM 會自動加上操作路徑。
  3. 輸入您的 RunAPI API 金鑰。
  4. Selected Model 下選擇確切的 RunAPI 識別碼。若模型清單為空,請從模型目錄輸入識別碼。
  5. Model context windowMax Tokens 設為該模型所支援的數值,然後儲存提供者。

AnythingLLM 使用 Model context window 來分配系統指令、歷史記錄與使用者輸入的預算。它會將 Max Tokens 作為 max_tokens 傳送,因此這些數值必須依據所選模型設定,而非套用通用範例值。

驗證連線

建立或開啟工作區,開始對話,並傳送 Reply with the word connected.。收到文字回覆即表示工作區正在使用已儲存的 RunAPI 提供者與所選模型。

疑難排解

  • 沒有列出任何模型: 請確認 Base URL 確實為 https://runapi.ai/v1,然後手動輸入目前的模型識別碼。
  • 請求因長度問題被拒絕: 請減少工作區歷史記錄,或根據所選模型的目前限制,修正模型上下文視窗Max Tokens 設定。
  • 身分驗證失敗: 請在 OpenAI (generic) 中,以身分驗證指南取得的有效標準金鑰更新 API 金鑰。
  • 工作區由其他模型回應: 請重新開啟 LLM Preference,確認 OpenAI (generic) 已啟用,然後再次儲存所需的已選取模型

如需共用協定行為,請參閱 LLM API 快速入門。如需請求與回應欄位,請參閱 Chat Completions API 參考