開發者資源
AnythingLLM
安裝 AnythingLLM,為 RunAPI 設定其 Generic OpenAI 提供者,選擇模型限制,並驗證工作區聊天。
安裝 AnythingLLM
使用 AnythingLLM 官方安裝指南安裝桌面版或自架版本。開啟 AnythingLLM 並完成初始設定後,再變更 LLM 提供者。
設定 OpenAI(通用)
- 開啟 Settings → LLM Preference,並選取 OpenAI (generic)。
- 輸入
https://runapi.ai/v1作為 Base URL。請勿附加/chat/completions;AnythingLLM 會自動加上操作路徑。 - 輸入您的 RunAPI API 金鑰。
- 在 Selected Model 下選擇確切的 RunAPI 識別碼。若模型清單為空,請從模型目錄輸入識別碼。
- 將 Model context window 與 Max Tokens 設為該模型所支援的數值,然後儲存提供者。
AnythingLLM 使用 Model context window 來分配系統指令、歷史記錄與使用者輸入的預算。它會將 Max Tokens 作為 max_tokens 傳送,因此這些數值必須依據所選模型設定,而非套用通用範例值。
驗證連線
建立或開啟工作區,開始對話,並傳送 Reply with the word
connected.。收到文字回覆即表示工作區正在使用已儲存的
RunAPI 提供者與所選模型。
疑難排解
- 沒有列出任何模型: 請確認 Base URL 確實為
https://runapi.ai/v1,然後手動輸入目前的模型識別碼。 - 請求因長度問題被拒絕: 請減少工作區歷史記錄,或根據所選模型的目前限制,修正模型上下文視窗及 Max Tokens 設定。
- 身分驗證失敗: 請在 OpenAI (generic) 中,以身分驗證指南取得的有效標準金鑰更新 API 金鑰。
- 工作區由其他模型回應: 請重新開啟 LLM Preference,確認 OpenAI (generic) 已啟用,然後再次儲存所需的已選取模型。
如需共用協定行為,請參閱 LLM API 快速入門。如需請求與回應欄位,請參閱 Chat Completions API 參考。