開發者資源
AnythingLLM
安裝 AnythingLLM,為 RunAPI 配置其 Generic OpenAI 供應商,選擇模型限制,並驗證工作區聊天。
安裝 AnythingLLM
使用官方 AnythingLLM 安裝指南安裝桌面版或自架版。開啟 AnythingLLM 並在更改 LLM 供應商前完成初始設定。
配置 OpenAI(通用)
- 開啟Settings → LLM Preference,選擇OpenAI (generic)。
- 輸入
https://runapi.ai/v1作為Base URL。請勿附加/chat/completions;AnythingLLM 會自動加入操作路徑。 - 輸入您的 RunAPI API 金鑰。
- 在Selected Model下選擇確切的 RunAPI 識別碼。若模型清單為空,請從模型目錄輸入識別碼。
- 將Model context window和Max Tokens設定為該模型所支援的數值,然後儲存提供商。
AnythingLLM 使用Model context window來分配系統指令、歷史記錄和用戶輸入的預算。它將Max Tokens作為 max_tokens 傳送,因此這些值必須依照所選模型設定,而非使用通用範例。
驗證連線
建立或開啟工作區,開始聊天,然後發送 Reply with the word
connected. 文字回覆確認工作區正在使用已儲存的
RunAPI 提供者及所選模型。
疑難排解
- 未列出任何模型: 請確認 Base URL 確實為
https://runapi.ai/v1,然後手動輸入當前的模型識別碼。 - 請求因長度而被拒絕: 請縮減工作區歷史記錄,或根據所選模型的當前限制修正 Model context window 和 Max Tokens。
- 身份驗證失敗: 請在 OpenAI (generic) 中以來自身份驗證指南的有效標準金鑰更新 API 金鑰。
- 工作區由另一個模型回覆: 請重新開啟 LLM Preference,確認 OpenAI (generic) 已啟用,然後再次儲存預期的 Selected Model。
有關共享協議行為,請使用 LLM API 快速入門。有關請求及回應欄位,請使用 Chat Completions API 參考。