跳到正文
RunAPI 开发者文档
开发者资源
开发者资源

AnythingLLM

安装 AnythingLLM,为 RunAPI 配置 Generic OpenAI provider,设置模型限制并验证 workspace chat。

AnythingLLM 为兼容 Chat Completions 的服务提供面向开发者的 OpenAI (generic) provider。开始前,请在身份验证指南创建标准 RunAPI API Key,并从模型目录选择 model。

安装 AnythingLLM

按照 AnythingLLM 官方安装指南安装 desktop 或 self-hosted 版本。打开 AnythingLLM 并完成初始设置,再修改 LLM provider。

配置 OpenAI (generic)

  1. 打开 Settings → LLM Preference,选择 OpenAI (generic)
  2. Base URL 填写 https://runapi.ai/v1。不要追加 /chat/completions,AnythingLLM 会自行添加 operation path。
  3. 填写 RunAPI API Key。
  4. Selected Model 中选择准确的 RunAPI identifier。若 model list 为空,请从模型目录复制并手动输入。
  5. 按该 model 支持的值设置 Model context windowMax Tokens,然后保存 provider。

AnythingLLM 使用 Model context window 为 system instructions、history 和 user input 分配空间,并将 Max Tokens 作为 max_tokens 发送。因此这些值必须随所选 model 设置,不能把同一示例值用于所有模型。

验证连接

创建或打开一个 workspace,开始 chat 并发送 只回复 connected。。收到文本回复,即表示 workspace 正在使用保存的 RunAPI provider 和 Selected Model。

排查问题

  • model list 为空: 确认 Base URL 是 https://runapi.ai/v1,然后手动输入当前 model identifier。
  • 请求因长度被拒绝: 减少 workspace history,或按所选 model 的当前限制修正 Model context windowMax Tokens
  • 身份验证失败:OpenAI (generic) 中换成身份验证指南提供的有效标准 Key。
  • workspace 仍由其他 model 回复: 重新打开 LLM Preference,确认 OpenAI (generic) 已启用,并再次保存目标 Selected Model

通用协议行为请查看 LLM API 快速开始。请求和响应字段请查看 Chat Completions API 参考