개발자 리소스
AnythingLLM
AnythingLLM을 설치하고, RunAPI를 위한 Generic OpenAI 공급자를 구성하고, 모델 한도를 선택하고, 워크스페이스 채팅을 확인합니다.
AnythingLLM 설치
공식 AnythingLLM 설치 가이드를 사용하여 데스크톱 또는 자체 호스팅 에디션을 설치하세요. AnythingLLM을 열고 LLM 공급자를 변경하기 전에 초기 설정을 완료하세요.
OpenAI 구성 (일반)
- 설정 → LLM 기본 설정을 열고 OpenAI (generic)를 선택합니다.
- Base URL로
https://runapi.ai/v1을 입력합니다./chat/completions는 추가하지 마십시오. AnythingLLM이 작업 경로를 자동으로 추가합니다. - RunAPI API 키를 입력합니다.
- 선택된 모델에서 정확한 RunAPI 식별자를 선택합니다. 모델 목록이 비어 있으면 모델 카탈로그의 식별자를 직접 입력합니다.
- 모델 컨텍스트 창 및 최대 토큰을 해당 모델이 지원하는 값으로 설정한 후 제공자를 저장합니다.
AnythingLLM은 모델 컨텍스트 창을 사용하여 시스템 지시사항, 히스토리, 사용자 입력의 예산을 책정합니다. 최대 토큰은 max_tokens로 전송되므로 이 값은 범용 예시가 아닌 선택한 모델에 맞게 설정해야 합니다.
연결 확인
워크스페이스를 생성하거나 열고, 채팅을 시작한 후 Reply with the word
connected.를 전송하세요. 텍스트 응답이 오면 해당 워크스페이스가 저장된 RunAPI 제공자와 선택된 모델을 사용하고 있음을 확인할 수 있습니다.
문제 해결
- 모델이 나열되지 않음: Base URL이 정확히
https://runapi.ai/v1인지 확인한 후 현재 모델 식별자를 수동으로 입력하세요. - 길이 초과로 요청이 거부됨: 워크스페이스 기록을 줄이거나 선택한 모델의 현재 제한에 맞게 Model context window 및 Max Tokens를 수정하세요.
- 인증 실패: 인증 가이드에서 발급한 유효한 표준 키로 OpenAI (generic)의 API 키를 업데이트하세요.
- 다른 모델이 워크스페이스에 응답함: LLM Preference를 다시 열고, OpenAI (generic)가 활성화되어 있는지 확인한 후 의도한 Selected Model을 다시 저장하세요.
공유 프로토콜 동작에 대해서는 LLM API 빠른 시작을 참조하세요. 요청 및 응답 필드에 대해서는 Chat Completions API 참조를 참조하세요.