Ollama용 Unfiltered AI 모델 vs 호스팅 API
Ollama용 무검열 AI 모델을 고려 중이라면 모델이 실행될 위치가 핵심입니다. 로컬은 프라이버시와 오프라인 사용에서 이기고, 호스팅은 설정, 모델 크기 및 하드웨어 비용 면에서 이깁니다.
업데이트


주요 포인트
- 로컬 Ollama는 모델 전체를 위한 충분한 메모리가 필요합니다. 호스팅은 키만 있으면 됩니다.
- Ollama와 이 API는 모두 OpenAI 형식을 사용하므로 전환은 base URL 변경으로 가능합니다.
- 호스팅 비용은 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50이므로, 소량 사용 시 비용은 몇 센트 수준입니다.
- 오프라인 또는 에어 갭된 작업에는 로컬을 선택하고, 상시 실행 앱과 긴 컨텍스트 창이 필요한 경우 호스팅을 선택하십시오.
빠른 결정 표
| 상황 | 더 나은 적합성 |
|---|---|
| GPU가 없거나 메모리가 적은 노트북 사용 중 | 호스팅 API |
| 데이터는 절대 내 머신에서 나가서는 안 됩니다 | 로컬 Ollama |
| 연중무휴 가동해야 하는 앱 또는 봇 | 호스팅 API |
| 오프라인 또는 에어 갭된 사용 | 로컬 Ollama |
| 긴 문서 (컨텍스트 최대 100,000 토큰) | GPU에 여유 메모리가 있는 경우를 제외하고 호스팅 API를 사용하세요 |
| 이미 보유한 하드웨어에서 무거운 지속적 생성 작업 | 로컬 Ollama |
| 오후 시간 동안 모델을 사용해 보기 | 둘 중 하나를 선택해도 좋습니다. 호스팅은 시작 속도가 더 빠릅니다 |
대부분의 사용자는 둘 다 활용합니다. 나머지 문서에서는 각 행이 해당 위치에 배치된 이유를 설명하므로, 표를 자신의 상황에 맞게 조정할 수 있습니다.
로컬 실행의 실제 요구 사항
Ollama는 모델 파일을 다운로드하고 CPU 또는 GPU에서 실행합니다. 첫 번째 제약은 메모리입니다. 대략적인 규칙은 파라미터 수에 가중치당 바이트 수를 곱한 것과 같습니다. 4비트 양자화에서는 파라미터당 약 0.5바이트이므로 7B 모델은 캐시를 제외하고 약 3.5~4GB가 필요하고, 13B 모델은 약 7GB, 70B 모델은 약 35GB가 필요합니다.
이 수치는 추정치이며, 양자화는 일부 답변 품질을 희생합니다. 모델이 GPU 메모리에 맞지 않으면 Ollama는 레이어를 CPU로 이동시키고 속도가 급격히 떨어집니다. 긴 프롬프트는 입력하는 토큰마다 어텐션 캐시가 커지므로 이를 악화시킵니다.
모델 선택 문제도 있습니다. '무검열' 또는 '검열 해제된'으로 표시된 커뮤니티 파인튜닝 모델은 품질 차이가 크며, 각각 고유한 프롬프트 템플릿의 특이점을 가집니다. 로컬 사용의 비용 중 일부는 적합한 모델을 찾는 데 소요되는 시간입니다.
호스팅 엔드포인트가 변경하는 사항
이 사이트의 무검열 AI 모델은 독립적인 제공자가 운영하는 하나의 오픈 웨이트 모델입니다. 양자화를 선택하거나 드라이버를 관리하거나 다운로드를 기다릴 필요가 없습니다. 키를 받아 호출하면 됩니다.
- 컨텍스트: 100,000 토큰 (프롬프트와 완성 포함).
- 기능: 스트리밍, 도구 호출, JSON 모드 및 일반적인 샘플링 매개변수.
- 동시성: 전체 키당 최대 8개의 동시 요청. 이는 단일 홈 GPU가 동일한 품질로 달성하기 어려운 수치입니다.
- 프라이버시: 프롬프트는 학습에 사용되지 않지만 서버로 전송됩니다. 로컬은 이 점에서 더 엄격하며 이는 변하지 않습니다.
거래는 명확합니다. 모든 데이터가 머신에 머무른다는 보증을 포기하는 대신, 하드웨어 구매나 냉각 없이 필요할 때 실행되는 모델을 얻습니다.
비용: 하드웨어 구매가 수익을 내는 시점
호스팅 요금은 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50이며 선불 방식이고 구독제가 아닙니다. 입력 800개, 출력 400개의 채팅 턴 기준 비용은 $0.00012 + $0.0002 = $0.00032입니다.
- 1,000 턴: $0.32
- 100,000 턴: $32
- 1,000,000 턴: $320
이제 하드웨어와 비교해 봅시다. 순수한 예시로, 이 용도만을 위해 GPU 구매에 $600를 쓴다고 가정해 보세요. 이를 $0.00032로 나누면 하드웨어 비용이 호스팅 요금과 같아지는 1,875,000 턴에 도달합니다. 여기에는 전기 요금과 당신의 시간이 고려되지 않았습니다. 이미 성능 좋은 GPU를 보유하고 있다면, 로컬 사용은 한계 비용이 무료이므로 비교 구도가 뒤집힙니다.
실용적인 관점: 취미 및 중간 수준의 사용은 호스팅 비용이 월 몇 달러 수준으로, 구매를 정당화하기 어렵습니다. 하루 수천만 개의 토큰을 생성하는 파이프라인은 사정이 다르며, 금액은 적절한 스프레드시트로 검토해야 합니다. 현재 요금은 요금 페이지에서 확인할 수 있습니다. 자체 추정을 위해 예상 일일 토큰 수에 위의 두 요금을 곱하십시오.
속도 및 신뢰성
로컬 속도는 하드웨어와 모델 크기에 전적으로 의존합니다. GPU 메모리에 맞는 모델은 즉시 반응하는 것처럼 느껴지지만, 시스템 메모리로 이동되는 모델은 매우 느리게 느껴질 수 있습니다. 이 기사는 카드와 양자화 방식 간 차이가 너무 커서 유용하지 않기 때문에 초당 토큰 수 수치를 인용하지 않습니다.
호스팅 속도는 부하에 따라 다릅니다. 서비스가 일시적으로 과부하 상태이면 HTTP 429를 반환하고 Retry-After: 5 헤더를 보내며 클라이언트는 기다리고 재시도해야 합니다. 전체 키당 분당 300개 이상의 요청은 rate_limited을, 동시 8개 이상의 요청은 concurrency를 반환합니다. 둘 모두 요금이 부과되지 않습니다.
신뢰성 차이는 주로 유지보수를 누가 하느냐에 있습니다. 자체 머신은 업데이트, 충분한 디스크 공간 및 실행 중인 프로세스가 필요합니다. 호스팅 API는 크레딧이 있는 키가 필요합니다.
Ollama와 API 간 도구 전환
Ollama는 포트 11434에서 OpenAI 호환 엔드포인트를 노출하며 이 API는 동일한 형식을 따릅니다. 이는 환경 변수로 선택된 하나의 스크립트가 둘 중 하나와 통신할 수 있음을 의미합니다.
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
동일한 트릭은 OpenAI 호환 기본 URL을 요청하는 채팅 프론트엔드 및 에이전트 도구에서도 작동합니다. 로컬을 가리키는 프로필 하나와 https://api.unfilteredaimodels.com/v1를 가리키는 프로필 하나를 유지한 후 전환하십시오. 문서에는 도구가 이상한 요청을 보낼 때 지원되는 파라미터 목록이 있습니다.
로컬에서 튜닝한 프롬프트는 일반적으로 이어지지만 확인하세요. 다른 모델은 동일한 시스템 프롬프트에 다르게 응답할 수 있으므로 전환 후 자체 테스트 프롬프트를 몇 개 실행하세요.
호스팅 측면 시작하기
계정을 생성하고 API 키 페이지를 방문하세요. 신규 사용자는 카드 등록 없이 클릭 한 번으로 7일 동안 유효한 $0.50의 체험 크레딧을 받을 수 있습니다. 턴당 입력 800개와 출력 400개의 토큰을 사용한다면, 이는 약 1,560 턴을 커버할 수 있어 아무 비용도 지출하기 전에 호스팅 모델이 프로젝트에 적합한지 결정하기에 충분합니다.
유료 충전은 $20부터 시작하며 최대 $500까지 정수 단위로 가능하며, 크레딧은 만료되지 않습니다. Ollama 설정도 함께 유지한다면 손실이 없습니다. 개인용 초안 작성에는 로컬을 사용하고, 가동 시간, 긴 컨텍스트 또는 동시 처리가 필요한 작업에는 호스팅 API를 사용하세요.
더 많은 가이드
질문과 답변
키는 양식 하나만 있으면 받을 수 있습니다
계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.
Ollama는 무검열 모델을 실행할 수 있나요?
- 네, Ollama는 다운로드한 모든 호환 모델 파일을 실행합니다. 품질과 프롬프트 형식은 모델마다 다르므로 신뢰하기 전에 테스트하세요.
호스팅 API는 프라이버시가 충분히 확보되나요?
- 프롬프트는 학습에 사용되지 않지만 원격 서버에서 처리됩니다. 모든 데이터가 로컬 머신에 머물러야 한다면 로컬이 더 엄격한 선택입니다.
Ollama 클라이언트 코드를 호스팅 API와 함께 사용할 수 있나요?
- 대부분 가능합니다. 둘 다 OpenAI 형식을 사용하므로 base URL을 https://api.unfilteredaimodels.com/v1,로 변경하고 키를 추가한 후 모델을 uncensored로 설정하면 됩니다.
호스팅 옵션의 월 비용은 얼마인가요?
- 사용량에 따라 다릅니다. 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50의 가격으로, 입력 토큰 800개와 출력 토큰 400개로 구성된 100,000회 채팅 턴의 비용은 약 $32입니다.