RU ▾
Получить API-ключ

Модели Unfiltered AI для Ollama против хостингового API

Если вы рассматриваете нефильтрованные ИИ-модели для Ollama, главный вопрос заключается в том, где должна работать модель: на вашем собственном GPU или на чужом. Локальное решение выигрывает в конфиденциальности и автономности, хостинг — в простоте настройки, размере моделей и отсутствии счетов за оборудование.

Обновлено

Масштабирование локальной башни GPU против кластера облачных серверов, сравнение локального Ollama с хостинговым API
Окно терминала, отправляющее золотой ключ и пакеты данных по световому кабелю на сервер

Ключевые моменты

  • Локальному Ollama требуется достаточно памяти для всей модели; хостингу нужен только ключ.
  • Ollama и это API используют формат OpenAI, поэтому переключение — это просто изменение базового URL.
  • Стоимость хостинга здесь составляет $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, поэтому при небольшом объеме использования затраты составляют всего несколько центов.
  • Выбирайте локальное решение для автономной или изолированной работы, хостинг — для приложений, работающих круглосуточно, и длинного контекста.

Таблица быстрого принятия решений

СитуацияЛучшее соответствие
Нет GPU или ноутбук с малым объемом памятиХостинговое API
Данные никогда не должны покидать ваш компьютерЛокальная Ollama
Приложение или бот, который должен работать круглосуточноХостинговое API
Автономное или изолированное использованиеЛокальная Ollama
Длинные документы (до 100 000 токенов контекста)Хостинговое API, если только у вашего GPU нет свободной памяти
Тяжелая непрерывная генерация на оборудовании, которое у вас уже естьЛокальная Ollama
Тестирование модели в течение дняЛюбое; хостинг быстрее запускается

Большинство людей в итоге используют оба варианта. Остальная часть статьи объясняет, почему каждая строка таблицы находится именно там, чтобы вы могли адаптировать таблицу под свой случай.

Что на самом деле требует локальный запуск

Ollama скачивает файл модели и запускает его на вашем CPU или GPU. Первое ограничение — память. Грубое правило: весам требуется примерно количество параметров, умноженное на байты на вес. При 4-битном квантовании это около полубайта на параметр, поэтому модели на 7B требуется примерно 3,5–4 ГБ для весов, модели на 13B — около 7 ГБ, а модели на 70B — около 35 ГБ, до кэша, который растет вместе с длиной контекста.

Эти цифры являются оценочными, а квантование снижает качество ответов. Когда модель не помещается в память GPU, Ollama переносит слои на CPU, и скорость резко падает. Длинные промпты усугубляют это, так как кэш внимания растет с каждым токеном, который вы подаете.

Также существует проблема выбора модели. Дообученные сообществом варианты с пометками uncensored или abliterated сильно различаются по качеству, и каждый из них имеет свои особенности шаблона промпта. Часть стоимости локального использования — это ваше время, потраченное на поиск того, который ведет себя должным образом.

Что меняет хостинг-эндпоинт

Размещённая на этом сайте модель ИИ без фильтров — это одна из моделей с открытыми весами, запускаемая независимым провайдером. Вам не нужно выбирать квантование, управлять драйверами или ждать загрузки. Вы получаете ключ и делаете запросы.

  • Контекст: 100 000 токенов, промпт плюс завершение.
  • Возможности: потоковая передача, вызов функций, JSON-режим и стандартные параметры сэмплирования.
  • Параллельные запросы: до 8 одновременных запросов на полный ключ, что одна домашняя видеокарта часто не может обеспечить с тем же качеством.
  • Конфиденциальность: промпты не используются для обучения, но они передаются на сервер. Локальное решение строже в этом плане, и здесь это не меняется.

Компромисс очевиден. Вы отказываетесь от гарантии того, что ничего не покинет ваш компьютер, и получаете модель, которая работает, когда она вам нужна, без необходимости покупать или охлаждать оборудование.

Стоимость: когда покупка оборудования окупается

Тарификация хостинга составляет $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, предоплаченная, без подписки. Для диалоговой смены из 800 входных и 400 выходных токенов это $0,00012 + $0,0002 = $0,00032.

  • 1 000 смен: $0,32
  • 100 000 смен: $32
  • 1 000 000 смен: $320

Теперь сравните с оборудованием. Предположим, в качестве примера вы тратите $600 на видеокарту только для этой задачи. Разделите $600 на $0,00032 и получите 1 875 000 сообщений, после чего стоимость оборудования сравняется со счетом за хостинг; при этом не учтены электричество и ваше время. Если у вас уже есть мощная видеокарта, предельная стоимость локального использования равна нулю, и сравнение меняется.

Практический вывод: для хобби и умеренного использования хостинг стоит несколько долларов в месяц, что редко оправдывает покупку. Если конвейер генерирует десятки миллионов токенов в день — это другое дело, и суммы требуют корректного расчета в электронной таблице. Текущие тарифы всегда доступны на странице с ценами. Для вашей собственной оценки умножьте ожидаемое количество ежедневных токенов на две указанные выше ставки.

Скорость и надежность

Локальная скорость полностью зависит от вашего оборудования и размера модели. Модель, помещающаяся в память GPU, кажется мгновенной; та, что переносится в системную память, может казаться болезненно медленной. В этой статье не приводятся цифры токенов в секунду, потому что они слишком сильно различаются между картами и квантованиями, чтобы быть полезными.

Скорость хостинга зависит от нагрузки. При кратковременной перегрузке сервис возвращает HTTP 429 с заголовком Retry-After: 5, и ваш клиент должен подождать и повторить запрос. Более 300 запросов в минуту с полным ключом возвращает rate_limited, а более 8 одновременно — concurrency. Ни то, ни другое не тарифицируется.

Разница в надежности в основном заключается в том, кто занимается обслуживанием. Ваша собственная машина требует обновлений, достаточного свободного места на диске и работающего процесса. Хостинговое API нуждается в ключе с балансом.

Переключение инструментов между Ollama и API

Ollama предоставляет совместимый с OpenAI эндпоинт на порту 11434, а это API использует тот же формат. Это означает, что один скрипт может работать с обоими, причём выбор задаётся переменными окружения.

import os
from openai import OpenAI

if os.environ.get("USE_LOCAL") == "1":
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    model = os.environ["LOCAL_MODEL"]  # the name you pulled in Ollama
else:
    client = OpenAI(
        base_url="https://api.unfilteredaimodels.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"

r = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)

Тот же трюк работает в чат-интерфейсах и инструментах агентов, запрашивающих базовый URL, совместимый с OpenAI. Ведите два профиля: один указывает на localhost, другой — на https://api.unfilteredaimodels.com/v1, и переключайтесь между ними. В документации перечислены поддерживаемые параметры, если инструмент отправляет что-то необычное.

Промпты, которые вы настроили локально, обычно переносятся, но проверьте их. Разная модель может по-разному реагировать на один и тот же системный промпт, поэтому после переключения запустите несколько своих тестовых промптов.

Начало работы с хостинговой частью

Создайте аккаунт и перейдите на страницу API-ключей. Новые пользователи могут получить $0,50 пробного баланса одним кликом; он действует 7 дней и не требует привязки карты. При 800 входных и 400 выходных токенах на сообщение этого хватит примерно на 1 560 сообщений, что позволит решить, подходит ли размещённая модель для вашего проекта, прежде чем тратить что-либо.

Платные пополнения начинаются от $20 любой целой суммой до $500, и баланс не сгорает. Если у вас также настроен Ollama, вы ничего не теряете: используйте локальную модель для частных черновиков, а хостинговый API — для задач, требующих доступности, длинного контекста или параллельных запросов.

Вопросы и ответы

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Может ли Ollama запускать нефильтрованные модели?
    Да, Ollama запускает любые совместимые файлы моделей, которые вы скачаете, включая дообученные сообществом модели, которые реже отказывают в ответе. Качество и формат промпта варьируются в зависимости от модели, поэтому протестируйте её перед тем, как полагаться на неё.
Достаточно ли приватно хостинговое API?
    Промпты не используются для обучения, но обрабатываются на удаленном сервере. Если ничего не должно покидать вашу машину, локальное решение — более строгий выбор.
Могу ли я использовать свой код клиента Ollama с хостинговым API?
    Часто да. Оба используют формат OpenAI, поэтому вам нужно изменить базовый URL на https://api.unfilteredaimodels.com/v1, добавить ваш ключ и установить модель в uncensored.
Сколько стоит хостинговая опция в месяц?
    Зависит от объёма. При стоимости $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов 100 000 сообщений в диалоге (800 входных и 400 выходных токенов) обойдутся примерно в $32.