PT ▾
Obter chave de API

Modelos Unfiltered AI para Ollama vs API Hospedada

Se você está analisando modelos de IA sem censura para Ollama, a pergunta real é onde o modelo deve ser executado: na sua própria GPU ou na de outra pessoa. O local vence em privacidade e uso offline; o hospedado vence em configuração, tamanho do modelo e sem conta de hardware.

Atualizado

Balança comparando uma torre de GPU local com um cluster de servidor na nuvem, comparando Ollama local com uma API hospedada
Janela do terminal enviando uma chave dourada e pacotes de dados por uma fita de luz para um servidor

Pontos principais

  • O Ollama local precisa de memória suficiente para todo o modelo; o hospedado precisa apenas de uma chave.
  • O Ollama e esta API usam o formato OpenAI, então a alternância é uma mudança na URL base.
  • O custo hospedado aqui é $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída, então o uso leve custa centavos.
  • Escolha o local para trabalho offline ou isolado; o hospedado para aplicativos sempre ativos e contexto longo.

Tabela de decisão rápida

SituaçãoMelhor ajuste
Sem GPU, ou um laptop com pouca memóriaAPI Hospedada
Os dados nunca devem sair da sua máquinaOllama Local
Um aplicativo ou bot que precisa estar online o dia todoAPI Hospedada
Uso offline ou isoladoOllama Local
Documentos longos (até 100.000 tokens de contexto)API hospedada, a menos que sua GPU tenha memória sobrando
Geração contínua pesada em hardware que você já possuiOllama Local
Testando um modelo por uma tardeAmbos; o hospedado é mais rápido para iniciar

A maioria das pessoas acaba usando ambos. O restante do artigo explica por que cada linha cai onde cai, para que você possa ajustar a tabela para o seu caso.

O que o uso local realmente exige

O Ollama baixa um arquivo de modelo e o executa na sua CPU ou GPU. A primeira restrição é a memória. Uma regra aproximada: os pesos precisam de aproximadamente o número de parâmetros vezes os bytes por peso. Na quantização de 4 bits, isso é cerca de meio byte por parâmetro, então um modelo 7B precisa de aproximadamente 3,5 a 4 GB para pesos, um modelo 13B cerca de 7 GB e um modelo 70B cerca de 35 GB, antes do cache que cresce com o comprimento do contexto.

Essas figuras são estimativas, e a quantização custa alguma qualidade de resposta. Quando o modelo não cabe na memória da GPU, o Ollama despeja camadas na CPU e a velocidade cai drasticamente. Prompts longos pioram isso, porque o cache de atenção cresce com cada token que você alimenta.

Também existe o problema da escolha do modelo. Os modelos ajustados pela comunidade, marcados como sem filtro ou abliterados, variam muito em qualidade e cada um tem seus próprios detalhes de template de prompt. Parte do custo do uso local é o tempo gasto para encontrar um que se comporte bem.

O que um endpoint hospedado muda

O modelo de IA sem censura hospedado neste site é um modelo de pesos abertos executado por um provedor independente. Você não escolhe a quantização, gerencia drivers ou espera downloads. Você recebe uma chave e o invoca.

  • Contexto: 100.000 tokens, prompt mais completamento.
  • Recursos: streaming, chamada de funções, modo JSON e os parâmetros de amostragem habituais.
  • Concorrência: até 8 requisições simultâneas com uma chave completa, o que uma única GPU doméstica muitas vezes não consegue igualar na mesma qualidade.
  • Privacidade: os prompts não são usados para treinamento, mas eles são enviados para um servidor. O modo local é mais rigoroso nesse ponto e nada aqui muda isso.

A troca é clara. Você abre mão da garantia de que nada sairá da sua máquina e ganha um modelo que está rodando quando você precisa, sem hardware para comprar ou resfriar.

Custo: quando comprar hardware compensa

Preço no serviço hospedado é $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída, pré-pago, sem assinatura. Para uma volta de chat com 800 tokens de entrada e 400 de saída, isso dá $0,00012 + $0,0002 = $0,00032.

  • 1.000 rodadas: $0,32
  • 100.000 rodadas: $32
  • 1.000.000 rodadas: $320

Agora compare com hardware. Suponha, como exemplo hipotético, que você gaste $600 em uma GPU apenas para isso. Divida por $0,00032 e você terá 1.875.000 voltas antes que o hardware iguale a conta hospedada, e isso ignora eletricidade e seu tempo. Se você já possui uma GPU capaz, o uso local é gratuito na margem econômica e a comparação se inverte.

A leitura prática: uso para hobby e moderado custa alguns dólares por mês hospedado, o que raramente justifica uma compra. Um pipeline gerando dezenas de milhões de tokens diariamente é outra questão, e as somas merecem uma planilha adequada. As taxas atuais estão sempre na página de preços. Para sua própria estimativa, multiplique seus tokens diários esperados pelas duas taxas acima.

Velocidade e confiabilidade

A velocidade local depende inteiramente do seu hardware e do tamanho do modelo. Um modelo que cabe na memória da GPU parece instantâneo; um que transborda para a memória do sistema pode parecer dolorosamente lento. Este artigo não cita valores de tokens por segundo, porque eles variam demais entre placas e quantizações para serem úteis.

A velocidade hospedada depende da carga. Quando o serviço está brevemente sobrecarregado, ele retorna HTTP 429 com o cabeçalho Retry-After: 5, e seu cliente deve esperar e tentar novamente. Mais de 300 requisições por minuto em uma chave completa retorna rate_limited, e mais de 8 ao mesmo tempo retorna concurrency. Nenhuma das duas é cobrada.

A diferença de confiabilidade é principalmente sobre quem faz a manutenção. Sua própria máquina precisa de atualizações, espaço livre em disco suficiente e um processo ativo. A API hospedada precisa de uma chave com crédito nela.

Alternando ferramentas entre Ollama e a API

O Ollama expõe um endpoint compatível com OpenAI na porta 11434, e esta API segue o mesmo formato. Isso significa que um script pode se comunicar com um ou outro, escolhido por variáveis de ambiente.

import os
from openai import OpenAI

if os.environ.get("USE_LOCAL") == "1":
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    model = os.environ["LOCAL_MODEL"]  # the name you pulled in Ollama
else:
    client = OpenAI(
        base_url="https://api.unfilteredaimodels.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"

r = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)

O mesmo truque funciona em interfaces de chat e ferramentas de agente que pedem uma URL base compatível com OpenAI. Mantenha dois perfis, um apontando para localhost e outro para https://api.unfilteredaimodels.com/v1, e alterne entre eles. A documentação lista os parâmetros suportados se uma ferramenta enviar algo incomum.

Os prompts que você ajustou localmente geralmente são transferidos, mas verifique-os. Um modelo diferente pode responder de forma diferente ao mesmo prompt de sistema, então execute alguns dos seus próprios prompts de teste após a alternância.

Começando com o lado hospedado

Crie uma conta e visite a página de chave de API. Novos usuários podem reivindicar $0,50 de crédito de teste com um clique, válido por 7 dias e sem necessidade de cartão. Com 800 tokens de entrada e 400 de saída por rodada, isso cobre cerca de 1.560 rodadas, suficientes para decidir se o modelo hospedado se adequa ao seu projeto antes de gastar qualquer coisa.

Recargas pagas começam em $20 com qualquer valor inteiro até $500, e o crédito nunca expira. Se você mantiver uma configuração Ollama também, não perde nada: use o local para rascunhos privados e a API hospedada para os trabalhos que precisam de uptime, contexto longo ou requisições simultâneas.

Perguntas e respostas

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

O Ollama pode rodar modelos sem censura?
    Sim, o Ollama executa qualquer arquivo de modelo compatível que você baixar, incluindo ajustes finos da comunidade que impõem menos restrições. A qualidade e o formato do prompt variam por modelo, então teste antes de confiar em um.
Uma API hospedada é privada o suficiente?
    Os prompts não são usados para treinamento, mas são processados em um servidor remoto. Se nada pode sair da sua máquina, o local é a escolha mais rigorosa.
Posso usar meu código de cliente Ollama com a API hospedada?
    Muitas vezes, sim. Ambos usam o formato OpenAI, então você altera a URL base para https://api.unfilteredaimodels.com/v1, adiciona sua chave e define o modelo como uncensored.
Quanto custa a opção hospedada por mês?
    Depende do volume. A $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída, 100.000 rodadas de chat com 800 tokens de entrada e 400 de saída custam cerca de $32.