IT ▾
Ottieni la chiave API

Modelli Unfiltered AI per Ollama vs API ospitata

Se stai cercando modelli AI senza filtri per Ollama, la domanda vera è dove deve girare il modello: sulla tua GPU o su quella di qualcun altro. Il locale vince su privacy e uso offline, l'ospitato vince su configurazione, dimensione del modello e assenza di costi hardware.

Aggiornato

Bilanciare una torre GPU locale contro un cluster di server cloud, confrontando Ollama locale con un'API ospitata
Finestra del terminale che invia una chiave dorata e pacchetti dati lungo un nastro luminoso verso un server

Punti chiave

  • Ollama locale richiede abbastanza memoria per l'intero modello; l'API ospitata richiede solo una chiave.
  • Ollama e questa API parlano entrambe il formato OpenAI, quindi il passaggio richiede solo un cambio dell'URL di base.
  • Il costo dell'API ospitata è qui $0,15 per 1M di token di input e $0,50 per 1M di token di output, quindi un uso leggero costa centesimi.
  • Scegli il locale per l'uso offline o in ambiente isolato, l'API ospitata per app sempre attive e contesto lungo.

Tabella decisionale rapida

SituazioneAdattamento migliore
Nessuna GPU, o un portatile con poca memoriaAPI Ospitata
I dati non devono mai lasciare la tua macchinaOllama locale
Un'app o un bot che deve essere attivo 24 ore su 24API Ospitata
Uso offline o in ambiente isolatoOllama locale
Documenti lunghi (fino a 100.000 token di contesto)API ospitata, a meno che la tua GPU non abbia memoria di riserva
Generazione continua intensiva su hardware che possiedi giàOllama locale
Provare un modello per un pomeriggioL'uno o l'altro; l'API ospitata è più veloce da avviare

La maggior parte delle persone finisce per usare entrambi. Il resto dell'articolo spiega perché ogni riga si posiziona dove lo fa, così puoi regolare la tabella per il tuo caso.

Cosa richiede davvero l'esecuzione in locale

Ollama scarica un file di modello ed esegue il modello sulla tua CPU o GPU. Il primo vincolo è la memoria. Una regola approssimativa: i pesi richiedono circa il numero di parametri moltiplicato per i byte per peso. Alla quantizzazione a 4-bit sono circa mezzo byte per parametro, quindi un modello da 7B richiede circa 3,5-4 GB per i pesi, un modello da 13B circa 7 GB e un modello da 70B circa 35 GB, prima della cache che cresce con la lunghezza del contesto.

Queste cifre sono stime e la quantizzazione costa un po' di qualità di risposta. Quando il modello non si adatta alla memoria della GPU, Ollama sposta i layer sulla CPU e la velocità cala drasticamente. I prompt lunghi peggiorano la situazione perché la cache di attenzione cresce con ogni token che inserisci.

C'è anche il problema della scelta del modello. I fine-tune della community etichettati come senza censura o abliterated variano molto nella qualità e ognuno ha le sue peculiarità nel formato del prompt. Parte del costo dell'uso locale è il tempo che perdi a trovarne uno che si comporti bene.

Cosa cambia con un endpoint in hosting

Il modello AI senza filtri ospitato su questo sito è un modello a pesi aperti gestito da un provider indipendente. Non scegli la quantizzazione, gestisci i driver o attendi i download. Ricevi una chiave e la chiami.

  • Contesto: 100.000 token, prompt più completamento.
  • Funzionalità: streaming, chiamata di funzioni, modalità JSON e i normali parametri di campionamento.
  • Concorrenza: fino a 8 richieste parallele con una chiave completa, cosa che una singola GPU domestica spesso non può eguagliare alla stessa qualità.
  • Privacy: i prompt non vengono utilizzati per l'addestramento, ma viaggiano verso un server. Il locale è più rigoroso su questo punto e nulla qui cambia questa situazione.

Il compromesso è chiaro. Rinunci alla garanzia che nulla lasci la tua macchina e ottieni un modello che è attivo quando ne hai bisogno, senza hardware da acquistare o raffreddare.

Costo: quando conviene acquistare l'hardware

I prezzi ospitati sono $0,15 per 1M di token in input e $0,50 per 1M di token in output, credito prepagato, senza abbonamento. Per un turno di chat da 800 token in input e 400 in output, questo è $0,00012 + $0,0002 = $0,00032.

  • 1.000 turni: $0,32
  • 100.000 turni: $32
  • 1.000.000 turni: $320

Ora confronta con l'hardware. Supponiamo, come esempio puro, che tu spenda $600 in una GPU solo per questo. Dividi per $0,00032 e ottieni 1.875.000 turni prima che l'hardware eguagli il conto ospitato, e questo ignora elettricità e il tuo tempo. Se possiedi già una GPU capace, l'uso locale è gratuito al margine e il confronto si inverte.

La lettura pratica: l'uso hobby e moderato costa pochi dollari al mese ospitato, che raramente giustificano un acquisto. Una pipeline che genera decine di milioni di token al giorno è un'altra storia e le somme meritano un foglio di calcolo adeguato. I tassi attuali sono sempre nella pagina dei prezzi. Per la tua stima, moltiplica i tuoi token giornalieri previsti per i due tassi sopra.

Velocità e affidabilità

La velocità locale dipende interamente dal tuo hardware e dalla dimensione del modello. Un modello che si adatta alla memoria della GPU sembra istantaneo; uno che si riversa nella memoria di sistema può sembrare dolorosamente lento. Questo articolo non cita figure token al secondo, perché variano troppo tra schede e quantizzazioni per essere utili.

La velocità ospitata dipende dal carico. Quando il servizio è brevemente sovraccarico, restituisce HTTP 429 con l'intestazione Retry-After: 5 e il tuo client dovrebbe attendere e riprovare. Oltre 300 richieste al minuto con una chiave completa restituiscono rate_limited, e più di 8 contemporaneamente restituiscono concurrency. Nessuno dei due è fatturato.

La differenza di affidabilità riguarda principalmente chi fa la manutenzione. La tua macchina richiede aggiornamenti, spazio disco libero sufficiente e un processo attivo. L'API ospitata richiede una chiave con credito su di essa.

Cambiare strumenti tra Ollama e l'API

Ollama espone un endpoint compatibile con OpenAI sulla porta 11434 e questa API segue lo stesso formato. Questo significa che uno script può comunicare con l'uno o l'altro, scelto tramite variabili d'ambiente.

import os
from openai import OpenAI

if os.environ.get("USE_LOCAL") == "1":
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    model = os.environ["LOCAL_MODEL"]  # the name you pulled in Ollama
else:
    client = OpenAI(
        base_url="https://api.unfilteredaimodels.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"

r = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)

Lo stesso trucco funziona nelle interfacce chat e negli strumenti agent che richiedono un URL di base compatibile con OpenAI. Tieni due profili, uno che punta a localhost e uno a https://api.unfilteredaimodels.com/v1, e passa tra di essi. La documentazione elenca i parametri supportati se uno strumento invia qualcosa di insolito.

I prompt che hai ottimizzato localmente di solito vengono trasferiti, ma controllali. Un modello diverso può rispondere diversamente allo stesso prompt di sistema, quindi esegui alcuni dei tuoi prompt di test dopo il passaggio.

Iniziare con il lato ospitato

Crea un account e visita la pagina delle chiavi API. I nuovi utenti possono richiedere $0,50 di credito di prova gratuito con un clic, valido per 7 giorni e senza bisogno di carta. A 800 token in input e 400 in output per turno, questo copre circa 1.560 turni, sufficienti per decidere se il modello ospitato si adatta al tuo progetto prima di spendere qualcosa.

I ricaricamenti a pagamento partono da $20 con qualsiasi importo intero fino a $500 e il credito non scade mai. Se mantieni anche un setup Ollama, non perdi nulla: usa il locale per le bozze private e l'API ospitata per i lavori che richiedono uptime, contesto lungo o concorrenza.

Domande e risposte

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.

Ollama può eseguire modelli senza censura?
    Sì, Ollama esegue qualsiasi file di modello compatibile che scarichi, inclusi i fine-tune della community che rifiutano meno. La qualità e il formato del prompt variano in base al modello, quindi fai delle prove prima di affidarti a uno.
Un'API ospitata è abbastanza privata?
    I prompt non vengono utilizzati per l'addestramento, ma vengono elaborati su un server remoto. Se nulla può lasciare la tua macchina, la soluzione locale è la scelta più rigorosa.
Posso usare il mio codice client Ollama con l'API ospitata?
    Spesso sì. Entrambi utilizzano il formato OpenAI, quindi devi cambiare l'URL di base in https://api.unfilteredaimodels.com/v1, aggiungere la tua chiave e impostare il modello su uncensored.
Quanto costa l'opzione ospitata al mese?
    Dipende dal volume. A $0,15 per 1M di token di input e $0,50 per 1M di token di output, 100.000 conversazioni da 800 token di input e 400 di output costano circa $32.