Unfiltered AI Modellen voor Ollama versus een gehost API
Als je kijkt naar ongecensureerde AI-modellen voor Ollama, is de echte vraag waar het model moet draaien: op je eigen GPU of bij iemand anders. Lokaal wint op privacy en offline gebruik, gehost wint op setup, modelgrootte en geen hardwarekosten.
Bijgewerkt


Belangrijkste punten
- Lokale Ollama heeft genoeg geheugen nodig voor het hele model; gehost heeft alleen een sleutel nodig.
- Ollama en deze API spreken beide het OpenAI-formaat, dus wisselen is een wijziging van de base URL.
- De gehoste kosten zijn hier $0,15 per 1M input en $0,50 per 1M output tokens, dus licht gebruik kost centen.
- Kies lokaal voor offline of air-gapped werk, gehost voor altijd-online apps en lange context.
Snelle beslissingstabel
| Situatie | Betere fit |
|---|---|
| Geen GPU, of een laptop met weinig geheugen | Gehoste API |
| Gegevens mogen je machine nooit verlaten | Lokaal Ollama |
| Een app of bot die 24/7 beschikbaar moet zijn | Gehoste API |
| Offline of air-gapped gebruik | Lokaal Ollama |
| Lange documenten (tot 100.000 tokens context) | Gehoste API, tenzij je GPU genoeg geheugen heeft |
| Zware continue generatie op hardware die je al hebt | Lokaal Ollama |
| Een model een middagje uitproberen | Beide; gehost is sneller om te starten |
De meeste mensen gebruiken er uiteindelijk beide. De rest van het artikel legt uit waarom elke rij zich op de plaats bevindt die hij heeft, zodat je de tabel voor jouw eigen geval kunt aanpassen.
Wat lokaal draaien echt kost
Ollama downloadt een modelbestand en draait het op je CPU of GPU. De eerste beperking is geheugen. Een ruwe regel: de gewichten hebben ongeveer het aantal parameters vermenigvuldigd met de bytes per gewicht nodig. Bij 4-bit kwantisatie is dat ongeveer een halve byte per parameter, dus een 7B-model heeft ongeveer 3,5 tot 4 GB nodig voor gewichten, een 13B-model ongeveer 7 GB en een 70B-model ongeveer 35 GB, voordat de cache die groeit met de contextlengte.
Deze cijfers zijn schattingen, en kwantisatie kost wat antwoordkwaliteit. Als het model niet in GPU-geheugen past, spoelt Ollama lagen naar de CPU en daalt de snelheid scherp. Lange prompts maken dit erger, omdat de attention cache groeit met elke token die je invoert.
Er is ook het probleem van de modelkeuze. Community fine-tunes gelabeld als unfiltered of ontschoond variëren veel in kwaliteit, en elk heeft zijn eigen prompttemplate-eigenaardigheden. Een deel van de kosten van lokaal gebruik is je tijd die je besteedt aan het vinden van er een die zich gedraagt.
Wat een gehost endpoint verandert
Het gehoste ongecensureerde AI-model op deze site is één open-weight model dat wordt uitgevoerd door een onafhankelijke provider. Je kiest geen kwantisatie, beheert geen stuurprogramma's of wacht niet op downloads. Je krijgt een sleutel en roept het op.
- Context: 100.000 tokens, prompt plus completion.
- Functies: streaming, tool calling, JSON-modus en de gebruikelijke samplingparameters.
- Concurrency: tot 8 gelijktijdige verzoeken op een volledige sleutel, wat een enkele thuis-GPU vaak niet kan evenaren bij dezelfde kwaliteit.
- Privacy: prompts worden niet gebruikt voor training, maar ze reizen wel naar een server. Lokaal is strenger op dat punt en niets hier verandert daar iets aan.
De ruil is duidelijk. Je geeft de garantie dat er niets je machine verlaat, en je wint een model dat draait wanneer je het nodig hebt, zonder hardware om te kopen of te koelen.
Kosten: wanneer betaalt hardware kopen zich terug
Gehoste prijzen zijn $0,15 per 1M inputtokens en $0,50 per 1M outputtokens, prepaid, zonder abonnement. Voor een chatbeurt van 800 input en 400 outputtokens is dat $0,00012 + $0,0002 = $0,00032.
- 1.000 beurten: $0,32
- 100.000 beurten: $32
- 1.000.000 beurten: $320
Vergelijk nu met hardware. Stel, als puur voorbeeld, dat je $600 uitgeeft aan een GPU alleen hiervoor. Deel door $0.00032 en je krijgt 1,875,000 beurten voordat de hardware gelijk is aan de gehoste rekening, en dat negeert elektriciteit en je tijd. Als je al een capabele GPU hebt, is lokaal gebruik gratis aan de marge en keert de vergelijking om.
De praktische lezing: hobby en matig gebruik kosten een paar dollar per maand gehost, wat zelden een aankoop rechtvaardigt. Een pipeline die dagelijks tientallen miljoenen tokens genereert is een ander verhaal, en de bedragen verdienen een goede spreadsheet. Huidige tarieven staan altijd op de prijzenpagina. Voor je eigen schatting vermenigvuldig je je verwachte dagelijkse tokens met de twee bovenstaande tarieven.
Snelheid en betrouwbaarheid
Lokale snelheid hangt volledig af van je hardware en de modelgrootte. Een model dat in GPU-geheugen past voelt direct aan; een die in systeemgeheugen spoelt kan pijnlijk langzaam aanvoelen. Dit artikel citeert geen tokens-per-seconde cijfers, omdat ze te veel variëren tussen kaarten en kwantisaties om nuttig te zijn.
Gehoste snelheid hangt af van de belasting. Wanneer de service kortstondig overbelast is, retourneert deze HTTP 429 met een Retry-After: 5 header, en moet je client wachten en opnieuw proberen. Meer dan 300 verzoeken per minuut op een volledige sleutel retourteert rate_limited, en meer dan 8 tegelijk retourteert concurrency. Geen van beide wordt gefactureerd.
Het betrouwbaarheidsverschil gaat vooral over wie het onderhoud doet. Je eigen machine heeft updates nodig, genoeg vrije schijfruimte en een wakker proces. De gehoste API heeft een sleutel nodig met tegoed erop.
Tools wisselen tussen Ollama en de API
Ollama exposeert een compatibel met OpenAI endpoint op poort 11434, en deze API volgt dezelfde indeling. Dat betekent dat één script met beide kan praten, gekozen door omgevingsvariabelen.
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
Dezelfde truc werkt in chatfrontends en agenttools die om een OpenAI-compatible base URL vragen. Houd twee profielen bij, één verwijzend naar localhost en één naar https://api.unfilteredaimodels.com/v1, en wissel tussen hen. De docs vermelden de ondersteunde parameters als een tool iets ongewoons stuurt.
Prompts die je lokaal hebt afgestemd, dragen meestal over, maar controleer ze. Een ander model kan op dezelfde system prompt anders reageren, dus voer een paar van je eigen testprompts uit na het wisselen.
Aan de slag met de gehoste kant
Maak een account aan en bezoek de API-sleutelpagina. Nieuwe gebruikers kunnen $0,50 aan proeftegoed claimen met één klik, geldig voor 7 dagen en zonder kaart. Bij 800 input en 400 output tokens per beurt, dekt dit ongeveer 1.560 beurten, genoeg om te beslissen of het gehoste model past bij je project voordat je iets uitgeeft.
Betaalde top-ups beginnen bij $20 met elk geheel bedrag tot $500, en tegoed verloopt nooit. Als je ook een Ollama-setup houdt, verlies je niets: gebruik lokaal voor private drafts en de gehoste API voor de taken die uptime, lange context of concurrency nodig hebben.
Meer handleidingen
Vragen en antwoorden
Je sleutel is nog maar één stap verwijderd
Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.
Kan Ollama ongecensureerde modellen draaien?
- Ja, Ollama draait elke compatibele modelbestanden die je ophaalt, inclusief community fine-tunes met minder beperkingen. Kwaliteit en promptformaat verschillen per model, dus test voordat je erop vertrouwt.
Is een gehoste API privé genoeg?
- Prompts worden niet gebruikt voor training, maar ze worden verwerkt op een externe server. Als er niets je machine mag verlaten, is lokaal de strengere keuze.
Kan ik mijn Ollama-clientcode gebruiken met de gehoste API?
- Vaak wel. Beide gebruiken het OpenAI-formaat, dus je wijzigt de base URL naar https://api.unfilteredaimodels.com/v1, voegt je sleutel toe en stelt het model in op ongecensureerd.
Hoeveel kost de gehoste optie per maand?
- Het hangt af van het volume. Bij $0,15 per 1M input en $0,50 per 1M output tokens kosten 100.000 chatbeurten van 800 input en 400 output tokens ongeveer $32.