Unfiltered AI-Modelle für Ollama vs. eine gehostete API
Wenn du unzensierte KI-Modelle für Ollama in Betracht ziehst, ist die eigentliche Frage, wo das Modell laufen soll: auf deiner eigenen GPU oder bei jemand anderem. Lokal gewinnt beim Datenschutz und Offline-Nutzung, gehostet bei Einrichtung, Modellgröße und ohne Hardware-Rechnung.
Aktualisiert


Wichtige Punkte
- Lokales Ollama benötigt genug Speicher für das gesamte Modell; gehostet benötigt nur einen Schlüssel.
- Ollama und dieser Endpunkt verwenden beide das OpenAI-Format, daher ist das Umschalten nur eine Änderung der Base URL.
- Die gehosteten Kosten hier betragen $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token, daher kosten leichte Nutzung wenige Cent.
- Wähle lokal für Offline- oder Air-Gap-Nutzung, gehostet für Always-On-Apps und langen Kontext.
Schnelle Entscheidungstabelle
| Situation | Bessere Eignung |
|---|---|
| Keine GPU oder ein Laptop mit wenig Speicher | Gehostete API |
| Daten dürfen die Maschine niemals verlassen | Lokales Ollama |
| Eine App oder ein Bot, der rund um die Uhr verfügbar sein muss | Gehostete API |
| Offline- oder Air-Gap-Nutzung | Lokales Ollama |
| Lange Dokumente (bis zu 100.000 Token Kontext) | Gehostete API, es sei denn, deine GPU hat ausreichend VRAM-Kapazität |
| Intensive kontinuierliche Generierung auf Hardware, die du bereits besitzt | Lokales Ollama |
| Ein Modell für einen Nachmittag testen | Beides; gehostet ist schneller gestartet |
Die meisten Leute nutzen am Ende beides. Der Rest des Artikels erklärt, warum jede Zeile dort landet, wo sie landet, damit du die Tabelle für deinen eigenen Fall anpassen kannst.
Was lokales Ausführen wirklich kostet
Ollama lädt eine Modell-Datei herunter und führt sie auf deiner CPU oder GPU aus. Die erste Einschränkung ist der Speicher. Eine grobe Regel: Die Gewichte benötigen etwa die Anzahl der Parameter mal Bytes pro Gewicht. Bei 4-Bit-Quantisierung sind das etwa ein halbes Byte pro Parameter, also benötigt ein 7B-Modell etwa 3,5 bis 4 GB für Gewichte, ein 13B-Modell etwa 7 GB und ein 70B-Modell etwa 35 GB, bevor der Kontext-Cache hinzukommt.
Diese Werte sind Schätzungen, und Quantisierung kostet etwas Antwortqualität. Wenn das Modell nicht in den GPU-Speicher passt, lagert Ollama Schichten auf die CPU aus und die Geschwindigkeit sinkt stark. Lange Prompts verschlechtern dies, da der Attention-Cache mit jedem eingegebenen Token wächst.
Es gibt auch das Modell-Auswahl-Problem. Community-Fine-Tunes, die als unzensiert oder ablitiert gekennzeichnet sind, variieren stark in der Qualität, und jedes hat seine eigenen Prompt-Template-Spezifika. Ein Teil der Kosten für die lokale Nutzung ist deine Zeit, die du mit der Suche nach einem Modell verbringst, das sich so verhält, wie du es brauchst.
Was ein gehosteter Endpunkt ändert
Das gehostete unzensierte KI-Modell auf dieser Website ist ein Open-Weight-Modell, das von einem unabhängigen Anbieter betrieben wird. Du wählst keine Quantisierung, verwaltest keine Treiber oder wartest auf Downloads. Du erhältst einen Schlüssel und rufst ihn auf.
- Kontext: 100.000 Token, Prompt plus Vervollständigung.
- Funktionen: Streaming, Tool Calling, JSON-Modus und die üblichen Sampling-Parameter.
- Concurrency: bis zu 8 gleichzeitige Anfragen auf einem vollständigen Schlüssel, was eine einzelne Heim-GPU oft bei gleicher Qualität nicht erreichen kann.
- Datenschutz: Prompts werden nicht zum Training verwendet, aber sie werden an einen Server gesendet. Lokal ist bei diesem Punkt strenger und nichts hier ändert das.
Der Handel ist klar. Du verzichtest auf die Garantie, dass nichts deinen Rechner verlässt, und gewinnst ein Modell, das läuft, wenn du es brauchst, ohne Hardware kaufen oder kühlen zu müssen.
Kosten: Wann lohnt sich der Hardware-Kauf
Die gehosteten Preise betragen $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token, prepaid, ohne Abonnement. Für einen Chat-Turn mit 800 Input- und 400 Output-Token sind das $0,00012 + $0,0002 = $0,00032.
- 1.000 Turns: $0,32
- 100.000 Turns: $32
- 1.000.000 Turns: $320
Vergleiche das nun mit der Hardware. Nehmen wir als reines Beispiel an, du gibst $600 für eine GPU nur dafür aus. Geteilt durch $0,00032 ergeben sich 1.875.000 Turns, bevor die Hardware die gehostete Rechnung entspricht, und das ignoriert Strom und deine Zeit. Wenn du bereits eine leistungsfähige GPU besitzt, ist die lokale Nutzung am Rand kostenlos und der Vergleich kehrt sich um.
Die praktische Schlussfolgerung: Hobby- und moderate Nutzung kosten im Monat wenige Dollar gehostet, was einen Kauf selten rechtfertigt. Eine Pipeline, die täglich Dutzende Millionen Token generiert, ist eine andere Sache, und die Summen verdienen eine ordentliche Tabelle. Die aktuellen Preise stehen immer auf der Preisseite. Für deine eigene Schätzung multipliziere deine erwarteten täglichen Token mit den beiden oben genannten Sätzen.
Geschwindigkeit und Zuverlässigkeit
Die lokale Geschwindigkeit hängt vollständig von deiner Hardware und der Modellgröße ab. Ein Modell, das in den GPU-Speicher passt, fühlt sich sofort an; eines, das in den Systemspeicher ausweicht, kann schmerzhaft langsam sein. Dieser Artikel zitiert keine Token-pro-Sekunde-Werte, da diese zwischen Karten und Quantisierungen zu stark variieren, um nützlich zu sein.
Die gehostete Geschwindigkeit hängt von der Auslastung ab. Wenn der Dienst kurzzeitig überlastet ist, gibt er HTTP 429 mit einem Retry-After: 5-Header zurück, und dein Client sollte warten und erneut versuchen. Über 300 Anfragen pro Minute auf einem vollständigen Schlüssel geben rate_limited zurück, und mehr als 8 gleichzeitig geben concurrency zurück. Beides wird nicht berechnet.
Der Unterschied in der Zuverlässigkeit betrifft hauptsächlich, wer die Wartung durchführt. Deine eigene Maschine benötigt Updates, genug freien Speicherplatz und einen wachen Prozess. Die gehostete API benötigt einen Schlüssel mit Guthaben darauf.
Umschalten der Tools zwischen Ollama und der API
Ollama stellt einen OpenAI-kompatiblen Endpunkt auf Port 11434 zur Verfügung, und diese API folgt demselben Format. Das bedeutet, ein Skript kann mit beiden kommunizieren, ausgewählt über Umgebungsvariablen.
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
Der gleiche Trick funktioniert in Chat-Frontends und Agent-Tools, die eine OpenAI-kompatible Basis-URL verlangen. Halte zwei Profile bereit, eines zeigt auf localhost und eines auf https://api.unfilteredaimodels.com/v1, und wechsle zwischen ihnen. Die Dokumentation listet die unterstützten Parameter auf, wenn ein Tool etwas Ungewöhnliches sendet.
Prompts, die du lokal angepasst hast, werden normalerweise übernommen, aber prüfe sie. Ein anderes Modell kann auf denselben System-Prompt anders reagieren, also führe nach dem Umschalten einige deiner eigenen Test-Prompts aus.
Erste Schritte mit der gehosteten Seite
Erstelle ein Konto und besuche die API-Key-Seite. Neue Nutzer können $0,50 an kostenlosem Testguthaben mit einem Klick beanspruchen, gültig für 7 Tage und ohne Kartenangabe. Bei 800 Input- und 400 Output-Token pro Turn deckt das etwa 1.560 Turns ab, genug um zu entscheiden, ob das gehostete Modell zu deinem Projekt passt, bevor du etwas ausgibst.
Bezahlte Aufladungen starten bei $20 mit jedem ganzen Betrag bis zu $500, und Guthaben verfällt nie. Wenn du auch ein Ollama-Setup behältst, verlierst du nichts: Nutze lokal für private Entwürfe und die gehostete API für Jobs, die Uptime, langen Kontext oder Parallelität benötigen.
Weitere Anleitungen
Fragen und Antworten
Dein Schlüssel ist nur ein Formular entfernt
Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.
Kann Ollama unzensierte Modelle ausführen?
- Ja, Ollama führt alle kompatiblen Modell-Dateien aus, die du lädst, einschließlich Community-Fine-Tunes mit weniger Einschränkungen. Qualität und Prompt-Format variieren je nach Modell, also teste vor der Nutzung.
Ist eine gehostete API privat genug?
- Prompts werden nicht zum Training verwendet, aber sie werden auf einem Remote-Server verarbeitet. Wenn nichts deine Maschine verlassen darf, ist lokal die strengere Wahl.
Kann ich meinen Ollama-Client-Code mit der gehosteten API nutzen?
- Oft ja. Beide nutzen das OpenAI-Format, also änderst du die base URL auf https://api.unfilteredaimodels.com/v1, fügst deinen Schlüssel hinzu und stellst das Modell auf unzensiert.
Wie viel kostet die gehostete Option monatlich?
- Das hängt vom Volumen ab. Bei $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token kosten 100.000 Chat-Turns mit 800 Input- und 400 Output-Token etwa $32.