Modele Unfiltered AI dla Ollama vs API hostowane
Jeśli szukasz niefiltrowanych modeli AI dla Ollama, kluczowe pytanie brzmi: gdzie powinien działać model? Na Twojej karcie GPU czy czyimś serwerze? Lokalne rozwiązanie wygrywa pod względem prywatności i pracy offline, a hostowane — pod względem łatwości konfiguracji, wielkości modeli i braku rachunków za sprzęt.
Zaktualizowano


Kluczowe punkty
- Lokalne Ollama wymaga wystarczającej pamięci na cały model; API hostowane wymaga tylko klucza.
- Ollama i to API używają formatu OpenAI, więc przełączenie to zmiana adresu URL bazowego.
- Koszt usługi hostowanej to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, więc lekkie użycie kosztuje grosze.
- Wybierz lokalne do pracy offline lub w izolowanej sieci, a hostowane do aplikacji działających non-stop i długiego okna kontekstu.
Szybka tabela decyzyjna
| Sytuacja | Lepsze dopasowanie |
|---|---|
| Brak GPU lub laptop z małą ilością pamięci | Hostowane API |
| Dane nie mogą opuścić Twojego komputera | Lokalna Ollama |
| Aplikacja lub bot, który musi działać non-stop | Hostowane API |
| Praca offline lub w izolowanej sieci | Lokalna Ollama |
| Długie dokumenty (do 100 000 tokenów okna kontekstu) | API hostowane, chyba że Twoje GPU ma zapas pamięci |
| Ciężka ciągła generacja na sprzęcie, który już posiadasz | Lokalna Ollama |
| Przetestowanie modelu przez popołudnie | Każdy; hostowanie jest szybsze do uruchomienia |
Większość użytkowników kończy na używaniu obu. Reszta artykułu wyjaśnia, dlaczego każda pozycja znajduje się tam, gdzie się znajduje, abyś mógł dostosować tabelę do własnych potrzeb.
Co naprawdę wymaga lokalne uruchamianie
Ollama pobiera plik modelu i uruchamia go na CPU lub GPU. Pierwszym ograniczeniem jest pamięć. Przybliżona zasada: wagi zajmują około liczby parametrów razy bajty na wagę. Przy kwantyzacji 4-bitowej jest to około pół bajta na parametr, więc model 7B wymaga około 3,5–4 GB na wagi, model 13B około 7 GB, a model 70B około 35 GB, przed pamięcią podręczną, która rośnie wraz z długością kontekstu.
Te wartości są szacunkowe, a kwantyzacja kosztuje nieco jakości odpowiedzi. Gdy model nie mieści się w pamięci GPU, Ollama przenosi warstwy do CPU i prędkość gwałtownie spada. Długie prompty pogarszają to, ponieważ pamięć uwagi rośnie z każdym tokenem, który podajesz.
Istnieje też problem wyboru modelu. Społecznościowe fine-tune’y oznaczone jako bez cenzury lub abliterowane różnią się jakością, a każde ma swoje specyficzne szablony promptów. Część kosztu użytku lokalnego to Twój czas poświęcony na znalezienie takiego, który działa poprawnie.
Co zmienia endpoint w chmurze
model AI bez filtrów na tej stronie to jeden model o otwartych wagach uruchamiany przez niezależnego dostawcę. Nie wybierasz kwantyzacji, nie zarządzasz sterownikami ani nie czekasz na pobieranie. Otrzymujesz klucz i go wywołujesz.
- Okno kontekstu: 100 000 tokenów, prompt plus uzupełnienie.
- Funkcje: strumieniowanie, wywoływanie funkcji, tryb JSON i standardowe parametry próbkowania.
- Równoległe zapytania: do 8 jednoczesnych zapytań na pełnym kluczu, czego pojedyncza karta GPU w domu często nie jest w stanie zapewnić przy tej samej jakości.
- Prywatność: prompty nie są używane do trenowania, ale trafiają na serwer. Lokalne rozwiązanie jest w tym aspekcie ściślejsze i nic tego nie zmienia.
Kompromis jest jasny. Zrezygnujesz z gwarancji, że nic nie opuści Twojego komputera, a zyskasz model, który jest gotowy do działania, gdy tego potrzebujesz, bez konieczności kupowania lub chłodzenia sprzętu.
Koszt: kiedy zakup sprzętu się opłaca
Ceny hostowania to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, przedpłacone, bez subskrypcji. Za jedną turę czatu z 800 tokenami wejściowymi i 400 wyjściowymi koszt wynosi $0,00012 + $0,0002 = $0,00032.
- 1 000 tur: $0,32
- 100 000 tur: $32
- 1 000 000 tur: $320
Porównaj to teraz ze sprzętem. Załóżmy dla czystego przykładu, że wydajesz $600 na kartę graficzną tylko do tego celu. Podziel przez $0.00032 i otrzymasz 1 875 000 rozmów, zanim sprzęt zrówna się z rachunkiem za usługę hostowaną, a to bez liczenia prądu i Twojego czasu. Jeśli już posiadasz wydajną kartę graficzną, użycie lokalne jest darmowe przy brzegu, a porównanie się odwraca.
Praktyczna lekcja: użycie hobbystyczne i umiarkowane kosztuje kilka dolarów miesięcznie za hostowanie, co rzadko uzasadnia zakup. Potok generujący dziesiątki milionów tokenów dziennie to inna sprawa, a kwoty wymagają odpowiedniego arkusza kalkulacyjnego. Aktualne stawki są zawsze na stronie z cenami. Aby oszacować własne koszty, pomnóż oczekiwane dzienne tokeny przez dwie powyższe stawki.
Prędkość i niezawodność
Lokalna prędkość zależy w całości od Twojego sprzętu i wielkości modelu. Model mieszczący się w pamięci GPU działa błyskawicznie; ten przeniesiony do pamięci systemowej może działać boleśnie wolno. Ten artykuł nie podaje liczby tokenów na sekundę, ponieważ różnią się one zbyt mocno między kartami i kwantyzacjami, by były użyteczne.
Prędkość hostowania zależy od obciążenia. Gdy usługa jest chwilowo przeciążona, zwraca HTTP 429 z nagłówkiem Retry-After: 5, a Twój klient powinien poczekać i ponowić próbę. Powyżej 300 zapytań na minutę na pełnym kluczu zwraca rate_limited, a więcej niż 8 na raz zwraca concurrency. Żadne z nich nie są rozliczane.
Różnica w niezawodności dotyczy głównie tego, kto zajmuje się konserwacją. Twój własny komputer wymaga aktualizacji, wystarczającej wolnej przestrzeni dyskowej i działającego procesu. API hostowane wymaga tylko klucza z doładowanym kredytem.
Przełączanie narzędzi między Ollama a API
Ollama udostępnia endpoint kompatybilny z OpenAI na porcie 11434, a to API korzysta z tego samego formatu. Oznacza to, że jeden skrypt może rozmawiać z obiema, wybieranymi przez zmienne środowiskowe.
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
Ten sam trik działa w interfejsach czatu i narzędziach agentów, które proszą o bazowy URL zgodny z OpenAI. Utrzymuj dwa profile: jeden wskazujący na localhost, a drugi na https://api.unfilteredaimodels.com/v1, i przełączaj się między nimi. Dokumentacja zawiera listę obsługiwanych parametrów, jeśli narzędzie wysyła coś nietypowego.
Prompty, które dostosowałeś lokalnie, zwykle przenoszą się, ale sprawdź je. Inny model może reagować na ten sam prompt systemowy inaczej, więc uruchom kilka własnych testowych promptów po przełączeniu.
Pierwsze kroki z częścią hostowaną
Załóż konto i odwiedź stronę kluczy API. Nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem, ważny przez 7 dni i nie wymagający karty. Przy 800 tokenach wejściowych i 400 wyjściowych na turę, obejmuje to około 1 560 tur, co wystarczy, aby zdecydować, czy model hostowany pasuje do Twojego projektu, zanim wydasz cokolwiek.
Płatne doładowania zaczynają się od $20 z dowolną kwotą całkowitą do $500, a kredyt nigdy nie wygasa. Jeśli zachowasz też konfigurację Ollama, nic nie tracisz: używaj lokalnie do prywatnych szkiców, a API hostowanego do zadań wymagających dostępności, długiego kontekstu lub równoległości.
Więcej przewodników
Pytania i odpowiedzi
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.
Czy Ollama uruchomi modele bez cenzury?
- Tak, Ollama uruchamia dowolne pliki modeli, które pobierzesz, w tym community fine-tune'y, które mniej odmawiają. Jakość i format promptu różnią się w zależności od modelu, więc przetestuj przed użyciem.
Czy API hostowane jest wystarczająco prywatne?
- Prompty nie są używane do trenowania, ale są przetwarzane na zdalnym serwerze. Jeśli nic nie może opuścić Twojego komputera, lokalne rozwiązanie jest ściślejsze.
Czy mogę użyć kodu klienta Ollama z API hostowanym?
- Często tak. Obie używają formatu OpenAI, więc zmieniasz Base URL na https://api.unfilteredaimodels.com/v1, dodajesz klucz i ustawiasz model na uncensored.
Ile kosztuje opcja hostowana miesięcznie?
- Zależy od wolumenu. Przy cenie $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, 100 000 rozmów po 800 tokenach wejściowych i 400 wyjściowych kosztuje około $32.