Unfiltered AI Modelleri için Ollama vs. Barındırılan API
Eğer Ollama için sansürsüz AI modellerine bakıyorsanız, asıl soru modelin nerede çalışacağıdır: kendi GPU'nuzda mı yoksa başkasının sunucusunda mı. Yerel kullanım gizlilik ve çevrimdışı kullanım açısından öne çıkar, barındırılan kullanım kurulum, model boyutu ve donanım faturası olmaması açısından öne çıkar.
güncellendi


Temel noktalar
- Yerel Ollama, tüm model için yeterli bellek gerektirir; barındırılan hizmette yalnızca bir anahtar gerekir.
- Ollama ve bu API OpenAI formatını konuştuğu için geçiş yapmak yalnızca base URL değişikliği gerektirir.
- Hosted maliyeti 1M input token başına $0,15 ve 1M output token başına $0,50'dir; hafif kullanım centlerle ödenir.
- Çevrimdışı veya hava izoleli işler için yereli, kesintisiz uygulamalar ve uzun bağlam için barındırılanı seçin.
Hızlı karar tablosu
| Durum | Daha iyi uyum |
|---|---|
| GPU yok veya az bellekli bir dizüstü bilgisayar | Barındırılan API |
| Veri asla makinenizden ayrılmamalı | Yerel Ollama |
| 7/24 açık kalması gereken bir uygulama veya bot | Barındırılan API |
| Çevrimdışı veya hava izoleli kullanım | Yerel Ollama |
| Uzun belgeler (bağlam penceresi için 100.000 token'a kadar) | Barındırılan API, GPU'nuzun fazladan belleği yoksa |
| Zaten sahip olduğunuz donanımda yoğun sürekli üretim | Yerel Ollama |
| Bir modeli bir öğleden sonra denemek | İkisi de; barındırılan hizmet başlatma açısından daha hızlıdır |
Çoğu insan sonunda her ikisini de kullanmaya başlar. Makalenin geri kalanı, her satırın neden bu konuma yerleştiğini açıklar, böylece tabloyu kendi durumunuza göre ayarlayabilirsiniz.
Yerel çalıştırmanın gerçek maliyeti
Ollama bir model dosyası indirir ve bunu CPU veya GPU üzerinde çalıştırır. İlk kısıt bellektir. Kabaca bir kural: ağırlıklar, parametre sayısı ile ağırlık başına bayt sayısının çarpımı kadar yer kaplar. 4-bit quantization ile bu, parametre başına yaklaşık yarım bayttır; bu nedenle bir 7B model için ağırlıklar yaklaşık 3,5 ila 4 GB, bir 13B model için yaklaşık 7 GB ve bir 70B model için yaklaşık 35 GB gerektirir; bağlam uzunluğu ile artan önbellek öncesi.
Bu rakamlar tahminidir ve quantization bazı yanıt kalitesinden ödemenize neden olur. Model GPU belleğine sığmadığında, Ollama katmanları CPU'ya taşır ve hız keskin bir şekilde düşer. Uzun istemler bunu kötüleştirir, çünkü dikkat önbelleği, verdiğiniz her token ile büyür.
Ayrıca model seçimi sorunu da vardır. Sansürsüz veya abliterated olarak etiketlenmiş topluluk ince ayarları kalite açısından büyük farklılıklar gösterir ve her biri kendi istem şablonu tuhaflıklarına sahiptir. Yerel kullanmanın bir maliyeti de, davranışlı bir tane bulmak için harcadığınız zamandır.
Barındırılan bir uç nokta neyi değiştirir
Bu sitedeki sansürsüz AI modeli bağımsız bir sağlayıcı tarafından yönetilen açık ağırlıklı bir modeldir. Quantization'ı seçmez, sürücüleri yönetmezsiniz veya indirmeler için beklemezsiniz. Bir anahtar alırsınız ve onu kullanırsınız.
- Bağlam penceresi: 100.000 token, istem ve tamamlama dahil.
- Özellikler: akış, fonksiyon çağırma, JSON modu ve yaygın örnekleme parametreleri.
- Eşzamanlı istekler: tam anahtarla eşzamanlı olarak 8 isteğe kadar, bu da tek bir ev GPU'su genellikle aynı kalitede karşılayamaz.
- Gizlilik: istemler eğitim için kullanılmaz ancak bir sunucuya gider. Bu konuda yerel kullanım daha katıdır ve bu durum değişmez.
Yapılan pazarlık açıktır. Hiçbir şeyin makinenizden ayrılmayacağı garantisinden vazgeçersiniz ve ihtiyacınız olduğunda çalışan, satın alınacak veya soğutulacak donanımı olmayan bir model kazanırsınız.
Maliyet: Donanım alımının ne zaman karşılık verdiğine dair
Hosted fiyatlandırması 1M input token başına $0,15 ve 1M output token başına $0,50'dir; ön ödemeli, abonelik yoktur. 800 input ve 400 output token içeren bir sohbet dönüşü için bu $0,00012 + $0,0002 = $0,00032'dir.
- 1.000 dönüş: $0,32
- 100.000 dönüş: $32
- 1.000.000 dönüş: $320
Şimdi donanım ile karşılaştırın. Saf bir örnek olarak, yalnızca bunun için bir GPU'ya $600 harcadığınızı varsayalım. $0.00032'ye böldüğünüzde, donanım barındırılan faturasına eşit olmadan önce 1.875.000 dönüş elde edersiniz; bu, elektrik ve zamanınızı göz ardı eder. Zaten yetkin bir GPU'ya sahipseniz, yerel kullanım marjinal olarak ücretsizdir ve karşılaştırma tersine döner.
Pratik okuma: hobi ve orta düzey kullanım, barındırılan olarak ayda birkaç dolara mal olur ki bu da nadiren bir satın alma gerekçesi gösterir. Günde on milyonlarca token üreten bir boru hattı başka bir meseledir ve toplamlar uygun bir elektronik tablo gerektirir. Güncel oranlar her zaman fiyatlandırma sayfasında mevcuttur. Kendi tahmininiz için, beklenen günlük token sayısını yukarıdaki iki oranla çarpın.
Hız ve güvenilirlik
Yerel hız tamamen donanımınıza ve model boyutuna bağlıdır. GPU belleğine sığan bir model anlık hissettirir; sistem belleğine taşan bir model acı verici derecede yavaş olabilir. Bu makale, kartlar ve quantization'lar arasında çok fazla değiştiği için yararlı olmaktan çıkan token/saniye rakamları vermez.
Hosted hızı yüke bağlıdır. Hizmet kısa süreli aşırı yüklendiğinde, HTTP 429 döndürür Retry-After: 5 başlığı ile ve istemciniz beklemeli ve yeniden denemelidir. Tam anahtar üzerinde dakikada 300 isteğin üzerinde rate_limited döndürür ve aynı anda 8'den fazlası concurrency döndürür. Bunların hiçbirinden ücret alınmaz.
Güvenilirlik farkı büyük ölçüde kimin bakım yaptığı ile ilgilidir. Kendi makineniz güncellemeler, yeterli boş disk alanı ve uyanık bir süreç gerektirir. Hosted API, üzerinde kredi olan bir anahtar gerektirir.
Ollama ve API arasında araçları geçiş
Ollama, 11434 portunda OpenAI-uyumlu bir uç nokta açar ve bu API aynı formatı takip eder. Bu, tek bir betiğin iki uç noktadan biriyle konuşabileceği ve seçimin ortam değişkenleriyle yapılacağı anlamına gelir.
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
Aynı yöntem, OpenAI-uyumlu bir temel URL (base URL) isteyen sohbet ön uçlarında ve ajan araçlarında da çalışır. localhost'a işaret eden ve https://api.unfilteredaimodels.com/v1'e işaret eden iki profil tutun ve aralarında geçiş yapın. belgeler, bir araç alışılmadık bir parametre gönderirse desteklenen parametreleri listeler.
Yerel olarak ayarladığınız istemler genellikle aktarılır, ancak bunları kontrol edin. Farklı bir model aynı sistem istemine farklı yanıt verebilir, bu yüzden geçiş yaptıktan sonra kendi test istemlerinizi çalıştırın.
Hosted tarafında başlangıç
Bir hesap oluşturun ve API anahtarı sayfasına gidin. Yeni kullanıcılar tek tıkla 7 gün geçerli ve kart gerektirmeyen $0,50 deneme kredisi talep edebilir. Dönüş başına 800 input ve 400 output token ile bu yaklaşık 1.560 dönüşü kapsar; bu, hiçbir şey harcamadan önce hosted modelin projenize uygun olup olmadığını belirlemenize yeterlidir.
Ödemeli yüklemeler $20 ile başlar ve $500'e kadar herhangi bir tam miktarla yapılabilir; kredi süresi dolmaz. Bir Ollama kurulumu da korursanız hiçbir şey kaybetmezsiniz: özel taslaklar için yerel modeli ve kesintisizlik, uzun bağlam veya eşzamanlılık gerektiren işler için barındırılan API'yi kullanın.
Daha fazla kılavuz
Sorular ve cevaplar
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve temel URL'yi değiştirin. Kurulum bu kadar basit.
Ollama sansürsüz modelleri çalıştırabilir mi?
- Evet, Ollama indirdiğiniz her uyumlu model dosyasını çalıştırır; bunlar arasında daha az reddeden topluluk ince ayarları da bulunur. Kalite ve istem formatı modele göre değişir, bu yüzden güvenmeden önce test edin.
Hosted API yeterince özel mi?
- İstemler eğitim için kullanılmaz ancak uzak bir sunucuda işlenir. Hiçbir şey makinenizden ayrılamıyorsa, yerel kullanım daha katı bir tercihtir.
Ollama istemci kodumu hosted API ile kullanabilir miyim?
- Sıklıkla evet. Her ikisi de OpenAI formatını kullandığı için base URL'yi https://api.unfilteredaimodels.com/v1, olarak değiştirip anahtarınızı ekleyin ve modeli sansürsüz olarak ayarlayın.
Hosted seçeneğinin aylık maliyeti nedir?
- Hacme bağlıdır. 1M input token başına $0,15 ve 1M output token başına $0,50 ile, 800 input ve 400 output token içeren 100.000 sohbet dönüşü yaklaşık $32 tutar.