Model Unfiltered AI untuk Ollama vs API Terhost
Jika Anda meneliti model AI tanpa filter untuk Ollama, pertanyaan sebenarnya adalah di mana model harus berjalan: pada GPU Anda sendiri atau pada GPU orang lain. Lokal menang dalam hal privasi dan penggunaan offline, sedangkan terhosting menang dalam hal penyiapan, ukuran model, dan tidak adanya tagihan perangkat keras.
Diperbarui


Poin utama
- Ollama lokal membutuhkan memori yang cukup untuk seluruh model; terhost hanya membutuhkan kunci.
- Ollama dan API ini sama-sama menggunakan format OpenAI, jadi beralih hanya mengubah base URL.
- Biaya terhost di sini adalah $0,15 per 1M input dan $0,50 per 1M output token, sehingga penggunaan ringan biayanya hanya beberapa sen.
- Pilih lokal untuk pekerjaan offline atau terisolasi, pilih terhosting untuk aplikasi yang selalu aktif dan konteks panjang.
Tabel keputusan cepat
| Situasi | Cocok lebih baik |
|---|---|
| Tidak ada GPU, atau laptop dengan memori sedikit | API Terhosting |
| Data tidak boleh pernah keluar dari mesin Anda | Ollama Lokal |
| Aplikasi atau bot yang harus aktif sepanjang waktu | API Terhosting |
| Penggunaan offline atau terisolasi | Ollama Lokal |
| Dokumen panjang (hingga 100,000 token konteks) | API terhost, kecuali GPU Anda memiliki memori berlebih |
| Generasi kontinu berat pada perangkat keras yang sudah Anda miliki | Ollama Lokal |
| Mencoba model selama sore hari | Keduanya; terhost lebih cepat untuk dimulai |
Kebanyakan orang akhirnya menggunakan keduanya. Sisa artikel ini menjelaskan mengapa setiap baris berada di posisi tersebut, sehingga Anda dapat menyesuaikan tabel untuk kasus Anda sendiri.
Apa yang benar-benar dibutuhkan menjalankan secara lokal
Ollama mengunduh file model dan menjalankannya di CPU atau GPU Anda. Kendala pertama adalah memori. Aturan kasar: bobot membutuhkan sekitar jumlah parameter kali byte per bobot. Pada kuantisasi 4-bit itu sekitar setengah byte per parameter, jadi model 7B membutuhkan sekitar 3,5 hingga 4 GB untuk bobot, model 13B sekitar 7 GB, dan model 70B sekitar 35 GB, sebelum cache yang tumbuh dengan panjang konteks.
Angka-angka itu adalah perkiraan, dan kuantisasi mengorbankan beberapa kualitas jawaban. Ketika model tidak muat dalam memori GPU, Ollama menumpuk lapisan ke CPU dan kecepatan turun tajam. Prompt panjang memperburuk ini, karena cache perhatian tumbuh dengan setiap token yang Anda masukkan.
Ada juga masalah pemilihan model. Fine-tune komunitas yang ditandai sebagai tanpa filter atau tanpa sensor sangat bervariasi kualitasnya, dan masing-masing memiliki keanehan template prompt sendiri. Bagian dari biaya penggunaan lokal adalah waktu Anda untuk menemukan yang perilakunya sesuai.
Apa yang diubah oleh endpoint yang dihosting
Model AI tanpa sensor yang dihost di situs ini adalah satu model bobot terbuka yang dijalankan oleh penyedia independen. Anda tidak memilih kuantisasi, mengelola driver, atau menunggu unduhan. Anda mendapatkan kunci dan memanggilnya.
- Konteks: 100.000 token, prompt ditambah penyelesaian.
- Fitur: streaming, pemanggilan alat, mode JSON, dan parameter sampling biasa.
- Konkurensi: hingga 8 permintaan simultan pada kunci penuh, yang sering tidak dapat dicapai GPU rumah tunggal dengan kualitas yang sama.
- Privasi: prompt tidak digunakan untuk pelatihan, tetapi prompt tersebut dikirim ke server. Lokal lebih ketat dalam hal ini dan tidak ada yang mengubah hal tersebut.
Pertukarannya jelas. Anda menyerahkan jaminan bahwa tidak ada yang keluar dari mesin Anda, dan Anda mendapatkan model yang berjalan ketika Anda membutuhkannya, tanpa perangkat keras untuk dibeli atau didinginkan.
Biaya: kapan membeli perangkat keras menguntungkan
Harga hosting adalah $0,15 per 1M token input dan $0,50 per 1M token output, prabayar, tanpa langganan. Untuk satu putaran chat dengan 800 token input dan 400 token output, itu adalah $0,00012 + $0,0002 = $0,00032.
- 1.000 putaran: $0,32
- 100.000 putaran: $32
- 1.000.000 putaran: $320
Sekarang bandingkan dengan perangkat keras. Misalnya, sebagai contoh murni, Anda menghabiskan $600 untuk GPU hanya untuk ini. Bagi dengan $0,00032 dan Anda mendapatkan 1.875.000 putaran sebelum perangkat keras sama dengan tagihan hosting, dan itu mengabaikan listrik dan waktu Anda. Jika Anda sudah memiliki GPU yang mumpuni, penggunaan lokal gratis di margin dan perbandingannya berubah.
Kesimpulan praktis: penggunaan hobi dan moderat biayanya beberapa dolar per bulan di layanan terhosting, yang jarang membenarkan pembelian. Pipelining yang menghasilkan puluhan juta token setiap hari adalah hal lain, dan jumlah tersebut memerlukan spreadsheet yang tepat. Tarif saat ini selalu ada di halaman harga. Untuk estimasi Anda sendiri, kalikan token harian yang Anda harapkan dengan dua tarif di atas.
Kecepatan dan keandalan
Kecepatan lokal sepenuhnya bergantung pada perangkat keras Anda dan ukuran model. Model yang muat dalam memori GPU terasa instan; model yang bocor ke memori sistem bisa terasa sangat lambat. Artikel ini tidak mengutip angka token per detik, karena angka tersebut terlalu bervariasi antar kartu dan kuantisasi untuk menjadi berguna.
Kecepatan terhost bergantung pada beban. Ketika layanan kelebihan beban sebentar, itu mengembalikan HTTP 429 dengan header Retry-After: 5, dan klien Anda harus menunggu dan mencoba lagi. Lebih dari 300 permintaan per menit pada kunci penuh mengembalikan rate_limited, dan lebih dari 8 sekaligus mengembalikan concurrency. Tidak ada yang ditagih.
Perbedaan keandalan terutama tentang siapa yang melakukan pemeliharaan. Mesin Anda sendiri membutuhkan pembaruan, ruang disk gratis yang cukup, dan proses yang terjaga. API terhost membutuhkan kunci dengan saldo di atasnya.
Beralih alat antara Ollama dan API
Ollama mengekspos endpoint kompatibel OpenAI di port 11434, dan API ini mengikuti format yang sama. Itu berarti satu skrip dapat berbicara dengan salah satunya, dipilih oleh variabel lingkungan.
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
Trik yang sama berfungsi di antarmuka obrolan dan alat agen yang meminta base URL kompatibel OpenAI. Simpan dua profil, satu menunjuk ke localhost dan satu ke https://api.unfilteredaimodels.com/v1, dan beralih di antara mereka. dokumentasi mencantumkan parameter yang didukung jika alat mengirim sesuatu yang tidak biasa.
Prompt yang Anda sesuaikan secara lokal biasanya tetap berlaku, tetapi periksa terlebih dahulu. Model yang berbeda dapat merespons prompt sistem yang sama dengan berbeda, jadi jalankan beberapa prompt uji Anda sendiri setelah beralih.
Memulai dengan sisi terhost
Buat akun dan kunjungi halaman kunci API. Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik, valid selama 7 hari dan tidak memerlukan kartu. Pada 800 input dan 400 output token per putaran, itu mencakup sekitar 1.560 putaran, cukup untuk memutuskan apakah model terhost sesuai dengan proyek Anda sebelum Anda mengeluarkan apa pun.
Isi ulang berbayar dimulai dari $20 dengan jumlah bulat hingga $500, dan saldo tidak pernah kedaluwarsa. Jika Anda tetap memiliki pengaturan Ollama, Anda tidak kehilangan apa pun: gunakan lokal untuk draf pribadi dan API terhosting untuk pekerjaan yang membutuhkan uptime, konteks panjang, atau konkurensi.
Panduan lainnya
Tanya jawab
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.
Dapatkah Ollama menjalankan model tanpa sensor?
- Ya, Ollama menjalankan berkas model kompatibel apa pun yang Anda unduh, termasuk fine-tune komunitas yang lebih sedikit menolak. Kualitas dan format prompt bervariasi antar model, jadi uji terlebih dahulu sebelum mengandalkan salah satunya.
Apakah API terhost cukup privat?
- Prompt tidak digunakan untuk pelatihan, tetapi diproses di server jarak jauh. Jika tidak ada yang boleh keluar dari mesin Anda, lokal adalah pilihan yang lebih ketat.
Dapatkah saya menggunakan kode klien Ollama saya dengan API yang dihosting?
- Sering ya. Keduanya menggunakan format OpenAI, jadi Anda mengubah base URL ke https://api.unfilteredaimodels.com/v1, menambahkan kunci Anda, dan mengatur model ke uncensored.
Berapa biaya opsi terhost per bulan?
- Tergantung volume. Dengan harga $0,15 per 1 juta token input dan $0,50 per 1 juta token output, 100.000 putaran chat dengan 800 token input dan 400 token output membutuhkan biaya sekitar $32.