Unfiltered AI 模型用於 Ollama 與託管 API 比較
如果你正在尋找 Ollama 的無審查 AI 模型,真正的問題在於模型應該在哪裡運行:是在你自己的 GPU 上,還是在別人的伺服器上。本地端在隱私與離線使用上勝出,託管端則在設定、模型大小與無需硬體帳單上勝出。
更新於


重點摘要
- 本地 Ollama 需要足夠的記憶體來容納整個模型;託管端則只需要一個金鑰。
- Ollama 與此 API 都使用 OpenAI 格式,因此切換只需更改 Base URL。
- 此處的託管費用為每 1M 輸入 token $0.15 與每 1M 輸出 token $0.50,因此輕量使用僅需幾分錢。
- 選擇本地端用於離線或氣隙隔離的工作,選擇託管端用於全天候應用程式與長上下文。
快速決策表
| 情況 | 更好的契合度 |
|---|---|
| 沒有 GPU,或記憶體有限的筆記型電腦 | 託管 API |
| 資料絕不能離開你的機器 | 本地 Ollama |
| 必須全天候運行的應用程式或機器人 | 託管 API |
| 離線或氣隙隔離的使用情境 | 本地 Ollama |
| 長文件(高達 100,000 個 token 的上下文) | 託管 API,除非你的 GPU 有剩餘記憶體 |
| 在你現有硬體上進行大量連續生成 | 本地 Ollama |
| 花一個下午的時間來嘗試一個模型 | 兩者皆可;託管端啟動速度更快 |
大多數人最終會同時使用兩者。文章的其餘部分會解釋為什麼每一行會落在該位置,以便你根據自己的情況調整表格。
本地運行真正需要什麼
Ollama 會下載模型檔案並在 CPU 或 GPU 上運行。第一個限制是記憶體。一個粗略的原則是:權重所需的記憶體大約等於參數數量乘以每個權重的位元組數。在 4-bit 量化下,每個參數約需半個位元組,因此 7B 模型需要約 3.5 到 4 GB 的權重記憶體,13B 模型約需 7 GB,70B 模型約需 35 GB,這是在快取隨上下文長度增長之前的估算。
這些數字是估計值,且量化會損失一些回答品質。當模型無法放入 GPU 記憶體時,Ollama 會將層級溢出到 CPU,導致速度大幅下降。長提示詞會使情況惡化,因為注意力快取會隨著你輸入的每個 token 而增長。
此外還有模型選擇的問題。標記為無審查或去審查的社群微調模型在品質上差異很大,且每個模型都有其獨特的提示詞模板怪癖。本地使用的一部分成本是你花在尋找行為符合預期模型的時間。
託管端點帶來的變化
本站的 無審查 AI 模型 是由獨立供應商運行的一個開放權重模型。你不需要選擇量化、管理驅動程式或等待下載。你只需取得金鑰並呼叫它即可。
- 上下文視窗: 100,000 token,包含提示詞與補全。
- 功能: 串流輸出、函式呼叫、JSON 模式以及常見的採樣參數。
- 並行請求:完整金鑰最多支援 8 個同時請求,單一家用 GPU 通常難以在同等品質下達到此數量。
- 隱私:提示詞不會用於訓練,但會傳送至伺服器。本地部署在此點上更為嚴格,此處的情況並未改變這一點。
權衡很明確。你放棄了「沒有任何東西會離開你的機器」的保證,換取了一個在你需要時即可運行的模型,且無需購買或散熱硬體。
成本:購買硬體何時能回本
託管定價為每 1M 輸入 token $0.15 與每 1M 輸出 token $0.50,預付額度,無訂閱費。對於 800 個輸入與 400 個輸出的對話輪次,成本為 $0.00012 + $0.0002 = $0.00032。
- 1,000 次輪次:$0.32
- 100,000 次輪次:$32
- 1,000,000 次輪次:$320
現在將此與硬體進行比較。假設作為一個純粹的例子,你花費 $600 購買一張僅用於此目的的 GPU。除以 $0.00032,你得到 1,875,000 次輪次,此時硬體成本等於託管帳單,這還忽略了電力與你的時間。如果你已經擁有強大的 GPU,本地使用的邊際成本為零,比較就會反轉。
實際閱讀: 業餘與中度使用的託管成本每月僅需數美元,通常不值得購買。每天產生數千萬 token 的管線則是另一回事,這些金額值得用試算表仔細計算。目前費率請見定價頁面。若要自行估算,請將您預期的每日 token 數量乘以上述兩種費率。
速度與可靠性
本地速度完全取決於你的硬體與模型大小。能放入 GPU 記憶體的模型感覺是瞬間的;溢出到系統記憶體的模型可能會感覺非常慢。本文沒有引用每 token 秒數的數字,因為它們在不同卡與量化之間差異太大,沒有參考價值。
託管速度取決於負載。當服務短暫超載時,會回傳 HTTP 429 狀態碼與Retry-After: 5標頭,您的用戶端應等待後重試。完整金鑰每分鐘超過 300 個請求會回傳rate_limited,同時超過 8 個請求會回傳concurrency。這兩種情況都不會計費。
可靠性的差異主要在於誰負責維護。你自己的機器需要更新、足夠的剩餘磁碟空間以及保持進程運行。託管 API 只需要一個帶有預付額度的金鑰。
在 Ollama 與 API 之間切換工具
Ollama 在連接埠 11434 上提供相容於 OpenAI 的端點,此 API 也遵循相同的格式。這意味著一個腳本可以與兩者通訊,由環境變數選擇。
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
相同的技巧也適用於要求 OpenAI 相容 Base URL 的聊天前端與代理工具。保留兩個設定檔,一個指向 localhost,另一個指向https://api.unfilteredaimodels.com/v1,並在兩者之間切換。文件列出了支援的參數,若工具傳送了不尋常的內容可參考。
你在本地調整的提示詞通常可以遷移,但請檢查它們。不同的模型可能會對相同的系統提示詞做出不同的反應,因此在切換後請運行一些你自己的測試提示詞。
開始使用託管端
建立帳戶並前往API 金鑰頁面。新用戶只需一鍵即可領取 $0.50 的免費試用額度,有效期 7 天且無需綁定信用卡。每輪輸入 800 token、輸出 400 token 的情況下,該額度可支援約 1,560 輪對話,足以讓您在花費任何費用之前,判斷託管模型是否適合您的專案。
付費儲值從 $20 開始,最高金額為 $500 的整數金額,且額度永不過期。如果你同時保留 Ollama 設定,你不會失去任何東西:使用本地端進行私密草稿,使用託管 API 進行需要 uptime、長上下文或並行請求的工作。
更多指南
問答
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。
Ollama 能執行無審查模型嗎?
- 是的,Ollama 會執行你拉取的任何相容模型檔案,包括拒絕率較低的社群微調版本。品質與提示詞格式因模型而異,因此在依賴之前請先進行測試。
託管 API 的隱私性足夠嗎?
- 提示詞不會用於訓練,但它們會在遠端伺服器上處理。如果任何資料都不能離開你的機器,本地端是更嚴格的選擇。
我可以使用 Ollama 的客戶端程式碼搭配託管 API 嗎?
- 通常可以。兩者都使用 OpenAI 格式,因此你只需將 Base URL 變更為 https://api.unfilteredaimodels.com/v1,、加入金鑰並將模型設定為 uncensored 即可。
託管選項每月的費用是多少?
- 視用量而定。輸入 token 每 100 萬個 $0.15,輸出 token 每 100 萬個 $0.50,每輪 800 個輸入 token 與 400 個輸出 token 的 100,000 次對話輪次,費用約為 $32。