繁中 ▾
取得 API 金鑰

Unfiltered AI 模型用於 Ollama 與託管 API 比較

如果你正在尋找 Ollama 的無審查 AI 模型,真正的問題在於模型應該在哪裡運行:是在你自己的 GPU 上,還是在別人的伺服器上。本地端在隱私與離線使用上勝出,託管端則在設定、模型大小與無需硬體帳單上勝出。

更新於

將本地 GPU 機櫃與雲端伺服器叢集進行平衡比較,比較本地 Ollama 與託管 API
終端機視窗透過光纖傳送金鑰與資料封包至伺服器

重點摘要

  • 本地 Ollama 需要足夠的記憶體來容納整個模型;託管端則只需要一個金鑰。
  • Ollama 與此 API 都使用 OpenAI 格式,因此切換只需更改 Base URL。
  • 此處的託管費用為每 1M 輸入 token $0.15 與每 1M 輸出 token $0.50,因此輕量使用僅需幾分錢。
  • 選擇本地端用於離線或氣隙隔離的工作,選擇託管端用於全天候應用程式與長上下文。

快速決策表

情況更好的契合度
沒有 GPU,或記憶體有限的筆記型電腦託管 API
資料絕不能離開你的機器本地 Ollama
必須全天候運行的應用程式或機器人託管 API
離線或氣隙隔離的使用情境本地 Ollama
長文件(高達 100,000 個 token 的上下文)託管 API,除非你的 GPU 有剩餘記憶體
在你現有硬體上進行大量連續生成本地 Ollama
花一個下午的時間來嘗試一個模型兩者皆可;託管端啟動速度更快

大多數人最終會同時使用兩者。文章的其餘部分會解釋為什麼每一行會落在該位置,以便你根據自己的情況調整表格。

本地運行真正需要什麼

Ollama 會下載模型檔案並在 CPU 或 GPU 上運行。第一個限制是記憶體。一個粗略的原則是:權重所需的記憶體大約等於參數數量乘以每個權重的位元組數。在 4-bit 量化下,每個參數約需半個位元組,因此 7B 模型需要約 3.5 到 4 GB 的權重記憶體,13B 模型約需 7 GB,70B 模型約需 35 GB,這是在快取隨上下文長度增長之前的估算。

這些數字是估計值,且量化會損失一些回答品質。當模型無法放入 GPU 記憶體時,Ollama 會將層級溢出到 CPU,導致速度大幅下降。長提示詞會使情況惡化,因為注意力快取會隨著你輸入的每個 token 而增長。

此外還有模型選擇的問題。標記為無審查或去審查的社群微調模型在品質上差異很大,且每個模型都有其獨特的提示詞模板怪癖。本地使用的一部分成本是你花在尋找行為符合預期模型的時間。

託管端點帶來的變化

本站的 無審查 AI 模型 是由獨立供應商運行的一個開放權重模型。你不需要選擇量化、管理驅動程式或等待下載。你只需取得金鑰並呼叫它即可。

  • 上下文視窗: 100,000 token,包含提示詞與補全。
  • 功能: 串流輸出、函式呼叫、JSON 模式以及常見的採樣參數。
  • 並行請求:完整金鑰最多支援 8 個同時請求,單一家用 GPU 通常難以在同等品質下達到此數量。
  • 隱私:提示詞不會用於訓練,但會傳送至伺服器。本地部署在此點上更為嚴格,此處的情況並未改變這一點。

權衡很明確。你放棄了「沒有任何東西會離開你的機器」的保證,換取了一個在你需要時即可運行的模型,且無需購買或散熱硬體。

成本:購買硬體何時能回本

託管定價為每 1M 輸入 token $0.15 與每 1M 輸出 token $0.50,預付額度,無訂閱費。對於 800 個輸入與 400 個輸出的對話輪次,成本為 $0.00012 + $0.0002 = $0.00032。

  • 1,000 次輪次:$0.32
  • 100,000 次輪次:$32
  • 1,000,000 次輪次:$320

現在將此與硬體進行比較。假設作為一個純粹的例子,你花費 $600 購買一張僅用於此目的的 GPU。除以 $0.00032,你得到 1,875,000 次輪次,此時硬體成本等於託管帳單,這還忽略了電力與你的時間。如果你已經擁有強大的 GPU,本地使用的邊際成本為零,比較就會反轉。

實際閱讀: 業餘與中度使用的託管成本每月僅需數美元,通常不值得購買。每天產生數千萬 token 的管線則是另一回事,這些金額值得用試算表仔細計算。目前費率請見定價頁面。若要自行估算,請將您預期的每日 token 數量乘以上述兩種費率。

速度與可靠性

本地速度完全取決於你的硬體與模型大小。能放入 GPU 記憶體的模型感覺是瞬間的;溢出到系統記憶體的模型可能會感覺非常慢。本文沒有引用每 token 秒數的數字,因為它們在不同卡與量化之間差異太大,沒有參考價值。

託管速度取決於負載。當服務短暫超載時,會回傳 HTTP 429 狀態碼與Retry-After: 5標頭,您的用戶端應等待後重試。完整金鑰每分鐘超過 300 個請求會回傳rate_limited,同時超過 8 個請求會回傳concurrency。這兩種情況都不會計費。

可靠性的差異主要在於誰負責維護。你自己的機器需要更新、足夠的剩餘磁碟空間以及保持進程運行。託管 API 只需要一個帶有預付額度的金鑰。

在 Ollama 與 API 之間切換工具

Ollama 在連接埠 11434 上提供相容於 OpenAI 的端點,此 API 也遵循相同的格式。這意味著一個腳本可以與兩者通訊,由環境變數選擇。

import os
from openai import OpenAI

if os.environ.get("USE_LOCAL") == "1":
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    model = os.environ["LOCAL_MODEL"]  # the name you pulled in Ollama
else:
    client = OpenAI(
        base_url="https://api.unfilteredaimodels.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"

r = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)

相同的技巧也適用於要求 OpenAI 相容 Base URL 的聊天前端與代理工具。保留兩個設定檔,一個指向 localhost,另一個指向https://api.unfilteredaimodels.com/v1,並在兩者之間切換。文件列出了支援的參數,若工具傳送了不尋常的內容可參考。

你在本地調整的提示詞通常可以遷移,但請檢查它們。不同的模型可能會對相同的系統提示詞做出不同的反應,因此在切換後請運行一些你自己的測試提示詞。

開始使用託管端

建立帳戶並前往API 金鑰頁面。新用戶只需一鍵即可領取 $0.50 的免費試用額度,有效期 7 天且無需綁定信用卡。每輪輸入 800 token、輸出 400 token 的情況下,該額度可支援約 1,560 輪對話,足以讓您在花費任何費用之前,判斷託管模型是否適合您的專案。

付費儲值從 $20 開始,最高金額為 $500 的整數金額,且額度永不過期。如果你同時保留 Ollama 設定,你不會失去任何東西:使用本地端進行私密草稿,使用託管 API 進行需要 uptime、長上下文或並行請求的工作。

問答

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

Ollama 能執行無審查模型嗎?
    是的,Ollama 會執行你拉取的任何相容模型檔案,包括拒絕率較低的社群微調版本。品質與提示詞格式因模型而異,因此在依賴之前請先進行測試。
託管 API 的隱私性足夠嗎?
    提示詞不會用於訓練,但它們會在遠端伺服器上處理。如果任何資料都不能離開你的機器,本地端是更嚴格的選擇。
我可以使用 Ollama 的客戶端程式碼搭配託管 API 嗎?
    通常可以。兩者都使用 OpenAI 格式,因此你只需將 Base URL 變更為 https://api.unfilteredaimodels.com/v1,、加入金鑰並將模型設定為 uncensored 即可。
託管選項每月的費用是多少?
    視用量而定。輸入 token 每 100 萬個 $0.15,輸出 token 每 100 萬個 $0.50,每輪 800 個輸入 token 與 400 個輸出 token 的 100,000 次對話輪次,費用約為 $32。