Unfiltered AI 模型:Ollama 与托管 API 对比
如果你正在关注 Ollama 的无审查 AI 模型,真正的问题在于模型应该在哪里运行:是在你自己的 GPU 上,还是在别人的服务器上。本地部署在隐私和离线使用方面占优,而托管部署在设置、模型大小和无需硬件账单方面占优。
更新于


要点
- 本地 Ollama 需要足够的内存来容纳整个模型;托管 API 只需要一个密钥。
- Ollama 和此 API 都支持 OpenAI 格式,因此切换只需更改 Base URL。
- 托管成本为每 100 万输入 token $0.15,每 100 万输出 token $0.50,因此轻度使用的成本仅为几分钱。
- 选择本地部署用于离线或空气隔离工作,选择托管用于全天候应用和长上下文场景。
快速决策表
| 情况 | 更好的匹配 |
|---|---|
| 没有 GPU,或笔记本电脑内存较小 | 托管 API |
| 数据绝不能离开你的机器 | 本地 Ollama |
| 必须全天候运行的应用或机器人 | 托管 API |
| 离线或空气隔离使用 | 本地 Ollama |
| 长文档(最多 100,000 token 的上下文窗口) | 托管 API,除非你的 GPU 内存充裕 |
| 在你已有的硬件上进行重型持续生成 | 本地 Ollama |
| 尝试使用模型一下午 | 两者皆可;托管 API 启动更快 |
大多数人最终会同时使用两者。文章其余部分解释了每行结论的原因,以便你根据自己的情况调整此表。
本地运行真正需要什么
Ollama 下载模型文件并在 CPU 或 GPU 上运行。第一个限制因素是内存。一个粗略的规则是:权重数据的大小约为参数量乘以每个权重的字节数。在 4-bit 量化下,每个参数大约需要半字节,因此 7B 模型需要大约 3.5 到 4 GB 的权重空间,13B 模型需要约 7 GB,70B 模型需要约 35 GB,这还不包括随上下文长度增长的缓存。
这些数字是估算值,且量化会损失一些回答质量。当模型无法放入 GPU 内存时,Ollama 会将层溢出到 CPU,速度会急剧下降。长提示词会加剧这种情况,因为注意力缓存会随着你输入的每个 token 而增长。
还存在模型选择问题。标记为无审查或去审查化的社区微调模型质量差异很大,且每个模型都有各自的提示词模板怪癖。本地使用的一部分成本是你花费时间找到一个行为符合预期的模型。
托管接口带来的变化
本站的 无审查 AI 模型 是一个由独立提供商运行的开放权重模型。你无需选择量化、管理驱动程序或等待下载。你只需获取密钥并调用即可。
- 上下文窗口: 100,000 token,包含提示词和补全。
- 功能:流式输出、tool calling、JSON 模式以及常用的采样参数。
- 并发: 完整密钥支持最多 8 个并发请求,单个家用 GPU 通常难以在同等质量下达到此水平。
- 隐私: 提示词不会用于训练,但它们会传输到服务器。本地部署在此方面更严格,这一点不会改变。
权衡很明显。你放弃了数据绝不离开机器的保证,但获得了一个随时可用的模型,且无需购买或散热硬件。
成本:购买硬件何时划算
托管定价为每 1M 输入 token $0.15,每 1M 输出 token $0.50,预付,无订阅。对于一次包含 800 个输入 token 和 400 个输出 token 的对话轮次,费用为 $0.00012 + $0.0002 = $0.00032。
- 1,000 轮:$0.32
- 100,000 轮:$32
- 1,000,000 轮:$320
现在与硬件进行对比。假设作为一个纯示例,你为此花费 $600 购买 GPU。除以 $0.00032 得到 1,875,000 轮对话,此时硬件成本等于托管账单,这还忽略了电力和你的时间。如果你已经拥有可用的 GPU,本地使用的边际成本为零,比较结果就会反转。
实际解读:业余和轻度使用的托管成本每月仅几美元,通常不足以证明购买硬件的合理性。每天生成数千万 token 的流水线则是另一回事,这些金额值得用电子表格进行详细计算。当前费率始终在 定价页面 上。对于你自己的估算,请将预期的每日 token 数乘以上述两个费率。
速度和可靠性
本地速度完全取决于你的硬件和模型大小。能放入 GPU 内存的模型感觉是即时的;溢出到系统内存的模型可能会感觉非常慢。本文未引用每秒 token 数,因为它们在显卡和量化之间差异太大,不具备参考价值。
托管速度取决于负载。当服务短暂过载时,会返回带有 Retry-After: 5 头的 HTTP 429,你的客户端应等待并重试。完整密钥每分钟超过 300 个请求会返回 rate_limited,同时超过 8 个请求会返回 concurrency。这两者均不收费。
可靠性的差异主要在于谁负责维护。你自己的机器需要更新、足够的可用磁盘空间和保持进程运行。托管 API 需要一个带有额度的密钥。
在 Ollama 和 API 之间切换工具
Ollama 在端口 11434 上暴露一个与 OpenAI 兼容的端点,此 API 也遵循相同的格式。这意味着一个脚本可以与两者之一通信,通过环境变量进行选择。
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
同样的技巧也适用于要求 OpenAI 兼容 Base URL 的聊天前端和代理工具。保留两个配置文件,一个指向 localhost,另一个指向 https://api.unfilteredaimodels.com/v1,并在它们之间切换。文档列出了支持的参数,如果工具发送了不寻常的内容,可在此查看。
你在本地调整的提示词通常可以迁移,但请检查它们。不同的模型对相同的系统提示词可能会有不同的响应,因此在切换后请运行一些你自己的测试提示词。
开始使用托管服务
创建账户并访问 API 密钥页面。新用户只需点击一下即可领取 $0.50 的免费试用额度,有效期 7 天且无需信用卡。每轮 800 输入 token 和 400 输出 token,这足以覆盖约 1,560 轮对话,让你在购买任何额度之前决定托管模型是否适合你的项目。
付费充值从 $20 起,最高可达 $500 的整数金额,且额度永不过期。如果你同时保留 Ollama 设置,则不会有任何损失:使用本地进行私密草稿,使用托管 API 处理需要正常运行时间、长上下文或并发的任务。
更多指南
问答
只需填写一张表单即可获得密钥
创建账户,复制密钥,更改基础 URL。这就是全部设置。
Ollama 能运行无审查模型吗?
- 可以。Ollama 会运行你拉取的任何兼容模型文件,包括限制较少的社区微调模型。不同模型的质量和提示词格式各异,因此在使用前请先进行测试。
托管 API 的隐私性足够吗?
- 提示词不会用于训练,但会在远程服务器上处理。如果要求数据绝不离开你的机器,本地部署是更严格的选择。
我能在托管 API 上使用 Ollama 客户端代码吗?
- 通常可以。两者都使用 OpenAI 格式,因此你只需将 Base URL 更改为 https://api.unfilteredaimodels.com/v1,添加密钥并将模型设置为 uncensored 即可。
托管选项每月的成本是多少?
- 这取决于用量。输入 token 价格为每 100 万 $0.15,输出 token 为每 100 万 $0.50。100,000 轮对话(每轮 800 输入 token 和 400 输出 token)的成本约为 $32。