Unfiltered AI Ollama用モデル vs ホストAPI
Ollama用の無検閲AIモデルを検討している場合、真の疑問はモデルをどこで実行するかです。自分のGPUか、それとも他人のサーバーか。ローカルはプライバシーとオフライン利用で勝ち、ホストはセットアップ、モデルサイズ、ハードウェアコスト不要で勝ちます。
更新日:


主要ポイント
- ローカルのOllamaにはモデル全体分のメモリが必要です。ホスト型にはAPI キーのみが必要です。
- OllamaとこのAPIはどちらもOpenAI形式に対応しているため、切り替えはベースURLの変更だけで済みます。
- ホストのコストは入力トークン100万あたり$0.15、出力トークン100万あたり$0.50であり、軽度の使用では数セントで済みます。
- オフラインやエアギャップ環境ではローカルを、常時稼働アプリや長いコンテキストウィンドウにはホスト型を選びます。
クイック判断表
| 状況 | より良い適合 |
|---|---|
| GPUがない、またはメモリが少ないラップトップ | ホスト型API |
| データがマシンから一切外に出ないこと | ローカルの Ollama |
| 24時間稼働が必要なアプリやボット | ホスト型API |
| オフラインまたはエアギャップ環境での利用 | ローカルの Ollama |
| 長いドキュメント(最大100,000トークンのコンテキストウィンドウ) | GPUにメモリに余裕がある場合を除く、ホストAPI |
| 既存のハードウェアでの重い連続生成 | ローカルの Ollama |
| 数時間だけモデルを試す | どちらでも;ホスト型の方が起動が速い |
多くの人は両方を使います。残りの記事では各行がなぜその結論に至ったかを説明し、あなた自身のケースに合わせて表を調整できるようにしています。
ローカル実行に必要なもの
Ollamaはモデルファイルをダウンロードし、CPUまたはGPU上で実行します。最初の制約はメモリです。大まかなルールとして、重みにはパラメータ数×重みあたりのバイト数が必要です。4ビット量子化ではパラメータあたり約0.5バイトとなるため、7Bモデルでは重みに約3.5〜4 GB、13Bモデルでは約7 GB、70Bモデルでは約35 GBが必要で、これらはコンテキスト長に応じて増えるキャッシュの前です。
これらの数値は概算であり、量子化は回答品質の低下を伴います。モデルがGPUメモリに収まらない場合、OllamaはレイヤーをCPUにスプールし、速度が大幅に低下します。長いプロンプトはこれを悪化させます。入力するトークンが増えるほどアテンションキャッシュが増大するためです。
モデル選択の問題もあります。「無検閲」や「abliterated」とラベル付けされたコミュニティファインチューニングモデルは品質にばらつきがあり、それぞれ独自のプロンプトテンプレートの癖を持っています。ローカル利用のコストの一部は、適切なモデルを見つけるために費やす時間です。
ホスト型エンドポイントが変更すること
このサイトの無検閲AIモデルは、独立したプロバイダが実行する1つのオープンウェイトモデルです。量子化の選択、ドライバーの管理、ダウンロードの待ち時間が不要です。キーを取得して呼び出すだけです。
- コンテキストウィンドウ: 100,000トークン(プロンプトと補完を含む)。
- 機能:ストリーミング、ツール呼び出し、JSONモード、および通常のサンプリングパラメータ。
- 同時実行数:フルキーで最大8つの同時リクエスト。これは、同じ品質を維持しながら単一の家庭用GPUがしばしば達成できない数値です。
- プライバシー:プロンプトはトレーニングに使用されませんが、サーバーに送信されます。ローカル環境はこの点でより厳格であり、ここでの記述がその事実を変えません。
トレードオフは明白です。データがマシンから一切外部に出ないという保証を放棄する代わりに、必要なときに稼働するモデルと、購入や冷却のためのハードウェア不要という恩恵を得ます。
コスト:ハードウェア購入が元を取るタイミング
ホスト料金は入力トークン100万あたり$0.15、出力トークン100万あたり$0.50で、前払い、サブスクリプションなしです。入力800トークン、出力400トークンのチャットターン1回あたり、$0.00012 + $0.0002 = $0.00032となります。
- 1,000ターン:$0.32
- 100,000ターン:$32
- 1,000,000ターン:$320
次にハードウェアと比較します。純粋な例として、GPUに$600だけ費やすと仮定します。$0.00032で割ると、ハードウェアのコストがホストの請求額に追いつくのは1,875,000ターン後であり、これは電気代やあなたの時間を無視しています。すでに高性能なGPUをお持ちの場合、ローカル使用は限界コストが無料となり、比較は逆転します。
実用的な読み解き:ホビーや中程度の使用では、ホスト利用は月数ドルの費用で済むため、購入を正当化するケースは稀です。毎日数千万トークンを生成するパイプラインは別問題であり、金額には適切なスプレッドシートでの検討が必要です。現在の料金は常に料金ページに記載されています。独自の見積もりのためには、予想される日間トークン数に上記の2つのレートを掛けてください。
速度と信頼性
ローカルの速度はハードウェアとモデルサイズに完全に依存します。GPUメモリに収まるモデルは瞬時に感じられ、システムメモリにスプールされるモデルは非常に遅く感じられます。この記事ではカードや量子化によってばらつきが大きすぎるため、有用なトークン/秒の数字を引用していません。
ホストの速度は負荷に依存します。サービスが一時的に過負荷になると、HTTP 429を返す際にRetry-After: 5ヘッダーを付与し、クライアントは待機して再試行すべきです。フルキーで1分あたり300リクエストを超えるとrate_limitedが返され、同時に8件を超えるとconcurrencyが返されます。これらは課金されません。
信頼性の違いは主にメンテナンスの主体にあります。自分のマシンはアップデート、十分な空きディスク容量、稼働中のプロセスが必要です。ホスト型APIには、クレジットのあるAPI キーが必要です。
OllamaとAPI間のツール切り替え
Ollamaはポート11434でOpenAI互換のエンドポイントを公開しており、このAPIも同じ形式に従います。つまり、環境変数で選択すれば、1つのスクリプトでどちらにも接続できます。
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
同じトリックは、OpenAI互換のベースURLを要求するチャットフロントエンドやエージェントツールでも機能します。localhostを指すプロファイルとhttps://api.unfilteredaimodels.com/v1を指すプロファイルの2つを維持し、それらの間で切り替えます。ツールが異常なものを送信する場合、docsはサポートされているパラメータの一覧を示しています。
ローカルで調整したプロンプトは通常引き継がれますが、確認してください。異なるモデルは同じシステムプロンプトに異なる応答をする可能性があるため、切り替え後に独自のテストプロンプトを実行してください。
ホスト側での始め方
アカウントを作成し、APIキーページにアクセスしてください。新規ユーザーはワンクリックで7日間有効な$0.50の無料トライアルクレジットを取得でき、カードは不要です。ターンあたり入力800トークン、出力400トークンで、約1,560ターンをカバーでき、何も使う前にホストモデルがプロジェクトに適しているかどうかを判断するのに十分です。
有料のチャージは$20から始まり、$500までの任意の整数金額が可能です。クレジットは期限切れになりません。Ollamaのセットアップも維持している場合、損失はありません:プライベートなドラフトにはローカルを、アップタイム、長いコンテキスト、同時実行数が必要なジョブにはホストAPIを使用します。
その他のガイド
質問と回答
キーはフォーム 1 つで手に入ります
アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。
Ollamaは無検閲モデルを実行できますか?
- はい。Ollamaは、コミュニティによるファインチューニングモデルなど、互換性のあるモデルファイルをダウンロードして実行できます。モデルによって品質やプロンプト形式が異なるため、信頼する前にテストしてください。
ホスト型APIはプライバシー面で十分ですか?
- プロンプトは学習に使用されませんが、リモートサーバーで処理されます。マシンからデータが一切外に出ないことが必須なら、ローカルがより厳格な選択肢です。
Ollamaのクライアントコードをホスト型APIで使えますか?
- 多くの場合、可能です。両方ともOpenAI形式を使用するため、Base URLをhttps://api.unfilteredaimodels.com/v1,に変更し、API キーを設定してモデルをuncensoredに指定するだけです。
ホスト型オプションの月額コストはいくらですか?
- 利用量によります。入力トークン100万あたり$0.15、出力トークン100万あたり$0.50で、入力800トークン、出力400トークンのチャットターン100,000回で約$32です。