FR ▾
Obtenir une clé API

Modèles Unfiltered AI pour Ollama vs une API hébergée

Si vous examinez les modèles IA sans filtre pour Ollama, la vraie question est de savoir où le modèle doit s'exécuter : sur votre propre GPU ou sur celui de quelqu'un d'autre. Le local gagne en confidentialité et en usage hors ligne, l'hébergé gagne en installation, taille des modèles et absence de facture matérielle.

Mis à jour le

Échelle équilibrant une tour GPU locale contre un cluster de serveurs cloud, comparant Ollama local à une API hébergée
Fenêtre de terminal envoyant une clé dorée et des paquets de données le long d'un ruban lumineux vers un serveur

Points clés

  • Ollama local nécessite suffisamment de mémoire pour le modèle entier ; l'hébergé n'a besoin que d'une clé.
  • Ollama et cette API utilisent tous deux le format OpenAI, le changement se fait donc par modification de l'URL de base.
  • Le coût hébergé est ici de $0,15 par 1 M de tokens d'entrée et de $0,50 par 1 M de tokens de sortie, donc une utilisation légère coûte quelques centimes.
  • Choisissez le local pour un usage hors ligne ou en réseau isolé, l'hébergé pour des applications toujours actives et un long contexte.

Tableau de décision rapide

SituationMeilleur ajustement
Pas de GPU, ou un ordinateur portable avec peu de mémoireAPI hébergée
Les données ne doivent jamais quitter votre machineOllama local
Une application ou un bot qui doit être en ligne 24h/24API hébergée
Usage hors ligne ou en réseau isoléOllama local
Documents longs (jusqu'à 100 000 tokens de contexte)API hébergée, sauf si votre GPU a de la mémoire en trop
Génération continue lourde sur du matériel que vous possédez déjàOllama local
Essayer un modèle pour un après-midiLes deux ; l'hébergé est plus rapide à démarrer

La plupart des gens finissent par utiliser les deux. Le reste de l'article explique pourquoi chaque ligne atterrit là où elle le fait, afin que vous puissiez ajuster le tableau pour votre propre cas.

Ce que prend vraiment l'exécution locale

Ollama télécharge un fichier de modèle et l'exécute sur votre CPU ou GPU. La première contrainte est la mémoire. Une règle approximative : les poids nécessitent environ le nombre de paramètres multiplié par les octets par poids. À une quantification 4 bits, cela représente environ 0,5 octet par paramètre, donc un modèle 7B nécessite environ 3,5 à 4 Go pour les poids, un modèle 13B environ 7 Go, et un modèle 70B environ 35 Go, avant le cache qui augmente avec la longueur du contexte.

Ces chiffres sont des estimations, et la quantification coûte un peu en qualité de réponse. Lorsque le modèle ne rentre pas dans la mémoire GPU, Ollama déverse les couches sur le CPU et la vitesse chute fortement. Les prompts longs aggravent cela, car le cache d'attention grandit avec chaque token que vous lui donnez.

Il y a aussi le problème du choix du modèle. Les modèles communautaires affinés, étiquetés sans filtre ou ablitrés, varient beaucoup en qualité, et chacun a ses propres particularités de template de prompt. Une partie du coût de l'utilisation locale est votre temps passé à en trouver un qui se comporte bien.

Ce qu'un endpoint hébergé change

Le modèle IA sans filtre hébergé sur ce site est un modèle à poids ouverts géré par un fournisseur indépendant. Vous ne choisissez pas la quantification, ne gérez pas les pilotes et n'attendez pas les téléchargements. Vous obtenez une clé et l'appelez.

  • Contexte : 100 000 tokens, prompt plus complétion.
  • Fonctionnalités : streaming, appel de fonctions, mode JSON et les paramètres d'échantillonnage habituels.
  • Concurrence : jusqu'à 8 requêtes simultanées sur une clé complète, ce qu'un seul GPU domestique ne peut souvent pas atteindre avec la même qualité.
  • Confidentialité : les prompts ne sont pas utilisés pour l'entraînement, mais ils voyagent vers un serveur. Le local est plus strict sur ce point et rien ici ne change cela.

Le compromis est clair. Vous renoncez à la garantie que rien ne quittera votre machine, et vous gagnez un modèle qui s'exécute quand vous en avez besoin, sans matériel à acheter ou à refroidir.

Coût : quand l'achat de matériel est rentable

La tarification hébergée est de $0,15 par 1 M de tokens d'entrée et de $0,50 par 1 M de tokens de sortie, en crédit prépayé, sans abonnement. Pour un tour de chat de 800 tokens d'entrée et 400 tokens de sortie, cela représente $0,00012 + $0,0002 = $0,00032.

  • 1 000 tours : $0,32
  • 100 000 tours : $32
  • 1 000 000 tours : $320

Comparez maintenant avec le matériel. Supposons, à titre d'exemple, que vous dépensiez 600 $ dans un GPU juste pour cela. Divisez par 0,00032 $ et vous obtenez 1 875 000 tours avant que le matériel n'égale la facture hébergée, et cela ignore l'électricité et votre temps. Si vous possédez déjà un GPU capable, l'utilisation locale est gratuite à la marge et la comparaison s'inverse.

La lecture pratique : les usages hobby et modérés coûtent quelques dollars par mois hébergé, ce qui justifie rarement un achat. Une pipeline générant des dizaines de millions de tokens par jour est une autre affaire, et les sommes méritent un tableau Excel approprié. Les tarifs actuels sont toujours sur la page de tarification. Pour votre propre estimation, multipliez vos tokens quotidiens attendus par les deux tarifs ci-dessus.

Vitesse et fiabilité

La vitesse locale dépend entièrement de votre matériel et de la taille du modèle. Un modèle qui rentre dans la mémoire GPU semble instantané ; un qui déverse dans la mémoire système peut sembler douloureusement lent. Cet article ne cite aucun chiffre de tokens par seconde, car ils varient trop entre les cartes et les quantifications pour être utiles.

La vitesse hébergée dépend de la charge. Lorsque le service est brièvement surchargé, il renvoie HTTP 429 avec un en-tête Retry-After: 5, et votre client doit attendre et réessayer. Plus de 300 requêtes par minute sur une clé complète renvoie rate_limited, et plus de 8 à la fois renvoie concurrency. Aucun n'est facturé.

La différence de fiabilité concerne surtout qui fait la maintenance. Votre propre machine a besoin de mises à jour, d'espace disque libre suffisant et d'un processus éveillé. L'API hébergée a besoin d'une clé avec du crédit dessus.

Changer d'outils entre Ollama et l'API

Ollama expose un endpoint compatible OpenAI sur le port 11434, et cette API suit le même format. Cela signifie qu'un seul script peut communiquer avec les deux, l'endpoint choisi par des variables d'environnement.

import os
from openai import OpenAI

if os.environ.get("USE_LOCAL") == "1":
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    model = os.environ["LOCAL_MODEL"]  # the name you pulled in Ollama
else:
    client = OpenAI(
        base_url="https://api.unfilteredaimodels.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"

r = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)

La même astuce fonctionne dans les interfaces de chat et les outils agent qui demandent une URL de base compatible OpenAI. Gardez deux profils, l'un pointant vers localhost et l'autre vers https://api.unfilteredaimodels.com/v1, et basculez entre eux. La documentation liste les paramètres pris en charge si un outil envoie quelque chose d'inhabituel.

Les prompts que vous avez ajustés localement sont généralement conservés, mais vérifiez-les. Un modèle différent peut répondre différemment au même prompt système, donc lancez quelques-uns de vos propres prompts de test après le changement.

Démarrer avec la partie hébergée

Créez un compte et visitez la page clé API. Les nouveaux utilisateurs peuvent réclamer 0,50 $ de crédit d'essai gratuit en un clic, valable 7 jours et sans besoin de carte. À 800 tokens d'entrée et 400 tokens de sortie par tour, cela couvre environ 1 560 tours, suffisant pour décider si le modèle hébergé convient à votre projet avant de dépenser quoi que ce soit.

Les recharges payantes commencent à $20 avec n'importe quel montant entier jusqu'à $500, et le crédit n'expire jamais. Si vous conservez également une configuration Ollama, vous ne perdez rien : utilisez le local pour les brouillons privés et l'API hébergée pour les tâches nécessitant une disponibilité, une longue fenêtre de contexte ou des requêtes simultanées.

Questions et réponses

Vous n'avez qu'un formulaire à remplir pour obtenir votre clé

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.

Ollama peut-il exécuter des modèles sans censure ?
    Oui, Ollama exécute tous les fichiers de modèles compatibles que vous téléchargez, y compris les fine-tunes communautaires moins restrictifs. La qualité et le format du prompt varient selon le modèle, testez-le avant de vous y fier.
Une API hébergée est-elle suffisamment privée ?
    Les prompts ne sont pas utilisés pour l'entraînement, mais ils sont traités sur un serveur distant. Si rien ne doit quitter votre machine, le local est le choix le plus strict.
Puis-je utiliser mon code client Ollama avec l'API hébergée ?
    Souvent, oui. Les deux utilisent le format OpenAI, donc vous modifiez l'URL de base vers https://api.unfilteredaimodels.com/v1, ajoutez votre clé et définissez le modèle sur uncensored.
Combien coûte l'option hébergée par mois ?
    Cela dépend du volume. À 0,15 $ par 1M de tokens d'entrée et 0,50 $ par 1M de tokens de sortie, 100 000 tours de chat de 800 tokens d'entrée et 400 tokens de sortie coûtent environ 32 $.