نماذج Unfiltered AI لـ Ollama مقابل واجهة برمجة تطبيقات مستضافة
إذا كنت تبحث عن نماذج AI غير خاضعة للرقابة لـ Ollama، فإن السؤال الحقيقي هو أين يجب تشغيل النموذج: على وحدة معالجة الرسومات الخاصة بك أم على جهاز آخر. يفوز التشغيل المحلي في الخصوصية والعمل دون اتصال، بينما يفوز التشغيل المستضاف في سهولة الإعداد وحجم النموذج وعدم وجود فاتورة عتاد.
تم التحديث


نقاط رئيسية
- يحتاج Ollama المحلي إلى ذاكرة كافية للنموذج بأكمله؛ بينما يحتاج المستضاف إلى مفتاح فقط.
- يتحدث Ollama وواجهة API هذه بتنسيق OpenAI، لذا فإن التبديل هو مجرد تغيير في Base URL.
- تكلفة الاستضافة هنا هي $0.15 لكل مليون رمز إدخال و$0.50 لكل مليون رمز إخراج، لذا فإن الاستخدام الخفيف يكلف سنتات.
- اختر المحلي للأعمال دون اتصال أو المعزولة عن الشبكة، والمستضاف للتطبيقات التي تعمل دائمًا والسياق الطويل.
جدول قرار سريع
| الحالة | ملاءمة أفضل |
|---|---|
| لا توجد وحدة معالجة رسومات، أو جهاز كمبيوتر محمول بذاكرة قليلة | واجهة برمجة التطبيقات المستضافة |
| يجب ألا تغادر البيانات جهازك أبدًا | Ollama المحلي |
| تطبيق أو روبوت يجب أن يكون متاحًا على مدار الساعة | واجهة برمجة التطبيقات المستضافة |
| الاستخدام دون اتصال أو في بيئة معزولة | Ollama المحلي |
| المستندات الطويلة (حتى 100,000 رمز من نافذة السياق) | واجهة API المستضافة، ما لم يكن لديك ذاكرة GPU فائضة |
| توليد مستمر وثقيل على الأجهزة التي تمتلكها بالفعل | Ollama المحلي |
| تجربة نموذج لفترة بعد الظهر | كلاهما؛ الاستضافة أسرع في البدء |
ينتهي الأمر بمعظم الأشخاص باستخدام كليهما. يشرح بقية المقال سبب وضع كل صف في مكانه، حتى تتمكن من تعديل الجدول لحالتك الخاصة.
ما يتطلبه التشغيل محليًا حقًا
يقوم Ollama بتنزيل ملف النموذج وتشغيله على وحدة المعالجة المركزية (CPU) أو بطاقة الرسوميات (GPU). القيد الأول هو الذاكرة. قاعدة تقريبية: تحتاج الأوزان إلى عدد المعاملات مضروبًا في عدد البايتات لكل وزن. عند التكميم بـ 4 بت، يكون ذلك حوالي نصف بايت لكل معامل، لذا يحتاج نموذج 7B إلى حوالي 3.5 إلى 4 جيجابايت للأوزان، ونموذج 13B حوالي 7 جيجابايت، ونموذج 70B حوالي 35 جيجابايت، قبل ذاكرة التخزين المؤقت التي تنمو مع طول السياق.
هذه الأرقام تقديريّة، والتكميم يكلف بعض جودة الإجابة. عندما لا يتسع النموذج في ذاكرة بطاقة الرسوميات (GPU)، يقوم Ollama بنقل الطبقات إلى وحدة المعالجة المركزية (CPU) وتنخفض السرعة بشكل حاد. تجعل المطالبات الطويلة هذا أسوأ، لأن ذاكرة التخزين المؤقت للانتباه تنمو مع كل رمز تقدمه.
هناك أيضًا مشكلة اختيار النموذج. النماذج المدققة من المجتمع والموسومة بأنها غير خاضعة للرقابة أو مُزالة التحيّز تختلف كثيرًا في الجودة، ولكل منها غرابة في قالب الموجّه الخاص به. جزء من تكلفة الاستخدام المحلي هو الوقت الذي تقضيه في العثور على واحد يتصرف بشكل صحيح.
ما يغيره الواجهة المستضافة
النموذج غير الخاضع للرقابة المستضاف في هذا الموقع هو نموذج مفتوح الأوزان واحد يديره مزود مستقل. لا تختار التكميم، ولا تدير برامج التشغيل، ولا تنتظر التنزيلات. تحصل على مفتاح API key وتستخدمه.
- نافذة السياق: 100,000 رمز (token)، الموجّه بالإضافة إلى الإكمال.
- الميزات: البث المتدفق، استدعاء الدوال، وضع JSON، ومعاملات أخذ العينات المعتادة.
- التزامن: حتى 8 طلبات متزامنة على مفتاح كامل، وهو ما غالبًا ما لا تستطيع بطاقة رسوميات (GPU) منزلية واحدة تحقيقه بنفس الجودة.
- الخصوصية: لا تُستخدم الموجّهات في التدريب، لكنها تمر عبر خادم. التشغيل المحلي أكثر صرامة في هذه النقطة، ولا شيء هنا يغير ذلك.
المقايضة واضحة. تتنازل عن الضمان بأن شيئًا لن يغادر جهازك، وتكسب نموذجًا يعمل عندما تحتاج إليه، دون حاجة لشراء أو تبريد أجهزة.
التكلفة: متى يستحق شراء الأجهزة
أسعار الاستضافة هي $0.15 لكل مليون رمز مدخل و $0.50 لكل مليون رمز مخرج، رصيد مسبق الدفع، بدون اشتراك. لجلسة دردشة تحتوي على 800 رمز مدخل و 400 رمز مخرج، يكون ذلك $0.00012 + $0.0002 = $0.00032.
- 1,000 جلسة: $0.32
- 100,000 جلسة: $32
- 1,000,000 جلسة: $320
الآن قارن ذلك بالأجهزة. افترض، كمثال بحت، أنك تنفق $600 على بطاقة رسوميات (GPU) فقط لهذا الغرض. اقسم على $0.00032 وستحصل على 1,875,000 جلسة قبل أن تتساوى تكلفة الأجهزة مع فاتورة الاستضافة، وهذا يتجاهل الكهرباء ووقتك. إذا كنت تمتلك بالفعل بطاقة رسوميات (GPU) قوية، فإن الاستخدام المحلي مجاني على الهامش وتنقلب المقارنة.
القراءة العملية: تكلف استخدام الهواة والاستخدام المعتدل بضعة دولارات شهرياً عند التشغيل المستضاف، وهو ما نادراً ما يبرر الشراء. أما خط أنابيب يولّد عشرات الملايين من الرموز يومياً، فهذه قضية أخرى، والمبالغ تستحق جدول بيانات مناسب. الأسعار الحالية دائماً في صفحة الأسعار. لتقديرك الخاص، اضرب عدد الرموز اليومية المتوقعة في معدّلَي السعر المذكورين أعلاه.
السرعة والموثوقية
تعتمد السرعة المحلية بشكل كامل على عتادك وحجم النموذج. النموذج الذي يتسع في ذاكرة GPU يبدو فورياً؛ أما الذي يتسرب إلى ذاكرة النظام فقد يبدو بطيئاً بشكل مؤلم. لا تذكر هذه المقالة أرقاماً للرموز في الثانية، لأنها تختلف كثيراً بين البطاقات والتكميمات لتكون مفيدة.
تعتمد سرعة الاستضافة على الحمل. عندما تتعرض الخدمة لحمل زائد مؤقت، تعيد HTTP 429 مع رأس Retry-After: 5، ويجب على العميل الانتظار ثم إعادة المحاولة. فوق 300 طلب في الدقيقة على مفتاح كامل يعيد rate_limited، وأكثر من 8 في وقت واحد يعيد concurrency. لا يُفرض أي منهما.
يكمن فرق الموثوقية بشكل أساسي في من يقوم بالصيانة. تحتاج آلتك الخاصة إلى تحديثات، مساحة قرص حرة كافية، وعمليات تعمل. تحتاج الـ API المستضافة إلى مفتاح يحتوي على رصيد.
التبديل بين أدوات Ollama و الـ API
تعرض Ollama نقطة نهاية متوافقة مع OpenAI على المنفذ 11434، وتتبع هذه الـ API نفس التنسيق. هذا يعني أن سكريبتاً واحداً يمكنه التحدث مع أي منهما، ويُختار عبر متغيرات البيئة.
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
تعمل نفس الحيلة في واجهات الدردشة وأدوات الوكلاء التي تطلب Base URL متوافقاً مع OpenAI. احتفظ بملفين، واحد يشير إلى localhost والآخر إلى https://api.unfilteredaimodels.com/v1، وحوّل بينهما. تذكر أن الوثائق تذكر المعاملات المدعومة إذا أرسل الأداة شيئاً غير معتاد.
الموجّهات التي ضبطتها محلياً عادةً ما تنتقل، لكن تحقق منها. يمكن لنموذج مختلف أن يستجيب لنفس الموجّه النظامي بشكل مختلف، لذا قم بتشغيل بعض موجّهات الاختبار الخاصة بك بعد التبديل.
البدء في الجانب المستضاف
أنشئ حساباً وقم بزيارة صفحة مفتاح API. يمكن للمستخدمين الجدد المطالبة بـ $0.50 من رصيد تجريبي مجاني بنقرة واحدة، ساري لمدة 7 أيام ولا يتطلب بطاقة. عند 800 رمز إدخال و400 رمز إخراج لكل دور، يغطي هذا حوالي 1,560 دورة، وهو ما يكفي لقرار ما إذا كان النموذج المستضاف يناسب مشروعك قبل إنفاق أي شيء.
تبدأ عمليات شحن الرصيد المدفوعة بمبلغ $20 بأي مبلغ صحيح يصل إلى $500، ولا ينتهي الرصيد المسبق الدفع. إذا حافظت على إعداد Ollama أيضًا، فلن تخسر شيئًا: استخدم المحلي للمسودات الخاصة، وواجهة برمجة التطبيقات المستضافة للمهام التي تتطلب توافرًا مستمرًا أو سياقًا طويلًا أو طلبات متزامنة.
المزيد من الأدلة
أسئلة وأجوبة
مفتاحك على بُعد نموذج واحد
أنشئ حساباً، وانسخ المفتاح، ثم غيّر URL الأساسي. هذه هي الإعدادات الكاملة.
هل يمكن لـ Ollama تشغيل نماذج بدون رقابة؟
- نعم، Ollama يشغل أي ملفات نماذج متوافقة تسحبها، بما في ذلك النماذج المدققة مجتمعياً التي ترفض أقل. تختلف الجودة وتنسيق الموجّه حسب النموذج، لذا اختبر قبل الاعتماد على واحد.
هل الـ API المستضاف خاص بما فيه الكفاية؟
- لا تُستخدم الموجّهات للتدريب، لكنها تُعالج على خادم بعيد. إذا لم يكن أي شيء يجب أن يغادر جهازك، فإن المحلي هو الخيار الأكثر صرامة.
هل يمكنني استخدام كود عميل Ollama الخاص بي مع الـ API المستضاف؟
- غالباً نعم. كلاهما يستخدم تنسيق OpenAI، لذا غيّر Base URL إلى https://api.unfilteredaimodels.com/v1, وأضف مفتاحك واضبط النموذج على uncensored.
كم يكلف الخيار المستضاف شهرياً؟
- يعتمد على الحجم. عند $0.15 لكل مليون رمز إدخال و$0.50 لكل مليون رمز إخراج، تكلف 100,000 دورة دردشة بـ 800 رمز إدخال و400 رمز إخراج حوالي $32.