Ollama के लिए अनफिल्टर्ड AI मॉडल्स बनाम होस्टेड API
यदि आप Ollama के लिए अनफिल्टर्ड AI मॉडल देख रहे हैं, तो असली प्रश्न यह है कि मॉडल कहाँ चलना चाहिए: अपने GPU पर या किसी और के। प्राइवेसी और ऑफ़लाइन उपयोग के लिए लोकल बेहतर है, सेटअप, मॉडल साइज़ और हार्डवेयर बिल के बिना होस्टेड बेहतर है।
अपडेट किया गया


मुख्य बिंदु
- लोकल Ollama को पूरे मॉडल के लिए पर्याप्त मेमोरी की आवश्यकता होती है; होस्टेड को केवल एक कुंजी की आवश्यकता होती है।
- Ollama और यह API दोनों OpenAI प्रारूप का उपयोग करते हैं, इसलिए स्विच करना केवल बेस URL बदलने का मामला है।
- यहाँ होस्टेड लागत $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, इसलिए हल्के उपयोग में सिर्फ कुछ पैसे लगते हैं।
- ऑफ़लाइन या एयर-गैप्ड कार्य के लिए लोकल चुनें, हमेशा-ऑन ऐप्स और लंबे कॉन्टेक्स्ट के लिए होस्टेड चुनें।
त्वरित निर्णय तालिका
| स्थिति | बेहतर फिट |
|---|---|
| कोई GPU नहीं, या कम मेमोरी वाला लैपटॉप | होस्टेड API |
| डेटा कभी भी आपकी मशीन से बाहर नहीं जाना चाहिए | स्थानीय Ollama |
| एक ऐप या बॉट जो दिन-रात चालू रहना चाहिए | होस्टेड API |
| ऑफ़लाइन या एयर-गैप्ड उपयोग | स्थानीय Ollama |
| लंबे दस्तावेज़ (संदर्भ के लिए 100,000 टोकन तक) | होस्टेड API, जब तक कि आपके GPU के पास अतिरिक्त मेमोरी न हो |
| उस हार्डवेयर पर भारी निरंतर जनरेशन जिसे आप पहले से ही स्वयं के पास रखते हैं | स्थानीय Ollama |
| एक मॉडल को कुछ घंटों के लिए आज़माना | कोई भी; होस्टेड शुरू करने में तेज़ है |
ज़्यादातर लोग दोनों का ही उपयोग करने लगते हैं। लेख का शेष भाग यह समझाता है कि हर पंक्ति वहाँ क्यों आती है, ताकि आप अपनी स्थिति के अनुसार टेबल को समायोजित कर सकें।
लोकली चलाने में वास्तव में क्या लगता है
Ollama एक मॉडल फ़ाइल डाउनलोड करता है और उसे आपके CPU या GPU पर चलाता है। पहली बाधा मेमोरी है। एक अनुमानित नियम: वेट्स को लगभग पैरामीटर की संख्या गुणा प्रति वेट बाइट्स की आवश्यकता होती है। 4-बिट क्वांटीज़ेशन पर यह प्रति पैरामीटर लगभग आधा बाइट होता है, इसलिए 7B मॉडल को वेट्स के लिए लगभग 3.5 से 4 GB, 13B मॉडल को लगभग 7 GB, और 70B मॉडल को लगभग 35 GB की आवश्यकता होती है, कॉन्टेक्स्ट विंडो की लंबाई के साथ बढ़ने वाली कैश के अलावा।
ये आंकड़े अनुमानित हैं, और क्वांटीज़ेशन से उत्तर की गुणवत्ता में कुछ कमी आती है। जब मॉडल GPU मेमोरी में फ़िट नहीं होता, तो Ollama लेयर्स को CPU पर स्पाइल कर देता है और गति तेज़ी से गिर जाती है। लंबे प्रॉम्प्ट इसे और खराब करते हैं, क्योंकि एटेंशन कैश आपके द्वारा दिए जाने वाले हर टोकन के साथ बढ़ता है।
वहाँ मॉडल-चयन की समस्या भी है। कम्युनिटी फ़ाइन-ट्यून्स जिन्हें अनफ़िल्टर्ड या एबलिटरेटेड लेबल किया गया है, गुणवत्ता में बहुत भिन्न होते हैं, और प्रत्येक के अपने प्रॉम्प्ट टेम्पलेट के अजीबोगरीब नियम होते हैं। लोकली उपयोग की लागत का एक हिस्सा वह समय है जो आप एक ऐसे मॉडल को खोजने में बिताते हैं जो सही ढंग से व्यवहार करता है।
एक होस्टेड एंडपॉइंट क्या बदल देता है
इस साइट पर अनफ़िल्टर्ड AI मॉडल एक ओपन-वेट मॉडल है जिसे एक स्वतंत्र प्रदाता चलाता है। आपको क्वांटीज़ेशन चुनने, ड्राइवर प्रबंधित करने या डाउनलोड का इंतज़ार करने की आवश्यकता नहीं है। आपको एक कुंजी मिलती है और आप उसे कॉल करते हैं।
- कॉन्टेक्स्ट: 100,000 टोकन, प्रॉम्प्ट प्लस कंप्लीशन।
- फ़ीचर्स: स्ट्रीमिंग, टूल कॉलिंग, JSON मोड, और सामान्य सैम्पलिंग पैरामीटर।
- कॉन्करेंसी: एक पूर्ण कुंजी पर 8 समानांतर अनुरोध तक, जिसे एक अकेले होम GPU अक्सर उसी गुणवत्ता के साथ नहीं मिला सकता।
- गोपनीयता: प्रॉम्प्ट ट्रेनिंग के लिए उपयोग नहीं किए जाते, लेकिन वे सर्वर तक यात्रा करते हैं। उस बिंदु पर लोकल अधिक सख्त है और इससे कोई बदलाव नहीं होता है।
व्यापार स्पष्ट है। आप यह गारंटी छोड़ देते हैं कि कुछ भी आपकी मशीन से बाहर नहीं जाता, और आपको एक ऐसा मॉडल मिलता है जो आपकी आवश्यकता के समय चल रहा होता है, बिना खरीदने या ठंडा करने के लिए किसी हार्डवेयर के।
लागत: हार्डवेयर खरीदना कब फ़ायदेमंद होता है
होस्टेड मूल्य $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, प्रीपेड, सब्सक्रिप्शन के बिना। 800 इनपुट और 400 आउटपुट टोकन के एक चैट टर्न के लिए, यह $0.00012 + $0.0002 = $0.00032 है।
- 1,000 टर्न्स: $0.32
- 100,000 टर्न्स: $32
- 1,000,000 टर्न्स: $320
अब हार्डवेयर की तुलना करें। मान लीजिए, एक शुद्ध उदाहरण के रूप में, आप इस GPU के लिए $600 खर्च करते हैं। $0.00032 से भाग दें और आपको 1,875,000 चैट सत्र मिलते हैं जिससे हार्डवेयर होस्टेड बिल के बराबर हो जाता है, और इसमें बिजली और आपका समय छोड़ दिया गया है। यदि आपके पास पहले से एक सक्षम GPU है, तो लोकल उपयोग सीमांत रूप से मुफ्त है और तुलना उलट जाती है।
व्यावहारिक पठन: शौक और मध्यम उपयोग की लागत होस्टेड में महीने में कुछ डॉलर होती है, जो खरीदारी को दुर्लभ रूप से औचित्य देती है। एक पाइपलाइन जो दैनिक दसियों मिलियन टोकन जनरेट करती है, वह एक अन्य मामला है, और राशि को उचित स्प्रेडशीट की आवश्यकता होती है। वर्तमान दरें हमेशा मूल्य निर्धारण पृष्ठ पर हैं। अपने अनुमान के लिए, अपने अपेक्षित दैनिक टोकन को ऊपर दी गई दो दरों से गुणा करें।
गति और विश्वसनीयता
स्थानीय गति पूरी तरह से आपके हार्डवेयर और मॉडल के आकार पर निर्भर करती है। एक ऐसा मॉडल जो GPU मेमोरी में फ़िट बैठता है, तुरंत महसूस होता है; एक ऐसा मॉडल जो सिस्टम मेमोरी में फैल जाता है, वह दर्दनाक रूप से धीमा लग सकता है। इस लेख में प्रति टोकन गति के आंकड़े नहीं दिए गए हैं, क्योंकि वे कार्ड और क्वांटाइज़ेशन के बीच बहुत अधिक भिन्न होते हैं, इसलिए वे उपयोगी नहीं हैं।
होस्टेड गति लोड पर निर्भर करती है। जब सेवा अल्पकालिक रूप से ओवरलोड हो जाती है, तो यह Retry-After: 5 हेडर के साथ HTTP 429 लौटाती है, और आपके क्लाइंट को प्रतीक्षा करके पुनः प्रयास करना चाहिए। एक पूर्ण कुंजी पर प्रति मिनट 300 अनुरोध से अधिक होने पर rate_limited लौटाया जाता है, और एक साथ 8 से अधिक होने पर concurrency लौटाया जाता है। इनमें से किसी पर भी शुल्क नहीं लगाया जाता।
विश्वसनीयता में अंतर मुख्य रूप से इस बात से संबंधित है कि रखरखाव कौन करता है। आपके स्वयं के मशीन को अपडेट, पर्याप्त फ़्री डिस्क स्पेस और एक सक्रिय प्रोसेस की आवश्यकता होती है। होस्टेड API को एक कुंजी की आवश्यकता होती है जिसमें क्रेडिट हो।
Ollama और API के बीच टूल्स स्विच करना
Ollama पोर्ट 11434 पर एक OpenAI-कम्पैटिबल एंडपॉइंट एक्सपोज़ करता है, और यह API उसी फॉर्मेट का पालन करता है। इसका मतलब है कि एक स्क्रिप्ट किसी भी एक से बात कर सकती है, जो एनवायरनमेंट वेरिएबल्स द्वारा चुना गया है।
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
यही ट्रिक वेब चैट फ्रंट-एंड्स और एजेंट टूल्स में भी काम करता है जो एक OpenAI-कम्पैटिबल बेस यूआरएल मांगते हैं। दो प्रोफ़ाइल रखें, एक जो localhost की ओर इशारा करती है और एक https://api.unfilteredaimodels.com/v1 की ओर, और उनके बीच स्विच करें। docs सूचीबद्ध समर्थित पैरामीटर बताते हैं यदि कोई टूल कुछ असाधारण भेजता है।
जिन प्रॉम्प्ट्स को आपने स्थानीय रूप से ट्यून किया है, वे आमतौर पर काम करते हैं, लेकिन उन्हें जांचें। एक अलग मॉडल एक ही सिस्टम प्रॉम्प्ट के प्रति अलग प्रतिक्रिया दे सकता है, इसलिए स्विच करने के बाद अपने कुछ परीक्षण प्रॉम्प्ट्स चलाएं।
होस्टेड साइड के साथ शुरुआत करना
अकाउंट बनाएं और API कुंजी पृष्ठ पर जाएं। नए उपयोगकर्ता एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट क्लेम कर सकते हैं, जो 7 दिनों के लिए मान्य है और जिसमें कार्ड की आवश्यकता नहीं है। प्रति टर्न 800 इनपुट और 400 आउटपुट टोकन के साथ, यह लगभग 1,560 टर्न कवर करता है, जो आपको कुछ भी खर्च करने से पहले यह तय करने की अनुमति देता है कि होस्टेड मॉडल आपके प्रोजेक्ट के लिए उपयुक्त है या नहीं।
पेड टॉप-अप $20 से शुरू होते हैं, $500 तक किसी भी पूर्ण राशि के साथ, और क्रेडिट कभी समाप्त नहीं होता है। यदि आपके पास Ollama सेटअप भी है, तो आप कुछ नहीं खोते: प्राइवेट ड्राफ्ट के लिए लोकल का उपयोग करें और अपटाइम, लंबे कॉन्टेक्स्ट या समानांतर अनुरोधों की आवश्यकता वाले कार्यों के लिए होस्टेड API का उपयोग करें।
अधिक गाइड
प्रश्न और उत्तर
आपकी कुंजी बस एक फ़ॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।
क्या Ollama बिना सेंसर मॉडल चला सकता है?
- हाँ, Ollama आप जो भी संगत मॉडल फ़ाइलें खींचते हैं, उनमें कम रिफ्यूज़ करने वाले कम्युनिटी फाइन-ट्यून्स सहित, वे चलाता है। गुणवत्ता और प्रॉम्प्ट फॉर्मेट मॉडल के अनुसार भिन्न होता है, इसलिए किसी पर भरोसा करने से पहले परीक्षण करें।
क्या एक होस्टेड API पर्याप्त निजी है?
- प्रॉम्प्ट ट्रेनिंग के लिए उपयोग नहीं किए जाते, लेकिन वे एक रिमोट सर्वर पर प्रोसेस किए जाते हैं। यदि कुछ भी आपकी मशीन से बाहर नहीं जाना चाहिए, तो लोकल अधिक सख्त विकल्प है।
क्या मैं अपनी Ollama क्लाइंट कोड होस्टेड API के साथ उपयोग कर सकता हूँ?
- अक्सर हाँ। दोनों OpenAI फॉर्मेट का उपयोग करते हैं, इसलिए आप बेस URL को https://api.unfilteredaimodels.com/v1, में बदलते हैं, अपनी कुंजी जोड़ते हैं और मॉडल को uncensored पर सेट करते हैं।
होस्टेड विकल्प की मासिक लागत कितनी है?
- यह वॉल्यूम पर निर्भर करता है। इनपुट टोकन प्रति 1M के लिए $0.15 और आउटपुट टोकन प्रति 1M के लिए $0.50 पर, 800 इनपुट और 400 आउटपुट टोकन वाले 100,000 चैट सत्र की लागत लगभग $32 होती है।