โมเดล Unfiltered AI สำหรับ Ollama เทียบกับ API แบบโฮสต์
หากคุณกำลังมองหาโมเดล AI แบบไม่เซ็นเซอร์สำหรับ Ollama คำถามที่แท้จริงคือโมเดลควรทำงานที่ไหน: บน GPU ของคุณเองหรือของผู้อื่น Local ชนะด้านความเป็นส่วนตัวและการใช้งานแบบออฟไลน์ ส่วน Hosted ชนะด้านการติดตั้ง ขนาดโมเดล และไม่มีบิลฮาร์ดแวร์
อัปเดต


ประเด็นสำคัญ
- Ollama แบบโลคัลต้องการหน่วยความจำเพียงพอสำหรับโมเดลทั้งหมด ในขณะที่แบบโฮสต์ต้องการเพียงคีย์
- Ollama และ API นี้ต่างรองรับรูปแบบ OpenAI ดังนั้นการสลับจึงเป็นการเปลี่ยน Base URL
- ต้นทุนโฮสต์ที่นี่คือ $0.15 ต่อ 1M input token และ $0.50 ต่อ 1M output token ดังนั้นการใช้งานเบาๆ จึงมีต้นทุนเพียงไม่กี่เซ็นต์
- เลือกโลคัลสำหรับงานออฟไลน์หรือ air-gapped เลือกโฮสต์สำหรับแอปพลิเคชันที่ทำงานตลอดเวลาและบริบทยาว
ตารางการตัดสินใจอย่างรวดเร็ว
| สถานการณ์ | ความเหมาะสมที่ดีกว่า |
|---|---|
| ไม่มี GPU หรือแล็ปท็อปที่มีหน่วยความจำน้อย | API แบบโฮสต์ |
| ข้อมูลต้องไม่ออกจากเครื่องของคุณเป็นอันขาด | Ollama ในเครื่อง |
| แอปหรือบอทที่ต้องทำงานตลอด 24 ชั่วโมง | API แบบโฮสต์ |
| การใช้งานแบบออฟไลน์หรือแบบ air-gapped | Ollama ในเครื่อง |
| เอกสารยาว (สูงสุด 100,000 โทเคนของหน้าต่างบริบท) | API แบบโฮสต์ เว้นแต่ GPU ของคุณมีหน่วยความจำเหลือเฟือ |
| การสร้างข้อความต่อเนื่องปริมาณมากบนฮาร์ดแวร์ที่คุณเป็นเจ้าของอยู่แล้ว | Ollama ในเครื่อง |
| การลองใช้โมเดลเป็นระยะเวลาสั้นๆ | ทั้งสองแบบ; แบบโฮสต์เริ่มต้นได้เร็วกว่า |
ผู้ใช้ส่วนใหญ่ลงเอยด้วยการใช้ทั้งสองแบบ ส่วนที่เหลือของบทความนี้จะอธิบายเหตุผลว่าทำไมแต่ละแถวจึงอยู่ในตำแหน่งนั้น เพื่อให้คุณสามารถปรับตารางให้เหมาะกับกรณีของคุณได้
สิ่งที่การรันแบบโลคัลต้องใช้จริงๆ
Ollama ดาวน์โหลดไฟล์โมเดลและรันบน CPU หรือ GPU ของคุณ ข้อจำกัดแรกคือหน่วยความจำ กฎโดยประมาณคือ น้ำหนักโมเดลต้องการจำนวนพารามิเตอร์คูณด้วยไบต์ต่อน้ำหนัก ที่การควอนไทซ์แบบ 4-bit ค่านี้จะอยู่ที่ประมาณครึ่งไบต์ต่อพารามิเตอร์ ดังนั้นโมเดลขนาด 7B ต้องการพื้นที่ประมาณ 3.5 ถึง 4 GB สำหรับน้ำหนัก โมเดลขนาด 13B ใช้ประมาณ 7 GB และโมเดลขนาด 70B ใช้ประมาณ 35 GB ก่อนเพิ่มแคชที่ขยายตามความยาวของบริบท
ตัวเลขเหล่านี้เป็นเพียงการประมาณการ และการ quantization ส่งผลต่อคุณภาพคำตอบบางส่วน เมื่อโมเดลไม่พอดีกับหน่วยความจำ GPU Ollama จะย้ายเลเยอร์ไปยัง CPU และความเร็วจะลดลงอย่างมาก พรอมต์ที่ยาวจะทำให้ปัญหานี้แย่ลง เพราะแคช attention จะขยายตามจำนวนโทเคนที่คุณป้อนเข้าไป
นอกจากนี้ยังมีปัญหาเรื่องการเลือกโมเดล โมเดลที่ชุมชนปรับแต่งและติดป้ายว่า unfiltered หรือ abliterated มีคุณภาพหลากหลาย และแต่ละโมเดลมีรูปแบบพรอมต์เฉพาะตัว ส่วนหนึ่งของต้นทุนการใช้งานแบบโลคัลคือเวลาของคุณที่ใช้ในการหาโมเดลที่มีพฤติกรรมถูกต้อง
สิ่งที่เอนด์พอยต์แบบโฮสต์เปลี่ยนแปลง
โมเดล AI แบบไม่เซ็นเซอร์แบบโฮสต์บนเว็บไซต์นี้คือโมเดลแบบเปิดน้ำหนักหนึ่งตัวที่ให้บริการโดยผู้ให้บริการอิสระ คุณไม่ต้องเลือกการควอนไทซ์ จัดการไดรเวอร์ หรือรอการดาวน์โหลด คุณได้รับคีย์และเรียกใช้งานได้เลย
- หน้าต่างบริบท: 100,000 โทเคน รวมพรอมต์และการสร้างผลลัพธ์
- คุณสมบัติ: สตรีมมิง การเรียกใช้ฟังก์ชัน โหมด JSON และพารามิเตอร์การสุ่มตัวอย่างมาตรฐาน
- ความพร้อมใช้งานพร้อมกัน: รองรับคำขอพร้อมกันได้สูงสุด 8 คำขอด้วยคีย์เต็มจำนวน ซึ่ง GPU สำหรับใช้งานในบ้านมักไม่สามารถรองรับคุณภาพระดับเดียวกันได้
- ความเป็นส่วนตัว: พรอมต์ไม่ถูกนำไปใช้ในการฝึกโมเดล แต่ข้อมูลจะส่งไปยังเซิร์ฟเวอร์ การใช้งานแบบโลคัลมีความเข้มงวดในจุดนี้มากกว่า และข้อเท็จจริงนี้ยังคงเดิม
การแลกเปลี่ยนที่ชัดเจนคือ คุณสละการรับประกันว่าข้อมูลจะไม่ออกจากเครื่องของคุณ และได้รับโมเดลที่พร้อมใช้งานเมื่อต้องการ โดยไม่ต้องซื้อหรือระบายความร้อนฮาร์ดแวร์เพิ่ม
ต้นทุน: การซื้อฮาร์ดแวร์คุ้มทุนเมื่อไหร่
ราคาแบบโฮสต์คือ $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต แบบเติมเงินล่วงหน้า ไม่มีค่าสมัครสมาชิก สำหรับรอบแชทที่มีอินพุต 800 โทเคนและเอาต์พุต 400 โทเคน ต้นทุนคือ $0.00012 + $0.0002 = $0.00032
- 1,000 รอบ: $0.32
- 100,000 รอบ: $32
- 1,000,000 รอบ: $320
ตอนนี้เปรียบเทียบกับฮาร์ดแวร์ สมมติว่าคุณใช้จ่าย $600 สำหรับ GPU เฉพาะกรณีนี้ หารด้วย $0.00032 จะได้ 1,875,000 รอบก่อนที่ต้นทุนฮาร์ดแวร์จะเท่ากับบิลโฮสต์ ซึ่งยังไม่ได้รวมค่าไฟฟ้าและเวลาของคุณ หากคุณมี GPU ที่มีประสิทธิภาพสูงอยู่แล้ว การใช้แบบโลคัลจะฟรีในแง่ต้นทุนส่วนเพิ่ม และการเปรียบเทียบก็กลับด้าน
การตีความในทางปฏิบัติ: การใช้งานทั่วไปและระดับปานกลางมีต้นทุนเพียงไม่กี่ดอลลาร์ต่อเดือนแบบโฮสต์ ซึ่งมักไม่คุ้มที่จะซื้อฮาร์ดแวร์ การสร้างข้อมูลปริมาณหลายสิบล้านโทเคนต่อวันเป็นอีกเรื่องหนึ่ง และยอดเงินเหล่านั้นสมควรได้รับการคำนวณในสเปรดชีตที่เหมาะสม อัตราปัจจุบันมีอยู่ที่หน้า ราคา สำหรับการประมาณการของคุณ ให้คูณจำนวนโทเคนรายวันที่คาดการณ์ไว้ด้วยอัตราสองข้อด้านบน
ความเร็วและความน่าเชื่อถือ
ความเร็วขึ้นอยู่กับฮาร์ดแวร์ของคุณและขนาดโมเดลอย่างสมบูรณ์ โมเดลที่พอดีกับหน่วยความจำ GPU จะรู้สึกทันที; โมเดลที่ล้นไปยังหน่วยความจำระบบอาจรู้สึกช้ามาก บทความนี้ไม่อ้างอิงตัวเลขโทเคนต่อวินาที เนื่องจากมีความแตกต่างกันมากระหว่างการ์ดและควอนไทเซชันจนไม่เพียงพอที่จะนำไปใช้ประโยชน์ได้
ความเร็วของโฮสต์ขึ้นอยู่กับโหลด เมื่อบริการมีภาระเกินชั่วคราว จะคืนค่า HTTP 429 พร้อม Retry-After: 5 header และไคลเอนต์ของคุณควรรอและลองใหม่ อีกครั้งหากเกิน 300 คำขอต่อนาทีบนคีย์เต็มจะคืนค่า rate_limited และเกิน 8 คำขอพร้อมกันจะคืนค่า concurrency ทั้งสองกรณีไม่มีการคิดเงิน
ความแตกต่างด้านความพร้อมใช้งานส่วนใหญ่เป็นเรื่องของการบำรุงรักษา เครื่องของคุณเองต้องการการอัปเดต พื้นที่ดิสก์ว่างเพียงพอ และกระบวนการที่ทำงานอยู่อย่างต่อเนื่อง API แบบโฮสต์ต้องการคีย์ที่มีเครดิตอยู่
การเปลี่ยนเครื่องมือระหว่าง Ollama และ API
Ollama เปิดใช้งานเอนด์พอยต์ที่เข้ากันได้กับ OpenAI บนพอร์ต 11434 และ API นี้ใช้รูปแบบเดียวกัน นั่นหมายความว่าสคริปต์หนึ่งสามารถสื่อสารกับทั้งสองอย่างได้ โดยเลือกผ่านตัวแปรสภาพแวดล้อม
import os
from openai import OpenAI
if os.environ.get("USE_LOCAL") == "1":
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
model = os.environ["LOCAL_MODEL"] # the name you pulled in Ollama
else:
client = OpenAI(
base_url="https://api.unfilteredaimodels.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)
เคล็ดลับเดียวกันนี้ใช้ได้กับหน้าแชทและเครื่องมือเอเจนต์ที่ขอ Base URL ที่เข้ากันได้กับ OpenAI เก็บโปรไฟล์สองอัน โดยอันหนึ่งชี้ไปที่ localhost และอีกอันชี้ไปที่ https://api.unfilteredaimodels.com/v1 และสลับระหว่างกัน เอกสาร docs ระบุพารามิเตอร์ที่รองรับหากเครื่องมือส่งค่าที่ไม่ปกติ
พรอมต์ที่คุณปรับแต่งไว้ในพื้นที่มักจะถูกนำไปใช้ต่อได้ แต่ควรตรวจสอบ โมเดลที่แตกต่างกันอาจตอบสนองต่อพรอมต์ระบบเดียวกันแตกต่างกัน ดังนั้นควรทดสอบพรอมต์ของคุณเองสักสองสามรายการหลังจากเปลี่ยน
เริ่มต้นใช้งานฝั่งโฮสต์
สร้างบัญชีและไปที่ หน้าคีย์ API ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกหนึ่งครั้ง ใช้ได้เป็นเวลา 7 วัน และไม่ต้องการบัตร ในอัตรา 800 โทเคนอินพุตและ 400 โทเคนเอาต์พุตต่อรอบ เงินจำนวนนี้ครอบคลุมการสนทนาได้ประมาณ 1,560 รอบ เพียงพอสำหรับการตัดสินใจว่าโมเดลแบบโฮสต์เหมาะกับโปรเจกต์ของคุณหรือไม่ ก่อนที่จะใช้จ่ายเงิน
การเติมเงินแบบเสียเงินเริ่มต้นที่ $20 เป็นจำนวนเต็มจนถึง $500 และเครดิตไม่หมดอายุ หากคุณมีการตั้งค่า Ollama ไว้ด้วย คุณจะไม่เสียอะไรเลย: ใช้แบบโลคัลสำหรับร่างงานส่วนตัว และใช้ API แบบโฮสต์สำหรับงานที่ต้องการเวลาทำงานยาวนาน หน้าต่างบริบทยาว หรือความพร้อมใช้งานพร้อมกัน
คู่มือเพิ่มเติม
ถาม-ตอบ
คีย์ของคุณอยู่ห่างแค่ขั้นตอนเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด
Ollama สามารถรันโมเดลที่ไม่เซ็นเซอร์ได้หรือไม่?
- ใช่ Ollama รันไฟล์โมเดลที่เข้ากันได้ทั้งหมดที่คุณดึงมา รวมถึงชุมชนที่ปรับแต่งมาซึ่งยอมรับการเซ็นเซอร์น้อยลง คุณภาพและรูปแบบพรอมต์แตกต่างกันไปตามโมเดล ดังนั้นควรทดสอบก่อนใช้งานจริง
API แบบโฮสต์มีความเป็นส่วนตัวเพียงพอหรือไม่?
- พรอมต์ไม่ถูกนำไปใช้ฝึกโมเดล แต่จะถูกประมวลผลบนเซิร์ฟเวอร์ระยะไกล หากข้อมูลใดๆ อาจออกจากเครื่องของคุณไม่ได้ การใช้งานแบบโลคัลคือตัวเลือกที่เข้มงวดกว่า
ฉันสามารถใช้โค้ดไคลเอนต์ Ollama กับ API แบบโฮสต์ได้หรือไม่?
- มักจะเป็นเช่นนั้น ทั้งสองใช้รูปแบบ OpenAI ดังนั้นคุณจึงเปลี่ยน Base URL เป็น https://api.unfilteredaimodels.com/v1, เพิ่มคีย์ของคุณ และตั้งค่าโมเดลเป็น uncensored
ตัวเลือกแบบโฮสต์มีค่าใช้จ่ายต่อเดือนเท่าไร?
- ขึ้นอยู่กับปริมาณ ในอัตรา $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต การสนทนา 100,000 รอบที่มีอินพุต 800 โทเคนและเอาต์พุต 400 โทเคน มีค่าใช้จ่ายประมาณ $32