VI ▾
Lấy khóa API

Mô hình Unfiltered AI cho Ollama so với API lưu trữ

Nếu bạn đang tìm kiếm các mô hình AI không kiểm duyệt cho Ollama, câu hỏi thực sự là nơi mô hình nên chạy: trên GPU của bạn hay của người khác. Giải pháp local thắng về quyền riêng tư và sử dụng ngoại tuyến, giải pháp hosted thắng về thiết lập, kích thước mô hình và không có hóa đơn phần cứng.

Cập nhật

Cân bằng quy mô giữa tháp GPU cục bộ và cụm máy chủ đám mây, so sánh Ollama cục bộ với API lưu trữ
Cửa sổ terminal gửi khóa vàng và gói dữ liệu qua dải sáng đến máy chủ

Điểm chính

  • Ollama local cần đủ bộ nhớ cho toàn bộ mô hình; hosted chỉ cần một khóa API.
  • Ollama và API này đều sử dụng định dạng OpenAI, vì vậy việc chuyển đổi chỉ là thay đổi base URL.
  • Chi phí lưu trữ ở đây là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, vì vậy việc sử dụng nhẹ tốn vài xu.
  • Chọn giải pháp cục bộ cho công việc ngoại tuyến hoặc cách ly mạng, chọn giải pháp lưu trữ cho các ứng dụng luôn trực tuyến và ngữ cảnh dài.

Bảng quyết định nhanh

Tình huốngPhù hợp hơn
Không có GPU, hoặc laptop với ít bộ nhớAPI lưu trữ
Dữ liệu không bao giờ được phép rời khỏi máy của bạnOllama cục bộ
Một ứng dụng hoặc bot phải hoạt động liên tụcAPI lưu trữ
Sử dụng ngoại tuyến hoặc cách ly mạngOllama cục bộ
Tài liệu dài (lên đến 100.000 token ngữ cảnh)API lưu trữ, trừ khi GPU của bạn có bộ nhớ dư thừa
Quá trình tạo liên tục nặng trên phần cứng bạn đã sở hữuOllama cục bộ
Thử một mô hình trong một buổi chiềuCả hai; giải pháp lưu trữ nhanh hơn để bắt đầu

Hầu hết mọi người cuối cùng đều sử dụng cả hai. Phần còn lại của bài viết giải thích lý do tại sao mỗi hàng lại nằm ở vị trí đó, để bạn có thể điều chỉnh bảng cho trường hợp của riêng mình.

Việc chạy cục bộ thực sự tốn kém như thế nào

Ollama tải xuống tệp mô hình và chạy nó trên CPU hoặc GPU của bạn. Ràng buộc đầu tiên là bộ nhớ. Một quy tắc chung: trọng lượng cần khoảng số tham số nhân với số byte trên mỗi trọng lượng. Ở lượng tử hóa 4-bit, điều đó là khoảng nửa byte trên mỗi tham số, vì vậy một mô hình 7B cần khoảng 3,5 đến 4 GB cho trọng lượng, một mô hình 13B khoảng 7 GB, và một mô hình 70B khoảng 35 GB, trước bộ nhớ đệm tăng lên theo độ dài ngữ cảnh.

Những con số này là ước tính, và chi phí lượng hóa làm giảm chất lượng câu trả lời. Khi mô hình không vừa với bộ nhớ GPU, Ollama đẩy các lớp sang CPU và tốc độ giảm mạnh. Các prompt dài làm điều này tệ hơn, vì bộ nhớ chú ý phát triển theo mỗi token bạn đưa vào.

Ngoài ra còn có vấn đề lựa chọn mô hình. Các bản tinh chỉnh cộng đồng được dán nhãn không kiểm duyệt hoặc abliterated khác nhau rất nhiều về chất lượng, và mỗi bản đều có những đặc điểm lạ về mẫu prompt. Một phần chi phí của việc sử dụng cục bộ là thời gian bạn dành ra để tìm một mô hình hoạt động đúng ý.

Endpoint được lưu trữ thay đổi điều gì

Mô hình AI không kiểm duyệt trên trang web này là một mô hình trọng số mở do một nhà cung cấp độc lập vận hành. Bạn không cần chọn lượng hóa, quản lý trình điều khiển hoặc chờ tải xuống. Bạn chỉ cần nhận một khóa và gọi nó.

  • Ngữ cảnh: 100,000 token, prompt cộng với completion.
  • Tính năng: streaming, gọi hàm, chế độ JSON và các tham số lấy mẫu thông thường.
  • Đồng thời: lên đến 8 yêu cầu đồng thời trên một khóa đầy đủ, điều mà một GPU gia đình đơn lẻ thường không thể đáp ứng với cùng chất lượng.
  • Quyền riêng tư: prompt không được dùng để huấn luyện, nhưng chúng vẫn được gửi đến máy chủ. Chế độ cục bộ nghiêm ngặt hơn về điểm này và điều đó không thay đổi.

Sự đánh đổi rất rõ ràng. Bạn từ bỏ đảm bảo rằng không có dữ liệu nào rời khỏi máy của mình, và bạn nhận được một mô hình luôn sẵn sàng khi cần, mà không cần mua hoặc làm mát phần cứng.

Chi phí: khi nào việc mua phần cứng có lợi

Giá lưu trữ là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, tín dụng trả trước, không có gói đăng ký. Đối với một lượt trò chuyện với 800 token đầu vào và 400 token đầu ra, đó là $0,00012 + $0,0002 = $0,00032.

  • 1.000 lượt: $0,32
  • 100.000 lượt: $32
  • 1.000.000 lượt: $320

Bây giờ hãy so sánh với phần cứng. Giả sử, chỉ là một ví dụ thuần túy, bạn chi $600 cho một GPU chỉ cho việc này. Chia cho $0,00032 và bạn có 1.875.000 lượt trước khi phần cứng bằng hóa đơn lưu trữ, và điều đó bỏ qua điện và thời gian của bạn. Nếu bạn đã sở hữu một GPU đủ mạnh, việc sử dụng cục bộ là miễn phí ở biên và phép so sánh đảo ngược.

Cách đọc thực tế: sở thích và sử dụng vừa phải tốn vài đô la mỗi tháng ở chế độ lưu trữ, điều đó hiếm khi biện minh cho việc mua hàng. Một quy trình tạo ra hàng chục triệu token mỗi ngày là một vấn đề khác, và các khoản tiền xứng đáng một bảng tính phù hợp. Giá hiện tại luôn có trên trang giá. Để ước tính của riêng bạn, hãy nhân số token hàng ngày dự kiến của bạn với hai tỷ lệ ở trên.

Tốc độ và độ tin cậy

Tốc độ cục bộ phụ thuộc hoàn toàn vào phần cứng của bạn và kích thước mô hình. Một mô hình vừa với bộ nhớ GPU cảm giác như ngay lập tức; một mô hình tràn vào bộ nhớ hệ thống có thể cảm thấy chậm một cách khó chịu. Bài báo này không trích dẫn các số liệu token trên giây, vì chúng thay đổi quá nhiều giữa các thẻ và lượng tử hóa để có ích.

Tốc độ lưu trữ phụ thuộc vào tải. Khi dịch vụ bị quá tải tạm thời, nó trả về HTTP 429 với tiêu đề Retry-After: 5, và ứng dụng khách của bạn nên đợi và thử lại. Hơn 300 yêu cầu mỗi phút trên một khóa đầy đủ trả về rate_limited, và hơn 8 yêu cầu cùng lúc trả về concurrency. Không cái nào được tính phí.

Sự khác biệt về độ tin cậy chủ yếu là về ai chịu trách nhiệm bảo trì. Máy của bạn cần cập nhật, đủ dung lượng đĩa trống và một quy trình đang chạy. API lưu trữ cần một khóa có sẵn tín dụng (tiền) trong tài khoản.

Chuyển đổi công cụ giữa Ollama và API

Ollama cung cấp một endpoint tương thích OpenAI trên cổng 11434, và API này tuân theo cùng định dạng. Điều đó có nghĩa là một script có thể giao tiếp với một trong hai, được chọn bởi các biến môi trường.

import os
from openai import OpenAI

if os.environ.get("USE_LOCAL") == "1":
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    model = os.environ["LOCAL_MODEL"]  # the name you pulled in Ollama
else:
    client = OpenAI(
        base_url="https://api.unfilteredaimodels.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"

r = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Describe a rainy harbour town in two sentences."}],
)
print(r.choices[0].message.content)

Mẹo tương tự cũng hoạt động với các giao diện chat và công cụ agent yêu cầu Base URL tương thích OpenAI. Hãy giữ hai cấu hình, một trỏ đến localhost và một trỏ đến https://api.unfilteredaimodels.com/v1, rồi chuyển đổi giữa chúng. Tài liệu liệt kê các tham số được hỗ trợ nếu công cụ gửi một thứ gì đó lạ.

Các prompt bạn đã tinh chỉnh cục bộ thường được chuyển sang, nhưng hãy kiểm tra chúng. Một mô hình khác có thể phản hồi cùng một prompt hệ thống khác nhau, vì vậy hãy chạy một vài prompt kiểm tra của riêng bạn sau khi chuyển đổi.

Bắt đầu với phía lưu trữ

Tạo tài khoản và truy cập trang khóa API. Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột, có hiệu lực trong 7 ngày và không cần thẻ. Với 800 token đầu vào và 400 token đầu ra mỗi lượt, số tiền đó đủ cho khoảng 1.560 lượt, đủ để bạn quyết định xem mô hình lưu trữ có phù hợp với dự án của bạn hay không trước khi chi tiêu bất kỳ khoản nào.

Các khoản nạp tiền trả trước bắt đầu từ $20 với bất kỳ số tiền nguyên nào lên đến $500, và tín dụng không bao giờ hết hạn. Nếu bạn giữ một thiết lập Ollama local, bạn không mất gì: sử dụng local cho các bản nháp riêng tư và API hosted cho các công việc cần thời gian hoạt động, ngữ cảnh dài hoặc yêu cầu đồng thời.

Hỏi đáp

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Ollama có thể chạy các mô hình không kiểm duyệt không?
    Đúng vậy, Ollama chạy mọi tệp mô hình tương thích bạn kéo về, bao gồm cả các bản tinh chỉnh cộng đồng ít từ chối hơn. Chất lượng và định dạng prompt thay đổi theo mô hình, vì vậy hãy thử nghiệm trước khi dựa vào một mô hình cụ thể.
API lưu trữ có đủ riêng tư không?
    Prompt không được dùng để huấn luyện, nhưng chúng được xử lý trên máy chủ từ xa. Nếu không có dữ liệu nào được phép rời khỏi máy của bạn, giải pháp cục bộ là lựa chọn nghiêm ngặt hơn.
Tôi có thể dùng mã khách Ollama của mình với API lưu trữ không?
    Thường là có. Cả hai đều sử dụng định dạng OpenAI, vì vậy bạn chỉ cần thay đổi base URL thành https://api.unfilteredaimodels.com/v1, thêm khóa của bạn và đặt mô hình thành uncensored.
Tùy chọn lưu trữ tốn bao nhiêu mỗi tháng?
    Nó phụ thuộc vào khối lượng. Ở mức $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, 100.000 lượt trò chuyện với 800 token đầu vào và 400 token đầu ra tốn khoảng $32.