Hướng Dẫn Bắt Đầu Nhanh API Ollama

Thiết lập Base URL và Xác thực

Cấu hình client của bạn để trỏ vào điểm cuối được lưu trữ của chúng tôi. Đặt base_url để https://api.apiollama.com/v1 và cung cấp khóa của bạn trong Authorization header. Xác thực sử dụng tiêu chuẩn Bearer scheme. Bạn có thể tạo khóa thông qua Google hoặc email trên bảng điều khiển. Hệ thống tạo một khóa hoạt động duy nhất cho mỗi tài khoản.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

Giữ khóa của bạn an toàn. Nếu bạn cần một khóa mới, hãy tạo một khóa mới trong bảng điều khiển và khóa cũ sẽ không còn hoạt động ngay lập tức. Không cần số điện thoại để thiết lập. Cấu hình này hoạt động với bất kỳ khách hàng tương thích OpenAI nào.

POST /v1/chat/completions: Gửi Yêu cầu

Gửi yêu cầu hoàn tất hội thoại đầu tiên của bạn bằng cách sử dụng điểm cuối tiêu chuẩn. Chỉ định ID mô hình là uncensored trong thân yêu cầu. API chấp nhận các mảng thông báo tiêu chuẩn chứa các vai trò hệ thống, người dùng và trợ lý. Điều này hoạt động với bất kỳ SDK nào hỗ trợ định dạng OpenAI. Đảm bảo bạn bao gồm model field trong mọi yêu cầu.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Yêu cầu được xử lý qua máy chủ của chúng tôi. Mô hình phản hồi bằng văn bản được tạo dựa trên lời nhắc của bạn. Bạn có thể điều chỉnh các tham số như temperature hoặc top_p để kiểm soát tính ngẫu nhiên. Hệ thống trả về một đối tượng phản hồi đầy đủ chứa nội dung được tạo.

GET /v1/models: Liệt kê các mô hình có sẵn

Truy vấn endpoint models để xác minh các tùy chọn khả dụng. Gửi yêu cầu GET đến /v1/models để liệt kê các mô hình được lưu trữ. Phản hồi bao gồm id field được đặt thành uncensored. Điểm cuối này xác nhận khóa API của bạn có quyền hợp lệ. Nó trả về siêu dữ liệu về cấu hình mô hình.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Sử dụng lệnh gọi này để gỡ lỗi các sự cố kết nối. Nếu endpoint trả về lỗi, hãy kiểm tra tiêu đề xác thực của bạn. Endpoint cung cấp một danh sách đơn giản các mô hình có sẵn. Bạn có thể xác minh trạng thái dịch vụ mà không cần gửi yêu cầu trò chuyện đầy đủ.

Phản hồi luồng với Sự kiện gửi máy chủ

Bật chế độ streaming bằng cách đặt stream tham số thành true. API trả về Sự kiện gửi bởi máy chủ (SSE) để phân phối token theo thời gian thực. Mỗi chunk chứa cập nhật nội dung một phần. Chunk cuối cùng bao gồm thống kê sử dụng token đầy đủ. Điều này giảm độ trễ cảm nhận cho các phản hồi dài.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Xử lý luồng SSE trong mã khách hàng của bạn. Xử lý mỗi sự kiện khi nó đến. Sự kiện cuối cùng chứa usage object với số lượng token đầu vào và đầu ra. Phát trực tiếp hoạt động với tất cả các tham số được hỗ trợ. Nó cung cấp phản hồi ngay lập tức cho các ứng dụng tương tác.

Tham số cấu hình: Nhiệt độ, Top-p và hơn thế nữa

Điều chỉnh hành vi tạo bằng các tham số tiêu chuẩn. Đặt temperature cho tính ngẫu nhiên và top_p để lấy mẫu nucleus. Sử dụng stop chuỗi để dừng quá trình tạo sớm. The seed tham số đảm bảo kết quả có thể tái lập. Bạn cũng có thể đặt presence_penalty và frequency_penalty cho kiểm soát phong cách.

Chế độ JSON khả dụng thông qua response_format. Đặt cái này thành json_object cho đầu ra có cấu trúc. Mô hình tuân thủ định dạng được chỉ định. Các tham số này áp dụng cho tất cả các yêu cầu. Sử dụng chúng để tinh chỉnh phong cách phản hồi.

Xử lý lỗi và Báo cáo sử dụng token

Xử lý các lỗi HTTP phổ biến trong ứng dụng của bạn. Mã trạng thái 401 cho biết khóa API không hợp lệ. Mã trạng thái 402 nghĩa là tín dụng trả trước của bạn đã cạn. Mã trạng thái 429 cho biết bạn đã vượt quá giới hạn tốc độ. Kiểm tra thân phản hồi để biết chi tiết về lỗi. Việc từ chối do chính sách nội dung là miễn phí.

Cửa sổ ngữ cảnh hỗ trợ tổng cộng 100.000 token. Output bị giới hạn ở 16.000 token mỗi yêu cầu. Output mặc định là 2.048 token nếu max_tokens chưa được đặt. Việc sử dụng token được báo cáo trong chunk stream cuối cùng. Lỗi không tiêu thụ tín dụng.