Panduan Permulaan Pantas API Ollama

Persediaan URL Asas dan Pengesahan

Konfigurasikan klien anda untuk mengarah ke endpoint yang dihoskan kami. Tetapkan base_url ke https://api.apiollama.com/v1 dan berikan kunci anda dalam Authorization header. Pengesahan menggunakan standard Bearer skema. Anda boleh menjana kunci melalui Google atau e-mel pada papan pemuka. Sistem mencipta satu kunci aktif per akaun.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

Kekalkan kunci anda selamat. Jika anda memerlukan kunci segar, jana kunci baru di papan pemuka dan kunci lama akan menjadi tidak aktif serta-merta. Tiada nombor telefon diperlukan untuk persediaan. Tetapan ini berfungsi dengan mana-mana klien serasi OpenAI.

POST /v1/chat/completions: Menghantar Permintaan

Hantar permintaan penyelesaian sem pertama anda menggunakan hujung sambungan piawai. Tentukan ID model sebagai uncensored dalam badan permintaan. API menerima susunan mesej standard yang mengandungi peranan sistem, pengguna, dan pembantu. Ini berfungsi dengan mana-mana SDK yang menyokong format OpenAI. Pastikan anda termasuk model field in every request.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Permintaan diproses melalui pelayan kami. Model memberi respons dengan teks yang dijana berdasarkan prompt anda. Anda boleh menyesuaikan parameter seperti temperature atau top_p untuk mengawal rawakan. Sistem mengembalikan objek respons lengkap yang mengandungi kandungan yang dijana.

GET /v1/models: Senarai Model yang Tersedia

Query endpoint model untuk mengesahkan pilihan yang tersedia. Hantar permintaan GET ke /v1/models untuk menyenaraikan model yang dihoskan. Respons termasuk id field set to uncensored. Hujung sambungan ini mengesahkan kunci API anda mempunyai kebenaran yang sah. Ia mengembalikan metadata tentang konfigurasi model.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Gunakan panggilan ini untuk mengesahkan masalah sambungan. Jika endpoint mengembalikan ralat, semak header pengesahan anda. Endpoint menyediakan senarai mudah model yang tersedia. Anda boleh mengesahkan status perkhidmatan tanpa menghantar permintaan sembang penuh.

Respons Streaming dengan Acara Dihantar Pelayan

Aktifkan penstriman dengan menetapkan stream parameter kepada true. API mengembalikan Acara Dikirim Pelayan (SSE) untuk penghantaran token masa nyata. Setiap pecahan mengandungi kemas kini kandungan separa. Pecahan akhir mengandungi statistik penggunaan token lengkap. Ini mengurangkan latensi yang dirasakan untuk respons panjang.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Tangani aliran SSE dalam kod klien anda. Proses setiap acara sejajar ia tiba. Acara terakhir mengandungi usage object dengan kiraan token input dan output. Penstriman berfungsi dengan semua parameter yang disokong. Ia memberikan maklum balas segera untuk aplikasi interaktif.

Parameter Konfigurasi: Suhu, Top-p, dan Lain-lain

Laraskan tingkah laku penjanaan menggunakan parameter standard. Tetapkan temperature untuk rawak dan top_p untuk pensampelan nukleus. Gunakan stop jujukan untuk menghentikan penjanaan awal. The seed parameter memastikan hasil yang boleh direproduksi. Anda juga boleh tetapkan presence_penalty dan frequency_penalty untuk kawalan gaya.

Mod JSON tersedia melalui response_format. Tetapkan ini kepada json_object untuk output terstruktur. Model mematuhi format yang dinyatakan. Parameter ini terpakai untuk semua permintaan. Gunakan mereka untuk menala gaya respons.

Pengendalian Ralat dan Pelaporan Penggunaan Token

Tangani ralat HTTP biasa dalam aplikasi anda. Status 401 menunjukkan kunci API tidak sah. Status 402 bermaksud kredit prabayar anda telah habis. Status 429 menandakan bahawa anda telah melebihi had kadar. Semak badan respons untuk mesej ralat terperinci. Penolakan disebabkan dasar kandungan adalah percuma.

Jendela konteks menyokong jumlah 100,000 token. Output terhad kepada 16,000 token setiap permintaan. Output lalai ialah 2,048 token jika max_tokens tidak ditetapkan. Penggunaan token dilaporkan dalam segmen aliran akhir. Ralat tidak menggunakan kredit.