Průvodce rychlým startem Ollama API

Nastavení základní URL a ověření

Nastavte svého klienta tak, aby směřoval na náš hostovaný endpoint. Nastavte base_url na https://api.apiollama.com/v1 a zadejte svůj klíč do Authorization hlavička. Autentizace používá standardní Bearer schéma. Klíč můžete vygenerovat přes Google nebo e-mail na dashboardu. Systém vytváří jeden aktivní klíč na účet.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

"Chraňte svůj klíč. Pokud potřebujete čerstvý klíč, vygenerujte nový v ovládacím panelu a starý se stane neaktivním okamžitě. Pro nastavení není vyžadováno telefonní číslo. Toto nastavení funguje s jakýmkoli klientem kompatibilním s OpenAI."

POST /v1/chat/completions: Odesílání požadavků

Odeslat svůj první požadavek na dokončení chatu pomocí standardního koncového bodu. Specifikujte ID modelu jako uncensored v těle požadavku. API přijímá standardní pole zpráv obsahující role system, user a assistant. To funguje s jakoukoli SDK, která podporuje formát OpenAI. Ujistěte se, že zahrnete model pole v každém požadavku.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Požadavky jsou zpracovávány přes naše servery. Model odpovídá vygenerovaným textem na základě vašeho promptu. Parametry jako můžete upravit temperature nebo top_p pro ovládání náhodnosti. Systém vrací kompletní objekt odpovědi obsahující vygenerovaný obsah.

GET /v1/models: Výpis dostupných modelů

Vyhledejte endpoint modelů pro ověření dostupných možností. Pošlete požadavek GET na /v1/models vypsat hostované modely. Odpověď obsahuje id pole nastaveno na uncensored. Tento endpoint potvrzuje, že váš API klíč má platná oprávnění. Vrací metadata o konfiguraci modelu.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Použijte toto volání k ladění problémů s připojením. Pokud endpoint vrátí chybu, zkontrolujte svou autentizační hlavičku. Endpoint poskytuje jednoduchý seznam dostupných modelů. Můžete ověřit stav služby bez odesílání plné chatovací požadavku.

Streamované odpovědi pomocí událostí odeslaných serverem

Povolte streamování nastavením stream parameter na true. API vrací Server-Sent Events (SSE) pro doručování tokenů v reálném čase. Každá část obsahuje aktualizace částečného obsahu. Poslední část obsahuje kompletní statistiky využití tokenů. To snižuje vnímanou latenci pro dlouhé odpovědi.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Zpracujte stream SSE ve svém kódu klienta. Zpracujte každou událost, jak přichází. Poslední událost obsahuje usage object s počty vstupních a výstupních tokenů. Streamování funguje se všemi podporovanými parametry. Poskytuje okamžitou zpětnou vazbu pro interaktivní aplikace.

Parametry konfigurace: Teplota, Top-p a další

Upravte chování generování pomocí standardních parametrů. Nastavte temperature pro náhodnost a top_p pro nucleus sampling. Použijte stop sekvenční pro předčasné zastavení generování. The seed parameter zajičuje reprodukovatelné výsledky. Můžete také nastavit presence_penalty a frequency_penalty pro kontrolu stylu.

Režim JSON je dostupný přes response_format. Nastavte toto na json_object pro strukturované výstupy. Model se řídí zadaným formátem. Tyto parametry se aplikují na všechny požadavky. Použijte je pro doladění stylu odpovědi.

Zpracování chyb a hlášení o využití tokenů

Zvládněte běžné HTTP chyby ve své aplikaci. Status 401 označuje neplatný API klíč. Status 402 znamená, že je vyčerpán váš předplacený kredit. Status 429 signalizuje, že jste překročili limit rychlosti. Pro podrobné chybové zprávy zkontrolujte tělo odpovědi. Zamítnutí kvůli politice obsahu jsou zdarma.

Okno kontextu podporuje celkem 100 000 tokenů. Výstup je omezen na 16 000 tokenů na požadavek. Výchozí výstup je 2 048 tokenů, pokud max_tokens není nastaveno. Využití tokenů je hlášeno v posledním streamovacím chunku. Chyby nespotřebovávají kredit.