Ollama API Quickstart Guide

Configurare URL de bază și autentificare

Configurați clientul să indice către endpoint-ul nostru găzduit. Setează base_url pentru https://api.apiollama.com/v1 și introduceți cheia în Authorization header. Autentificarea utilizează standardul Bearer scheme. Poți genera o cheie prin Google sau email în panoul de control. Sistemul creează o singură cheie activă per cont.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

Mențineți cheia în siguranță. Dacă aveți nevoie de o cheie proaspătă, generați una nouă în panoul de control și cea veche devine inactivă imediat. Nu este necesar un număr de telefon pentru configurare. Această configurare funcționează cu orice client compatibil OpenAI.

POST /v1/chat/completions: Trimiterea cererilor

Trimite prima ta cerere de completare de chat folosind endpoint-ul standard. Specifică ID-ul modelului ca uncensored în corpul solicitării. API acceptă array-uri standard de mesaje care conțin roluri de sistem, utilizator și asistent. Acest lucru funcționează cu orice SDK care suportă formatul OpenAI. Asigurați-vă că includeți model câmp în fiecare cerere.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Cererea sunt procesate prin serverele noastre. Modelul răspunde cu text generat bazat pe promptul dumneavoastră. Puteți ajusta parametrii precum temperature sau top_p pentru a controla aleatorietatea. Sistemul returnează un obiect de răspuns complet care conține conținutul generat.

GET /v1/models: Listarea modelelor disponibile

Interogare endpoint-ul modelelor pentru a verifica opțiunile disponibile. Trimite o cerere GET la /v1/models pentru a lista modelele găzduite. Răspunsul include id câmp setat la uncensored. Acest endpoint confirmă că cheia API are permisiunile valide. Returnează metadate despre configurația modelului.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Utilizați această apelare pentru a depana problemele de conexiune. Dacă endpoint-ul returnează o eroare, verificați antetul de autentificare. Endpoint-ul oferă o listă simplă a modelelor disponibile. Puteți verifica starea serviciului fără a trimite o cerere completă de chat.

Răspunsuri în streaming cu Server-Sent Events

Activați fluxul de date setând stream parametrul la true. API-ul returnează Evenimente trimise de server (SSE) pentru livrarea tokenurilor în timp real. Fiecare fragment conține actualizări de conținut parțial. Fragmentul final include statistici complete de utilizare a tokenurilor. Acest lucru reduce latența percepută pentru răspunsurile lungi.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Gestionează fluxul SSE în codul clientului tău. Procesează fiecare eveniment pe măsură ce ajunge. Ultimul eveniment conține usage object cu numărul de token-uri de intrare și ieșire. Streaming-ul funcționează cu toate parametrii acceptați. Oferă feedback imediat pentru aplicațiile interactive.

Parametri de configurare: Temperatură, Top-p și altele

Ajustați comportamentul de generare folosind parametri standard. Setați temperature pentru aleatorietate și top_p pentru eșantionarea nucleu. Utilizați stop secvențe pentru a opri generarea devreme. API-ul seed parametrul asigură rezultate reproductibile. Puteți seta, de asemenea, presence_penalty și frequency_penalty pentru controlul stilului.

Modul JSON este disponibil prin response_format. Setează acest la json_object pentru output-uri structurate. Modelul respectă formatul specificat. Acești parametri se aplică tuturor cererilor. Folosește-i pentru a ajusta fin stilul răspunsului.

Gestionarea erorilor și raportarea utilizării tokenilor

Gestionați erorile HTTP comune în aplicația dumneavoastră. Un status 401 indică o cheie API invalidă. Un status 402 înseamnă că creditul preplătit s-a epuizat. Un status 429 semnalează că ați depășit limita de rată. Verificați corpul răspunsului pentru mesaje de eroare detaliate. Refuzurile din cauza politicilor de conținut sunt gratuite.

Fereastra de context suportă un total de 100.000 de tokeni. Outputul este limitat la 16.000 de tokeni per cerere. Outputul implicit este de 2.048 de tokeni dacă max_tokens este nedefinit. Utilizarea tokenilor este raportată în ultimul fragment de flux. Erorile nu consumă credit.