Ollama API-hurtigstartsguide

Base URL og autentificeringsopsætning

Konfigurer din klient til at pege på vores hosted endpoint. Indstil base_url til https://api.apiollama.com/v1 og angiv din nøgle i Authorization header. Autentificering bruger standard Bearer skema. Du kan generere en nøgle via Google eller e-mail på dashboardet. Systemet opretter én aktiv nøgle pr. konto.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

Hold din nøgle sikker. Hvis du har brug for en frisk nøgle, skal du generere en ny i dashboardet, og den gamle bliver inaktiv øjeblikkeligt. Der kræves ikke et telefonnummer til opsætning. Denne opsætning fungerer med enhver OpenAI-kompatibel klient.

POST /v1/chat/completions: Sending af anmodninger

Send din første chat-completion-anmodning ved hjælp af standard-endpointet. Angiv model-ID som uncensored i request-kroppen. API-et accepterer standard message-arrays, der indeholder system-, bruger- og assistentroller. Dette fungerer med ethvert SDK, der understøtter OpenAI-formatet. Sørg for at inkludere model felt i hver anmodning.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Anmodninger behandles gennem vores servere. Modellen svarer med genereret tekst baseret på din prompt. Du kan justere parametre som temperature eller top_p til at kontrollere tilfældighed. Systemet returnerer et komplet responsobjekt, der indeholder det genererede indhold.

GET /v1/models: Liste over tilgængelige modeller

Kør forespørgsel på models-endpointet for at verificere tilgængelige muligheder. Send en GET-anmodning til /v1/models til at liste hosted modeller. Svaret indeholder den id felt sat til uncensored. Dette endpoint bekræfter, at din API-nøgle har gyldige rettigheder. Det returnerer metadata om modelkonfigurationen.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Brug dette kald til at fejlfinde forbindelsesproblemer. Hvis endpointet returnerer en fejl, tjek din autentifikationsheader. Endpointet giver en simpel liste over tilgængelige modeller. Du kan verificere servicestatus uden at sende en fuld chat-anmodning.

Streaming-svar med Server-Sent Events

Aktivér streaming ved at indstille stream parameter til true. API'et returnerer Server-Sent Events (SSE) til realtidslevering af tokens. Hver chunk indeholder opdateringer af delvist indhold. Den sidste chunk indeholder de fulde tokenforbrugsstatistikker. Dette reducerer den opfattede latens for lange svar.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Håndter SSE-streamen i din klientkode. Behandl hver hændelse, mens den ankommer. Den sidste hændelse indeholder usage object med input- og output-tokenantal. Streaming fungerer med alle understøttede parametre. Det giver øjeblikkelig feedback til interaktive applikationer.

Konfigurationsparametre: Temperatur, Top-p og mere

Juster genereringsadfærd ved hjælp af standardparametre. Indstil temperature for tilfældighed og top_p for nucleus sampling. Brug stop sekvenser til at afbryde genereringen tidligt. The seed parameter sikrer reproducerbare resultater. Du kan også indstille presence_penalty og frequency_penalty til stilkontrol.

JSON-tilstand er tilgængelig via response_format. Indstil dette til json_object til strukturerede outputs. Modellen overholder det angivne format. Disse parametre gælder for alle anmodninger. Brug dem til at finjustere svarstilen.

Fejlhåndtering og rapportering af tokenforbrug

Håndter almindelige HTTP-fejl i din applikation. En 401-status indikerer en ugyldig API-nøgle. En 402-status betyder, at din forudbetalte kredit er opbrugt. En 429-status signalerer, at du har overskredet hastighedsbegrænsningen. Tjek svarkroppen for detaljerede fejlmeddelelser. Afvisninger på grund af indholdspolitik er gratis.

Kontekstvinduet understøtter i alt 100.000 tokens. Output er begrænset til 16.000 tokens pr. anmodning. Standard output er 2.048 tokens, hvis max_tokens er ikke indstillet. Tokenforbrug rapporteres i den sidste stream-chunk. Fejl forbruger ikke kredit.