Przewodnik szybkiego startu API Ollama

Konfiguracja bazowego URL i autoryzacji

Skonfiguruj swojego klienta, aby wskazywał na nasz zdalny endpoint. Ustaw base_url do https://api.apiollama.com/v1 i podaj swój klucz w Authorization Nagłówek. Uwierzytelnianie wykorzystuje standardowy Bearer schemat. Możesz wygenerować klucz przez Google lub e-mail na dashboardzie. System tworzy jeden aktywny klucz na konto.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

Chroń swój klucz. Jeśli potrzebujesz świeżego klucza, wygeneruj nowy w panelu, a stary stanie się nieaktywny natychmiast. Nie jest wymagany numer telefonu do konfiguracji. To rozwiązanie działa z dowolnym klientem kompatybilnym z OpenAI.

POST /v1/chat/completions: Wysyłanie żądań

Wyślij swoje pierwsze żądanie uzupełnienia czatu za pomocą standardowego endpointu. Określ ID modelu jako uncensored w ciele żądania. API akceptuje standardowe tablice wiadomości zawierające role systemowe, użytkownika i asystenta. Działa to z dowolnym SDK obsługującym format OpenAI. Upewnij się, że dołączysz model pole w każdym żądaniu.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Żądania są przetwarzane przez nasze serwery. Model odpowiada wygenerowanym tekstem na podstawie Twojego promptu. Możesz dostosować parametry takie jak temperature lub top_p do kontrolowania losowości. System zwraca kompletny obiekt odpowiedzi zawierający wygenerowaną zawartość.

GET /v1/models: Wyświetlanie dostępnych modeli

Wywołaj endpoint modeli, aby sprawdzić dostępne opcje. Wyślij żądanie GET do /v1/models wyświetlić hostowane modele. Odpowiedź zawiera id pole ustawione na uncensored. Ten endpoint potwierdza, że Twój klucz API ma ważne uprawnienia. Zwraca metadane dotyczące konfiguracji modelu.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Użyj tego wywołania, aby debugować problemy z połączeniem. Jeśli punkt końcowy zwróci błąd, sprawdź nagłówek uwierzytelniania. Punkt końcowy dostarcza prostą listę dostępnych modeli. Możesz zweryfikować status usługi bez wysyłania pełnego żądania czatu.

Odpowiedzi strumieniowe z zdarzeniami wysłanymi przez serwer

Włącz strumieniowanie, ustawiając stream ustaw na true. API zwraca zdarzenia wysłane przez serwer (SSE) dla dostarczania tokenów w czasie rzeczywistym. Każdy fragment zawiera aktualizacje częściowej zawartości. Ostatni fragment zawiera pełne statystyki użycia tokenów. Zmniejsza to postrzeganą latencję dla długich odpowiedzi.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Obsługuj strumień SSE w kodzie klienta. Przetwarzaj każde zdarzenie, gdy przybywa. Ostatnie zdarzenie zawiera usage obiekt z liczbami tokenów wejściowych i wyjściowych. Strumieniowanie działa ze wszystkimi obsługiwanymi parametrami. Zapewnia natychmiastową informację zwrotną dla aplikacji interaktywnych.

Parametry konfiguracji: Temperatura, Top-p i inne

Dostosuj zachowanie generowania za pomocą standardowych parametrów. Ustaw temperature dla losowości i top_p do próbkowania jądra (nucleus sampling). Użyj stop sekwencje do wcześniejszego zatrzymania generowania. The seed parametr zapewnia powtarzalne wyniki. Możesz również ustawić presence_penalty i frequency_penalty do kontroli stylu.

Tryb JSON jest dostępny poprzez response_format. Ustaw to na json_object do wyjść strukturalnych. Model podporządkowuje się określonym formatom. Te parametry dotyczą wszystkich żądań. Użyj ich do dostrajania stylu odpowiedzi.

Obsługa błędów i raportowanie zużycia tokenów

Obsłuż typowe błędy HTTP w swojej aplikacji. Status 401 wskazuje na nieprawidłowy klucz API. Status 402 oznacza, że Twoje prepaydowane środki zostały wyczerpane. Status 429 sygnalizuje, że przekroczyłeś limit szybkości. Sprawdź ciało odpowiedzi pod kątem szczegółowych komunikatów o błędach. Odmowy ze względu na politykę treści są darmowe.

Okno kontekstowe obsługuje łącznie 100 000 tokenów. Długość odpowiedzi jest ograniczona do 16 000 tokenów na żądanie. Domyślna długość odpowiedzi to 2 048 tokenów, jeśli max_tokens jest nieustawione. Użycie tokenów jest raportowane w ostatnim cząstku strumienia. Błędy nie zużywają kredytu.