Посібник швидкого старту Ollama API

Налаштування базової URL-адреси та аутентифікації

Налаштуйте клієнта, щоб вказувати на наш хостований ендпоінт. Встановіть base_url до https://api.apiollama.com/v1 та надайте свій ключ у Authorization header. Автентифікація використовує стандартний Bearer схему. Ви можете згенерувати ключ через Google або електронну пошту на панелі керування. Система створює один активний ключ на обліковий запис.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

Зберігайте ваш ключ у безпеці. Якщо вам потрібен свіжий ключ, згенеруйте новий на панелі керування, і старий стане неактивним миттєво. Для налаштування не потрібен номер телефону. Ця конфігурація працює з будь-яким клієнтом, сумісним з OpenAI.

POST /v1/chat/completions: Надсилання запитів

Надішліть свій перший запит на завершення чату, використовуючи стандартний ендпоінт. Вкажіть ідентифікатор моделі як uncensored у тілі запиту. API приймає стандартні масиви повідомлень, що містять ролі system, user та assistant. Це працює з будь-яким SDK, що підтримує формат OpenAI. Переконайтеся, що ви включили model field у кожному запиті.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Запити обробляються через наші сервери. Модель відповідає згенерованим текстом на основі вашого запиту. Ви можете налаштувати такі параметри, як temperature або top_p для контролю випадковості. Система повертає повний об'єкт відповіді, що містить згенерований вміст.

GET /v1/models: Перелік доступних моделей

Запитайте до кінцевої точки models, щоб перевірити доступні опції. Надішліть GET-запит на /v1/models щоб отримати список розміщених моделей. У відповіді міститься id field встановлено на uncensored. Цей ендпоінт підтверджує, що ваш API-ключ має дійсні дозволи. Він повертає метадані про конфігурацію моделі.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Використовуйте цей виклик для налагодження проблем із підключенням. Якщо ендпоінт повертає помилку, перевірте заголовок автентифікації. Ендпоінт надає простий список доступних моделей. Ви можете перевірити статус служби, не надсилаючи повний запит на чат.

Потокові відповіді з подіями, надісланими сервером

Увімкніть потокову передачу, встановивши stream параметр на true. API повертає Server-Sent Events (SSE) для доставки токенів у реальному часі. Кожен чанк містить оновлення часткового вмісту. Останній чанк містить повну статистику використання токенів. Це зменшує сприйнятну затримку для довгих відповідей.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Обробляйте потік SSE у коді клієнта. Обробляйте кожну подію по мірі її надходження. Остання подія містить usage об'єкт з підрахунками вхідних та вихідних токенів. Стримінг працює з усіма підтримуваними параметрами. Він надає миттєвий зворотний зв'язок для інтерактивних додатків.

Параметри конфігурації: Temperature, Top-p та інше

Налаштуйте поведінку генерації за допомогою стандартних параметрів. Встановіть temperature для випадковості та top_p для вибірки за ядром (nucleus sampling). Використовуйте stop послідовності для дострокової зупинки генерації. The seed параметр забезпечує відтворюваність результатів. Ви також можете встановити presence_penalty та frequency_penalty для контролю стилю.

Режим JSON доступний через response_format. Встановіть це на json_object для структурованих виводів. Модель дотримується вказаного формату. Ці параметри застосовуються до всіх запитів. Використовуйте їх для налаштування стилю відповіді.

Обробка помилок та звітування про використання токенів

Обробляйте поширені HTTP-помилки у своєму додатку. Статус 401 вказує на недійсний API-ключ. Статус 402 означає, що ваш попередньо оплачений кредит вичерпано. Статус 429 сигналізує про перевищення ліміту швидкості. Перевірте тіло відповіді на наявність детальних повідомлень про помилки. Відмови через політику контенту є безкоштовними.

Вікно контексту підтримує загальну кількість 100 000 токенів. Вивід обмежено 16 000 токенів за запит. За замовчуванням вивід становить 2 048 токенів, якщо max_tokens не встановлено. Використання токенів повідомляється в останньому фрагменті потоку. Помилки не споживають кредит.