Руководство по быстрому старту Ollama API

Настройка базового URL и аутентификации

Настройте клиент на указание на наш размещенный эндпоинт. Установите base_url для https://api.apiollama.com/v1 и укажите ключ в Authorization Заголовок. Аутентификация использует стандартный Bearer схему. Вы можете сгенерировать ключ через Google или email в панели управления. Система создаёт один активный ключ на аккаунт.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

Храните ваш ключ в безопасности. Если вам нужен свежий ключ, сгенерируйте новый на панели управления, и старый станет неактивным немедленно. Для настройки не требуется номер телефона. Эта настройка работает с любым клиентом, совместимым с OpenAI.

POST /v1/chat/completions: Отправка запросов

Отправьте свой первый запрос на завершение чата, используя стандартный эндпоинт. Укажите идентификатор модели как uncensored в теле запроса. API принимает стандартные массивы сообщений, содержащие роли system, user и assistant. Это работает с любым SDK, поддерживающим формат OpenAI. Убедитесь, что вы включаете model field в каждом запросе.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Запросы обрабатываются через наши серверы. Модель отвечает сгенерированным текстом на основе вашего промпта. Вы можете настроить параметры, такие как temperature или top_p для контроля случайности. Система возвращает полный объект ответа, содержащий сгенерированное содержимое.

GET /v1/models: Список доступных моделей

Запрос эндпоинта моделей для проверки доступных опций. Отправьте GET-запрос на /v1/models чтобы получить список размещённых моделей. В ответе содержится id field установлен в uncensored. Этот эндпоинт подтверждает, что ваш API-ключ имеет действительные права доступа. Он возвращает метаданные о конфигурации модели.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Используйте этот вызов для отладки проблем с подключением. Если эндпоинт возвращает ошибку, проверьте заголовок аутентификации. Эндпоинт предоставляет простой список доступных моделей. Вы можете проверить статус службы, не отправляя полный запрос чата.

Потоковые ответы с событиями, отправляемыми сервером

Включите потоковую передачу, установив stream параметр в true. API возвращает Server-Sent Events (SSE) для доставки токенов в реальном времени. Каждый чанк содержит частичные обновления содержимого. Последний чанк включает полную статистику использования токенов. Это снижает воспринимаемую задержку для длинных ответов.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Обрабатывайте поток SSE в коде клиента. Обрабатывайте каждое событие по мере его поступления. Последнее событие содержит usage объект с подсчетами входных и выходных токенов. Потоковая передача работает со всеми поддерживаемыми параметрами. Она обеспечивает немедленную обратную связь для интерактивных приложений.

Параметры конфигурации: Температура, Top-p и другие

Настройте поведение генерации с помощью стандартных параметров. Установите temperature для случайности и top_p для выборки по ядру. Используйте stop последовательности для досрочной остановки генерации. seed параметр обеспечивает воспроизводимость результатов. Вы также можете явно задать presence_penalty и frequency_penalty для контроля стиля.

Режим JSON доступен через response_format. Установите это на json_object для структурированных выводов. Модель соблюдает указанный формат. Эти параметры применяются ко всем запросам. Используйте их для настройки стиля ответа.

Обработка ошибок и отчетность об использовании токенов

Обрабатывайте распространённые ошибки HTTP в вашем приложении. Статус 401 указывает на недействительный API-ключ. Статус 402 означает, что ваши предоплаченные средства исчерпаны. Статус 429 сигнализирует о превышении лимита частоты запросов. Проверяйте тело ответа на наличие подробных сообщений об ошибках. Отказы из-за политики контента бесплатны.

Окно контекста поддерживает до 100 000 токенов суммарно. Объем вывода ограничен 16 000 токенами за запрос. Значение по умолчанию для вывода составляет 2 048 токенов, если max_tokens is unset. Использование токенов указывается в последнем чанке потока. Ошибки не потребляют кредит.