Ollama API Hızlı Başlangıç Rehberi

Temel URL ve Kimlik Doğrulama Kurulumu

İstemcinizi barındırılan uç noktamıza yönlendirmek için yapılandırın. Şunu ayarlayın base_url için https://api.apiollama.com/v1 ve anahtarınızı Authorization header. Kimlik doğrulama standart Bearer şeması. Bu kurulum, herhangi bir standart OpenAI-uyumlu SDK ile çalışır.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

Anahtarınızı güvende tutun. Taze bir anahtara ihtiyacınız varsa, panelden yeni bir tane oluşturun ve eski anahtar hemen pasif hale gelir. Kurulum için telefon numarası gerekmez. Bu yapılandırma, herhangi bir OpenAI-uyumlu istemciyle çalışır.

POST /v1/chat/completions: İstek Gönderme

İlk sohbet tamamlama isteğinizi standart uç nokta kullanarak gönderin. Model kimliğini uncensored istem gövdesinde. API, sistem, kullanıcı ve asistan rollerini içeren standart mesaj dizilerini kabul eder. Bu, OpenAI formatını destekleyen herhangi bir SDK ile çalışır. şunu dahil ettiğinizden emin olun model field her istekte.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

İstekler sunucularımız üzerinden işlenir. Model, isteğinize dayalı olarak oluşturulan metikle yanıt verir. Parametreleri temperature ou top_p rastgeleliği kontrol etmek için. Sistem, oluşturulan içeriği içeren tam bir yanıt nesnesi döndürür.

GET /v1/models: Mevcut Modellerin Listelenmesi

Mevcut seçenekleri doğrulamak için modeller uç noktasını sorgulayın. GET isteği gönderin /v1/models barındırılan modelleri listelemek için. Yanıt şunları içerir id field değeri uncensored. Bu uç nokta, API anahtarınızın geçerli izinlere sahip olduğunu doğrular. Model yapılandırması hakkında meta veriler döndürür.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Bağlantı sorunlarını halletmek için bu çağrıyı kullanın. Uç nokta bir hata döndürürse kimlik doğrulama başlığınızı kontrol edin. Uç nokta, mevcut modellerin basit bir listesini sağlar. Tam bir sohbet isteği göndermeden hizmet durumunu doğrulayabilirsiniz.

Sunucu Tarafı Olayları (SSE) ile Akış Yanıtları

Akışı etkinleştirmek için stream parametresini true olarak ayarlayın. API, gerçek zamanlı belirteç teslimi için Sunucu Tarafından Gönderilen Olaylar (SSE) döndürür. Her parça kısmi içerik güncellemeleri içerir. Son parça, tam belirteç kullanım istatistiklerini içerir. Bu, uzun yanıtlar için algılanan gecikmeyi azaltır.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Etkileşimli uygulamalar için kritik olan tokenların geldiği şekilde işlenmesi için istemci kodunuzda SSE akışını yönetin. Her olay geldiğinde işleyin. Son olay içerir usage girdi ve çıktı token sayıları içeren nesne. Akış, desteklenen tüm parametrelerle çalışır. Etkileşimli uygulamalar için anında geri bildirim sağlar.

Yapılandırma Parametreleri: Sıcaklık, Top-p ve Daha Fazlası

Standart parametreleri kullanarak üretim davranışını ayarlayın. Şunu ayarlayın: temperature rastgelelik ve top_p nükleus ökleme için. Kullanın stop üretimi erken durdurmak için diziler. Ayarlayın seed parametre tekrarlanabilir sonuçlar sağlar. Bunu istemci yapılandırmanızda da açıkça ayarlayabilirsiniz. Bu, trafiği uncensored sunucularımıza yönlendirir. Bu ayar olmadan istekleriniz standart OpenAI altyapısına gider. GPT-4 değil, uncensored modeli istiyorsunuz. URL presence_penalty ve frequency_penalty stil kontrolü için.

JSON modu şunun aracılığıyla mevcuttur response_formatBunu şu şekilde ayarlayın json_object yapılandırılmış çıktılar için. Model belirtilen biçime uyar. Bu parametreler tüm isteklere uygulanır. Yanıt stilini ince ayarlamak için kullanın.

Hata Yönetimi ve Token Kullanım Raporlaması

Uygulamanızda yaygın HTTP durum kodlarını yönetin. 401 durumu geçersiz bir API anahtarı olduğunu gösterir. 402 durumu ön ödemeli kredinizin tükendiği anlamına gelir. 429 durumu hız sınırını aştığınızı işaret eder. Detaylı hata mesajları için yanıt gövdesini kontrol edin. İçerik politikası nedeniyle reddedilenler ücretsizdir.

Bağlam penceresi toplamda 100.000 jetonu destekler. Çıktı, istek başına 16.000 tokenle sınırlandırılmıştır. Varsayılan çıktı, belirtilmezse 2.048 tokendir max_tokens ayarlanmamıştır. Token kullanımı son akış parçasında raporlanır. Hatalar krediyi tüketmez.