Ollama API-pikaopas

Perus-URL:n ja todennuksen määritys

Määritä asiakasohjelmisto osoittamaan isännöityyn päätepisteeseesi. Aseta base_url vastaan https://api.apiollama.com/v1 ja anna avaimesi Authorization header. Autentikointi käyttää standardia Bearer mekanismin. Voit luoda avaimen Google- tai sähköpostitunnuksella hallintapaneelista. Järjestelmä luo yhden aktiivisen avaimen per tili.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

Pidä avaimesi turvassa. Jos tarvitset raikkaan avaimen, luo uusi hallintapaneelissa ja vanha avain muuttuu epäaktiiviseksi välittömästi. Puhelinnumeroa ei vaadita asennukseen. Tämä asettelu toimii minkä tahansa OpenAI-yhteensopivan asiakkaan kanssa.

POST /v1/chat/completions: Pyyntöjen lähettäminen

Lähetä ensimmäinen chat-valmiuspyyntö käyttämällä vakiopäätepistettä. Määritä mallin tunnus arvoksi uncensored pyyntörunossa. API hyväksyy vakioviestitaulukot, jotka sisältävät system-, user- ja assistant-roolit. Tämä toimii minkä tahansa OpenAI-muotoa tukevan SDK:n kanssa. Varmista, että sisällytät model kenttä jokaisessa pyynnössä.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Pyyntöjä käsitellään palveluidemme kautta. Malli vastaa luodulla tekstillä promptisi perusteella. Voit säätää parametreja kuten temperature tai top_p hallitsemaan satunnaisuutta. Järjestelmä palauttaa täydellisen vastausobjektin, joka sisältää luodun sisällön.

GET /v1/models: Saatavilla olevien mallien luettelo

Kysy mallien päätepistettä varmistaaksesi saatavilla olevat vaihtoehdot. Lähetä GET-pyyntö /v1/models luettelo isännöidyistä malleista. Vastaus sisältää id kenttä asetettu uncensored. Tämä päätepiste vahvistaa, että API-avallasi on voimassa olevat käyttöoikeudet. Se palauttaa metadataa mallikonfiguraatiosta.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Käytä tätä kutsua vianmääritykseen yhteysongelmissa. Jos päätepiste palauttaa virheen, tarkista todennusotsikkosi. Päätepiste tarjoaa yksinkertaisen listan saatavilla olevista malleista. Voit vahvistaa palvelun tilan lähettämättä täyttä keskustelupyyntöä.

Streamausvastaukset palvelimen lähettäminä tapahtumina

Ota virtauskäyttöön asettamalla stream parametri arvoon true. API palauttaa Server-Sent Events (SSE) -tapahtumat reaaliaikaiseen tokenitoimitukseen. Jokainen osa sisältää osittaisia sisältöpäivityksiä. Viimeinen osa sisältää täydet tokenkäyttötilastot. Tämä vähentää havaittua viivettä pitkissä vastauksissa.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Käsittele SSE-streamia asiakaskoodissasi. Käsittele jokainen tapahtuma sen saapuessa. Viimeinen tapahtuma sisältää usage object, jossa on syöte- ja tulostokenien määrät. Streamaus toimii kaikkien tuettujen parametrien kanssa. Se tarjoaa välittömän palautteen interaktiivisia sovelluksia varten.

Konfiguraatioparametrit: Lämpötila, Top-p ja muuta

Säädä generointikäyttäytymistä standardiparametreilla. Aseta temperature satunnaisuudelle ja top_p ytimenäytteistykseen. Käytä stop sekvenssit keskeyttämään generaatio ennenaikaisesti. The seed parametri varmistaa toistettavat tulokset. Voit myös asettaa presence_penalty ja frequency_penalty tyylinhallintaan.

JSON-tila on saatavilla kautta response_format. Aseta tämä muotoon json_object rakenteisiin tuloksiin. Malli noudattaa määritettyä muotoa. Nämä parametrit koskevat kaikkia pyyntöjä. Käytä niitä vastauksen tyylin hienosäätöön.

Virheenkäsittely ja tokenkäytön raportointi

Käsittele yleiset HTTP-virheet sovelluksessa. Tila 401 tarkoittaa virheellistä API-avainta. Tila 402 tarkoittaa, että esimaksusaltonsi on loppu. Tila 429 ilmoittaa, että olet ylittänyt nopeusrajoituksen. Tarkista vastauksen kehikko yksityiskohtaisten virheilmoitusten saamiseksi. Sisältöpolitiikan aiheuttamat hylkäykset ovat ilmaisia.

Konteksti-ikkuna tukee yhteensä 100 000 tokenia. Tuloste on rajoitettu 16 000 tokeniin pyyntöä kohti. Oletustuloste on 2 048 tokenia, jos max_tokens ei ole asetettu. Token-käyttö ilmoitetaan viimeisessä streamauspalautuksessa. Virheet eivät kuluta saldoa.