Ollama API क्विकस्टार्ट गाइड
यह गाइड अनसेंसर्ड LLM API से कनेक्ट करने के लिए आवश्यक कॉन्फ़िगरेशन प्रदान करती है। न्यूनतम सेटअप के साथ मानक OpenAI SDK का उपयोग करके अपने होस्टेड एंडपॉइंट पर अनुरोध भेजें।
बेस URL और प्रमाणीकरण सेटअप
अपने क्लाइंट को कॉन्फ़िगर करें ताकि वह हमारे होस्ट किए गए एंडपॉइंट पर इशारा करे। सेट करें base_url को https://api.apiollama.com/v1 और कुंजी को Authorization हेडर। प्रमाणीकरण मानक Bearer स्कीमा। आप डैशबोर्ड पर Google या ईमेल के माध्यम से एक कुंजी जनरेट कर सकते हैं। सिस्टम प्रति खाता एक सक्रिय कुंजी बनाता है।
curl https://api.apiollama.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "list installed models"}]
}'अपनी कुंजी सुरक्षित रखें। यदि आपको एक ताजी कुंजी की आवश्यकता है, तो डैशबोर्ड पर एक नई कुंजी जनरेट करें और पुरानी कुंजी तुरंत अक्रिय हो जाती है। सेटअप के लिए फ़ोन नंबर की आवश्यकता नहीं है। यह सेटअप किसी भी OpenAI-कम्पैटिबल क्लाइंट के साथ काम करता है।
POST /v1/chat/completions: अनुरोध भेजना
मानक एंडपॉइंट का उपयोग करके अपना पहला कंप्लीशन अनुरोध भेजें। मॉडल ID को इस रूप में निर्दिष्ट करें uncensored अनुरोध बॉडी में। API सिस्टम, उपयोगकर्ता और सहायक भूमिकाओं वाले मानक संदेश सरहणों को स्वीकार करता है। यह किसी भी उस SDK के साथ काम करता है जो OpenAI फॉर्मेट का समर्थन करता है। सुनिश्चित करें कि आप model field हर अनुरोध में।
from openai import OpenAI
client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)अनुरोध हमारे सर्वरों के माध्यम से संसाधित किए जाते हैं। मॉडल आपके प्रॉम्प्ट के आधार पर जनरेटेड टेक्स्ट के साथ प्रतिक्रिया देता है। आप पैरामीटर जैसे कि को समायोजित कर सकते हैं temperature या top_p यादृच्छिकता को नियंत्रित करने के लिए। सिस्टम एक पूर्ण रिस्पॉन्स ऑब्जेक्ट लौटाता है जिसमें उत्पन्न सामग्री शामिल है।
GET /v1/models: उपलब्ध मॉडल्स की सूची
उपलब्ध विकल्पों की पुष्टि करने के लिए मॉडल्स एंडपॉइंट को क्वेरी करें। एक GET अनुरोध भेजें /v1/models होस्ट किए गए मॉडल सूचीबद्ध करने के लिए। प्रतिक्रिया में शामिल है id field सेट है uncensored. यह एंडपॉइंट पुष्टि करता है कि आपकी API कुली के पास वैध परमिशन हैं। यह मॉडल कॉन्फ़िगरेशन के बारे में मेटाडेटा लौटाता है।
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);कनेक्शन समस्याओं को डिबग करने के लिए इस कॉल का उपयोग करें। यदि एंडपॉइंट एक त्रुटि लौटाता है, तो अपने ऑथेंटिकेशन हेडर की जांच करें। एंडपॉइंट उपलब्ध मॉडल्स की एक सरल सूची प्रदान करता है। आप पूरा चैट रिक्वेस्ट भेजे बिना सेवा स्थिति की पुष्टि कर सकते हैं।
SSE (Server-Sent Events) के साथ स्ट्रीमिंग रिस्पॉन्सेस
स्ट्रीमिंग को सक्षम करने के लिए stream पैरामीटर को true सेट करें। API रियल-टाइम टोकन डिलीवरी के लिए सर्वर-सेंट इवेंट्स (SSE) लौटाता है। प्रत्येक चंक में आंशिक सामग्री अपडेट होते हैं। अंतिम चंक में पूर्ण टोकन उपयोग आंकड़े शामिल होते हैं। इससे लंबे उत्तरों के लिए अनुभवगत विलंबता कम होती है।
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)अपने क्लाइंट कोड में SSE स्ट्रीम हैंडल करें। प्रत्येक इवेंट को आने पर प्रोसेस करें। अंतिम इवेंट में usage object इनपुट और आउटपुट टोकन काउंट के साथ। स्ट्रीमिंग सभी समर्थित पैरामीटर के साथ काम करता है। यह इंटरैक्टिव एप्लिकेशन के लिए तत्काल फीडबैक प्रदान करता है।
कॉन्फ़िगरेशन पैरामीटर: तापमान, Top-p, और अधिक
मानक पैरामीटर का उपयोग करके जनरेशन व्यवहार को समायोजित करें। सेट करें temperature यादृच्छिकता और top_p न्यूक्लियस सैंपलिंग के लिए। उपयोग करें stop सीक्वेंस का उपयोग जनरेशन को जल्दी रोकने के लिए। seed पैरामीटर पुनरुत्पादक परिणाम सुनिश्चित करता है। आप सेट भी कर सकते हैं presence_penalty और frequency_penalty शैली नियंत्रण के लिए।
JSON मोड के माध्यम से उपलब्ध है response_formatइसे इस पर सेट करें json_object संरचित आउटपुट के लिए। मॉडल निर्दिष्ट फॉर्मेट का पालन करता है। ये पैरामीटर सभी अनुरोधों पर लागू होते हैं। प्रतिक्रिया शैली को फाइन-ट्यून करने के लिए उनका उपयोग करें।
त्रुटि हैंडलिंग और टोकन उपयोग रिपोर्टिंग
अपनी एप्लिकेशन में सामान्य HTTP त्रुटियों को संभालें। 401 स्टेटस का अर्थ है कि API कुंजी अमान्य है। 402 स्टेटस का अर्थ है कि आपका पूर्व-भुगतान किया गया क्रेडिट खत्म हो गया है। 429 स्टेटस संकेत देता है कि आपने रेट लिमिट पार कर ली है। विस्तृत त्रुटि संदेशों के लिए प्रतिक्रिया बॉडी की जांच करें। सामग्री नीति के कारण अस्वीकृतियां मुफ्त हैं।
संदर्भ विंडो कुल 100,000 टोकन तक समर्थित है। आउटपुट प्रति अनुरोध 16,000 टोकन तक सीमित है। यदि डिफ़ॉल्ट आउटपुट 2,048 टोकन है max_tokens अनसेट है। टोकन उपयोग अंतिम स्ट्रीम चंक में रिपोर्ट किया जाता है। त्रुटियां क्रेडिट नहीं खाती हैं।
सामान्य प्रश्न
होस्टेड सेवा के लिए ollama API यूआरएल क्या है?
बेस URL HTTPS://api.apiollama.com/v1 है। यह एंडपॉइंट मानक OpenAI SDKs के साथ संगत है। आपको अपनी कॉन्फ़िगरेशन में केवल बेस URL और API कुंजी अपडेट करने की आवश्यकता है।
क्या अनकैप्ड LLL स्ट्रीमिंग का समर्थन करता है?
हाँ, स्ट्रीमिंग सर्वर-सेंट इवेंट्स के माध्यम से समर्थित है। अपने अनुरोध में stream पैरामीटर को true पर सेट करें। अंतिम चंक में टोकन उपयोग सांख्यिकी शामिल होती है, जो बिलिंग पारदर्शिता प्रदान करती है।
संदर्ख विंडो सीमाएँ क्या हैं?
मॉडल 100,000 टोकन संदर्भ विंडो का समर्थन करता है। अधिकतम आउटपुट प्रति अनुरोध 16,000 टोकन है। यदि आप max_tokens सेट नहीं करते हैं, तो आउटपुट डिफ़ॉल्ट रूप से 2,048 टोकन होता है।
तुरंत कुंजी प्राप्त करें
रजिस्टर करें, क्रेडेंशियल कॉपी करें और एंडपॉइंट अपडेट करें। यही सब है।
ट्रायल कुंजी प्राप्त करें