מדריך ההתחלה המהירה ל-API של Ollama

הגדרת כתובת URL בסיסית ואימות

הגדר את הלקוח שלך לנקד לנקודת הקצה המאוחסנת שלנו. הגדר את base_url אל https://api.apiollama.com/v1 וכדי לספק את המפתח ב- Authorization כותרת. האימות משתמש בסטנדרטי Bearer שיטה. ניתן ליצור מפתח דרך Google או אימייל בלוח הבקרה. המערכת יוצרת מפתח פעיל אחד לחשבון.

Copycurl https://api.apiollama.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list installed models"}]
  }'

שמור על המפתח שלך מאובטח. אם אתה צריך מפתח טרי, צור מפתח חדש בלוח הבקרה והישן יהפוך לא פעיל מיד. אין צורך במספר טלפון להגדרה. הגדרה זו עובדת עם כל לקוח התואם ל-OpenAI.

POST /v1/chat/completions: שליחת בקשות

שלח את בקשת השלמת הצ'אט הראשונה שלך באמצעות נקודת הקצה הסטנדרטית. ציין את מזהה המודל כ uncensored בגוף הבקשה. ה-API מקבל מערכי הודעות סטנדרטיים הכוללים תפקידי מערכת, משתמש ומסייע. זה עובד עם כל SDK התומך בפורמט של OpenAI. ודא שאתה כולל את model field in every request.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apiollama.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

בקשות מעובדות דרך השרתים שלנו. המודל מגיב בטקסט שנוצר בהתבסס על ההנחיה שלך. ניתן להתאים פרמטרים כמו temperature או top_p לשליטה באקראיות. המערכת מחזירה אובייקט תגובה מלא המכיל את התוכן שנוצר.

GET /v1models: הצגת מודלים זמינים

בצע שאילתה על נקודת הקצה של המודלים כדי לאפשר אפשרויות זמינות. שלח בקשת GET ל /v1/models לרשום מודלים מאוחסנים. התגובה כוללת את id field set to uncensored. נקודת הקבלה הזו מאשרת למפתח ה-API שלך יש הרשאות תקפות. היא מחזירה מטא-נתונים על תצורת המודל.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apiollama.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

השתמשו בקריאה זו כדי לפתור בעיות חיבור. אם הנקודה מחזירה שגיאה, בדקו את כותרת האימות שלכם. הנקודה מספקת רשימה פשוטה של מודלים זמינים. אתם יכולים לאמת את מצב השירות ללא שליחת בקשת צ'אט מלאה.

תגובות בסטרימינג עם אירועים שנשלחו מהשרת

אפשרו זרמת נתונים על ידי הגדרת ה stream פרמטר ל-true. ה-API מחזיר אירועים שנשלחו על ידי השרת (SSE) למסירת אסימונים בזמן אמת. כל נתח מכיל עדכוני תוכן חלקיים. הנתח הסופי כולל את סטטיסטיקות השימוש המלאות באסימונים. זה מפחית את תחומת העיכוי עבור תגובות ארוכות.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

טפול בזרם ה-SSE בקוד הלקוח שלך. עבד כל אירוע ככל שהוא מגיע. האירוע האחרון מכיל את usage אובייקט עם מניית אסימוני קלט ופלט. זרמת נתונים עובדת עם כל הפרמטרים הנתמכים. היא מספקת משוב מיידי ליישומים אינטראקטיביים.

פרמטרי תצורה: טמפרטורה, Top-p ועוד

התאם את התנהגות היצירה באמצעות פרמטרים סטנדרטיים. הגדר temperature לאקראיות ו- top_p לדגימת ליבה. השתמש stop רצפים לעצירת ייצור מוקדם. ה seed פרמטר מבטיח תוצאות ניתנות לשחזור. ניתן גם להגדיר presence_penalty וגם frequency_penalty לשליטה בסגנון.

מצב JSON זמין דרך response_format. הגדירו את זה ל- json_object לפלטות מבניות. המודל נאמד לפורמט שצוין. פרמטרים אלו חלים על כל הבקשות. השתמש בהם כדי לכוונן את סגנון התגובה.

טיפול בשגיאות ודיווח על צריכת טוקנים

טפלו בשגיאות HTTP נפוצות ביישום שלך. סטטוס 401 מצביע על מפתח API לא חוקי. סטטוס 402 אומר שהאשראי המקדים שלך אזל. סטטוס 429 מציין שחרגת מגבול הקצב. בדוק את גוף התגובה להודעות שגיאה מפורטות. סירובים עקב מדיניות תוכן הם ללא תשלום.

חלון ההקשר תומך ב-100,000 טוקנים בסך הכל. הפלט מוגבל ל-16,000 טוקנים לכל בקשה. פלט ברירת מחדל הוא 2,048 טוקנים אם max_tokens לא מוגדר. שימוש באסימונים מדווח בחלק הסטרימינג הסופי. שגיאות לא צורכות אשראי.