להריץ סוכני AI על חומרה שלכם משתלם כלכלית רק מול מודלי חזית יקרים ורק מעל כ-5 מיליון טוקנים ביום. מול ממשקי API של מודלים פתוחים, שנעים סביב 0.14 עד 0.50 דולר למיליון טוקנים, נקודת האיזון נדחקת למיליארדי טוקנים בחודש ולרוב לא תגיעו אליה. המשמעות פשוטה: אם השיקול היחיד הוא עלות, ברוב המקרים התשובה היא לא. הנימוקים שכן מחזיקים הם ריבונות נתונים, קיבוע גרסה ולטנציה — ואותם צריך לתמחר בכנות.
השאלה שרוב הארגונים שואלים היא השאלה הלא נכונה
הדיון מתחיל כמעט תמיד ב"כמה נחסוך אם נריץ את זה אצלנו". זו שאלה שאפשר לחשב, ולכן היא מרגישה בטוחה — אבל היא כמעט אף פעם לא הסיבה האמיתית שארגון מריץ מודל בעצמו.
שלושה נימוקים מחזיקים מים, ואף אחד מהם אינו חיסכון ישיר. הראשון הוא ריבונות נתונים: כשהמידע שנכנס לפרומפט אינו יכול לצאת מהארגון, השאלה הכלכלית משנית לשאלת ההיתר. השני הוא קיבוע גרסה: ספק שמעדכן מודל משנה התנהגות של סוכן שכויל לגרסה קודמת, ומודל שרץ אצלכם לא משתנה עד שתחליטו. השלישי הוא לטנציה יציבה בנפח גבוה, בעיקר במשימות סיווג וחילוץ שרצות מאות פעמים בדקה.
אם אף אחד משלושת אלה אינו רלוונטי אצלכם, החשבון שלהלן כמעט תמיד יחזיר אתכם ל-API.
החשבון, בלי קסמים
נכון לאמצע 2026, השכרת H100 בודד נעה בין כ-2 דולר לשעה אצל ספקי GPU ייעודיים לבין 14 דולר לשעה אצל ענני ההיפרסקייל, כשהממוצע לגישה לפי דרישה סובב סביב 3 דולר לשעה. רכישה של כרטיס עומדת על 30 עד 40 אלף דולר ומעלה. ניקח מחיר שמור של 2 דולר לשעה — כ-1,460 דולר לחודש עבור כרטיס שרץ ברציפות.
| מול מה משווים | מחיר למיליון טוקנים | נפח חודשי לנקודת איזון | שווה ערך ליום |
|---|---|---|---|
| מודל חזית יקר | 10 דולר | כ-146 מיליון | כ-5 מיליון |
| מודל חזית זול יותר | 2.50 דולר | כ-584 מיליון | כ-19 מיליון |
| API של מודל פתוח | 0.25 דולר | כ-5.8 מיליארד | כ-195 מיליון |
הטבלה מחושבת ישירות: 1,460 דולר לחודש חלקי המחיר למיליון טוקנים. שורה שלישית היא זו שסוגרת את הדיון ברוב הארגונים — 195 מיליון טוקנים ביום הוא נפח של מוצר בקנה מידה, לא של סוכן פנימי.
שימו לב שהחשבון הזה נדיב כלפי צד החומרה. הוא מניח מחיר שמור, כרטיס בודד, ואפס עלות תפעול. שלוש ההנחות האלה נשברות בייצור.
הניצולת היא כל הסיפור
ה-API גובה לפי טוקן. הכרטיס גובה לפי שעה, גם כשאף אחד לא שולח אליו כלום. ההבדל הזה הוא הסיבה שרוב חישובי ה-ROI של הרצה עצמית שגויים.
מודל בסדר גודל של 70 מיליארד פרמטרים בקוונטיזציה, על H100 בודד עם batching יעיל, מגיע לסדר גודל של 3,000 טוקנים בשנייה. בשעת מחיר של 2 דולר, זה מתורגם כך:
| ניצולת ממוצעת | עלות אפקטיבית למיליון טוקנים | מול API של מודל פתוח |
|---|---|---|
| 100% | כ-0.19 דולר | תחרותי |
| 50% | כ-0.37 דולר | שווה או יקר יותר |
| 25% | כ-0.74 דולר | יקר פי שלושה |
| 10% | כ-1.85 דולר | יקר פי שבעה |
ניצולת של 100% אינה קיימת בעולם האמיתי. עומס עסקי הוא מחזורי — שעות עבודה, ימי חול, סופי חודש — ולכן ניצולת ממוצעת של 50 עד 60 אחוז נחשבת טובה מאוד עבור עומס פנימי. מתחת לזה, ההרצה העצמית מפסידה גם מול מודלים פתוחים ב-API וגם מול חלק מהחזית.
מכאן נגזר כלל אצבע פשוט: אם אינכם יכולים להצביע על עומס רציף שממלא את הכרטיס לפחות חצי מהזמן, אתם משלמים על אוויר.
מה לא מופיע בחשבון הזה
מחיר הכרטיס הוא הרכיב היחיד שקל לתמחר, ולכן הוא היחיד שמתומחר. העלות המלאה של הרצה עצמית בייצור נעה בדרך כלל בין פי שלושה לפי חמישה ממנו.
- יתירות. כרטיס אחד הוא נקודת כשל יחידה. סוכן שמשרת לקוחות מחייב לפחות שניים, או מסלול גיבוי ל-API.
- תפעול. שרת inference, ניטור, ניהול תורים, עדכוני דרייברים וקוונטיזציה מחדש בכל שדרוג מודל.
- כוננות. מישהו צריך לענות כשה-GPU נופל בשתיים בלילה. ל-API יש SLA, לכרטיס שלכם יש אתכם.
- תשתית בדיקות. כל החלפת מודל או קוונטיזציה מחייבת הרצה מלאה של סט הבדיקות, כפי שמפורט במדריך ה-evals.
- עלות הזדמנות. מודל שקיבעתם לפני שנה נשאר במקומו בזמן שהחזית מתקדמת.
הארכיטקטורה שכן עובדת: ניתוב לפי משימה
הבחירה אינה בינארית. סוכן עסקי טיפוסי מבצע ערבוב של משימות שונות מאוד באופיין, וההיגיון הכלכלי שונה לכל אחת מהן.
| סוג משימה | מאפיינים | איפה להריץ |
|---|---|---|
| סיווג, תיוג, חילוץ שדות | נפח גבוה, פלט קצר, דורש עקביות | מודל קטן על חומרה שלכם |
| סיכום ושכתוב | נפח בינוני, איכות בינונית מספיקה | API של מודל פתוח |
| תכנון, הסקה, החלטה | נפח נמוך, רגישות גבוהה לאיכות | מודל חזית ב-API |
| מידע רגיש שאסור לצאת | מוגבל רגולטורית | חומרה שלכם, ללא תלות בנפח |
הניתוב הזה נותן את רוב החיסכון בלי רוב הסיכון: המשימות בנפח הגבוה, שהן גם הפשוטות ביותר, יורדות למודל מקומי זול, בעוד ההחלטות הקשות נשארות אצל המודל הטוב ביותר. שיטות נוספות להורדת העלות בשכבת ה-API מפורטות במדריך הורדת עלות ה-inference, ואת קביעת השורה האחרונה בטבלה צריך לגזור מסיווג המידע הארגוני.
שש שאלות לפני שקונים כרטיס
- מה הנפח היומי בטוקנים היום, נמדד ולא משוער, ומה קצב הגידול שלו.
- מול איזה מחיר חלופי אתם משווים — חזית או מודל פתוח. שתי התשובות נותנות מסקנות הפוכות.
- מה הניצולת הצפויה לאורך יממה ולאורך שבוע, כולל שעות שבהן אין תנועה.
- מי בצוות מתחזק את שרת ה-inference, ומה קורה כשהוא בחופשה.
- האם יש מסלול גיבוי ל-API כשהחומרה נופלת, ומי מחליט לעבור אליו.
- האם יש נימוק שאינו עלות. אם אין, ההחלטה כמעט תמיד נשארת ב-API.
ההחלטה הזו נראית תשתיתית אבל היא ארכיטקטונית. היא קובעת אילו חלקים בסוכן יכולים להשתנות ואילו מקובעים, ולכן צריך לקבל אותה מול מפת הרכיבים המלאה שמתוארת באנטומיה של סוכן AI עסקי.
שאלות נפוצות
האם זול יותר להריץ מודל AI על שרת שלנו?
רק בתנאים מסוימים. מול מודל חזית במחיר של כ-10 דולר למיליון טוקנים, נקודת האיזון של כרטיס H100 שמור עומדת על סדר גודל של 5 מיליון טוקנים ביום. מול API של מודל פתוח במחיר של כ-0.25 דולר למיליון, נקודת האיזון קופצת לכ-195 מיליון טוקנים ביום, נפח שרוב הארגונים לא מגיעים אליו.
מה נקודת האיזון בין הרצה עצמית ל-API?
היא נגזרת מחלוקה פשוטה: העלות החודשית של החומרה חלקי המחיר למיליון טוקנים של החלופה. כרטיס בעלות של כ-1,460 דולר לחודש מול API בעלות 10 דולר למיליון מתאזן בכ-146 מיליון טוקנים לחודש. את התוצאה צריך להכפיל בפי שלושה עד חמישה כדי לשקף עלות תפעול מלאה.
למה ניצולת ה-GPU כל כך משמעותית?
מפני שה-API גובה לפי טוקן והכרטיס גובה לפי שעה, גם כשהוא בטל. עומס עסקי מחזורי מייצר ניצולת ממוצעת של 50 עד 60 אחוז במקרה טוב, ולכן העלות האפקטיבית למיליון טוקנים כמעט תמיד כפולה לפחות מהחישוב התיאורטי.
מה הנימוקים הלא-כלכליים להרצה עצמית?
שלושה עיקריים: ריבונות נתונים כשמידע אינו יכול לצאת מהארגון, קיבוע גרסת מודל כדי שסוכן מכויל לא ישתנה בעקבות עדכון של ספק, ולטנציה יציבה במשימות בנפח גבוה. כשאחד מאלה קיים, השאלה הכלכלית משנית.
אפשר לשלב בין השניים?
זו בדרך כלל הארכיטקטורה הנכונה. משימות סיווג וחילוץ בנפח גבוה רצות על מודל קטן מקומי, סיכומים על API של מודל פתוח, והחלטות והסקה על מודל חזית. הניתוב הזה מוריד את רוב העלות בלי לוותר על איכות במקומות שבהם היא קובעת.
