נקודת האישור בסוכן AI לא נקבעת לפי רמת הביטחון של המודל אלא לפי שני משתנים בלבד: כמה הפעולה הפיכה, וכמה נזק היא עושה אם היא שגויה. פעולה בלתי הפיכה עם נזק ממשי — מייל ללקוח, זיכוי כספי, מחיקת רשומה — מחייבת אישור מראש. פעולה הפיכה בעלות נמוכה לא מחייבת אישור אלא דגימה. הכשל הנפוץ אינו חוסר אישורים אלא ההפך: יותר מדי אישורים, שהופכים תוך שבועות לחתימה אוטומטית ומאבדים את כל הערך שלשמו נבנו.
שלוש הטעויות שחוזרות כמעט בכל יישום
הראשונה: אישור על הכול. ארגון שחושש מהסוכן מציב אדם לפני כל פעולה. התוצאה היא שהסוכן לא חוסך זמן אלא מוסיף שלב, והמאשר — שרואה עשרות בקשות דומות ביום — מפסיק לקרוא. האישור נשאר בתרשים הזרימה אבל כבר לא מסנן דבר.
השנייה: אישור לפי ציון ביטחון של המודל. ציון ביטחון מודד עד כמה הפלט נראה סביר למודל, לא עד כמה הוא נכון ולא כמה יעלה אם יתברר כשגוי. סוכן יכול להיות בטוח מאוד בכתובת מייל שהמציא. משתנה שאינו מתואם לנזק אינו יכול לשמש טריגר להחלטה על נזק.
השלישית: אישור בלי סמכות. מאשר שאין לו סמכות לדחות, או שדחייה שלו יוצרת לו עבודה נוספת, יאשר. נקודת אישור שאין מאחוריה סמכות ארגונית אמיתית היא תיעוד, לא בקרה.
המשוואה שקובעת איפה שמים את נקודת האישור
שני משתנים, ארבע משבצות. זו כל התורה, וכל שאר ההחלטות נגזרות ממנה.
| הפיכות הפעולה | נזק נמוך אם שגוי | נזק גבוה אם שגוי |
|---|---|---|
| הפיכה מיידית (טיוטה, תיוג פנימי, סיכום) | ללא אישור, דגימה שבועית | דגימה יומית + לוג מלא |
| הפיכה בעלות (עדכון רשומה, שינוי סטטוס) | אישור בדיעבד עם חלון ביטול | אישור מראש |
| בלתי הפיכה (מייל ללקוח, זיכוי, מחיקה) | אישור מראש | אישור מראש + מאשר שני |
שימו לב מה חסר בטבלה: רמת הביטחון של המודל. היא יכולה לשמש כדי לקבוע כמה קרוב לבדוק בתוך משבצת, אך לעולם לא כדי להזיז פעולה ממשבצת למשבצת. את סיווג הפעולות עצמן צריך לגזור מהרשאות הסוכן, כפי שמפורט במדריך ההרשאות.
ארבעה דפוסי אישור וההבדל התפעולי ביניהם
| דפוס | איך עובד | מתי מתאים |
|---|---|---|
| אישור חוסם | הסוכן עוצר ומחכה לאדם לפני הביצוע | פעולות בלתי הפיכות מול צד שלישי או כסף |
| חלון ביטול | הפעולה מתבצעת אחרי השהיה קצרה שבה אפשר לבטל | פעולות הפיכות בעלות נמוכה עם נפח גבוה |
| דגימה | הכול מתבצע, אחוז קבוע נבדק בדיעבד | פעולות פנימיות בנפח גדול |
| הסלמה לפי חריגה | הסוכן פועל לבד ועוצר רק בתנאים מוגדרים מראש | תהליכים בוגרים עם היסטוריית מדידה |
חלון הביטול הוא הדפוס הכי לא מנוצל ולרוב הכי נכון. הוא שומר על מהירות מלאה בזרימה הרגילה, ומעביר את עלות הבקרה רק למקרים שבהם מישהו באמת שם לב לבעיה. עבור פעולות שאפשר לבטל תוך דקות, הוא נותן כמעט את כל ההגנה של אישור חוסם בלי אף אחת מהעלויות שלו.
הבעיה האמיתית: אישור שהפך לחתימה אוטומטית
ההטיה שמחסלת נקודות אישור מוכרת במחקר כהטיית אוטומציה — הנטייה לקבל פלט של מערכת בלי בדיקה, ולעיתים גם לוותר על שיפוט אנושי נכון לטובת המלצה שגויה. מחקר בתחום הפתולוגיה החישובית מצא שהצגת המלצה שגויה העלתה את שיעור שגיאות הקבלה בכ-66% במשימות פשוטות לעומת קבוצה שלא קיבלה המלצה כלל.
העומס מחריף את ההטיה. בעולם אבטחת המידע, שבו מנגנון ההתרעה והאישור קיים כבר עשורים, דוחות תעשייה מ-2026 מדווחים על כ-3,000 התרעות ביום בארגון ממוצע, כשכ-63% מהן אינן מטופלות כלל וכ-46% מתבררות כהתרעות שווא. זהו בדיוק המסלול שסוכן AI עם יותר מדי נקודות אישור מייצר, רק מהר יותר.
המסקנה התכנונית הפוכה מהאינטואיציה: כדי שאישור יעבוד, צריך פחות אישורים ולא יותר. כל אישור שנוסף מוזיל את הערך של כל האישורים האחרים.
מה חייב להופיע במסך האישור
מאשר שמקבל שאלת כן או לא בלי הקשר יאשר. מסך אישור שעובד מציג חמישה דברים, ובסדר הזה.
- הפעולה המדויקת. לא תיאור כללי אלא הערך הסופי: הכתובת, הסכום, השדה והערך החדש לצד הישן.
- המקור. על סמך איזו רשומה, מסמך או שיחה הוחלט כך, עם קישור ישיר למקור.
- מה נשקל ונדחה. החלופה שהסוכן שקל ולא בחר. זה הפרט שהופך אישור אוטומטי לבדיקה אמיתית.
- עלות הטעות. האם הפעולה הפיכה, ואם כן — תוך כמה זמן ובאיזו עלות.
- דחייה בקליק אחד עם סיבה. הסיבה נשמרת ונכנסת לסט הבדיקות, אחרת אותה טעות תחזור.
הסעיף החמישי הוא ההבדל בין בקרה לבין תיעוד. דחייה שלא חוזרת למערכת היא עבודה שנעשית שוב ושוב על אותה טעות. איך מכניסים דחיות לסט הבדיקות מפורט במדריך ה-evals.
כפתור העצירה אינו נחמדות — הוא דרישה
חוק ה-AI האירופי מגדיר בסעיף 14 פיקוח אנושי כדרישה מבנית למערכות בסיכון גבוה. הנוסח מחייב שאדם יוכל להחליט שלא להשתמש במערכת, להתעלם מהפלט, לבטל אותו או להפוך אותו, וכן לעצור את המערכת באמצעות מנגנון עצירה שמביא אותה למצב בטוח.
שלוש השלכות מעשיות נובעות מכך, גם לארגונים שאינם בסיכון גבוה. ראשית, מנגנון העצירה חייב להיות מיושם ולא רק מתועד. שנית, מישהו צריך לדעת להפעיל אותו בלי להתייעץ. שלישית, הפעלה שלו צריכה להיות מקובלת ארגונית — עצירה שגוררת חקירה פנימית לא תופעל בזמן.
בדיקה פשוטה: בקשו מאדם אקראי בצוות לעצור את הסוכן עכשיו. אם הוא לא יודע איך, או שהוא שואל את מי צריך לעדכן קודם — אין לכם כפתור עצירה.
איך יודעים שנקודת האישור ממוקמת נכון
נקודת אישור היא החלטה תכנונית שצריך למדוד, לא להניח. שלושה מדדים מספיקים.
| מדד | מה הוא אומר | טווח בריא |
|---|---|---|
| שיעור תיקון | באיזו תדירות אדם שינה את מה שהסוכן הציע | לא אפס ולא רוב המקרים |
| זמן החלטה ממוצע | כמה זמן המאשר באמת השקיע | מספיק כדי לקרוא את הפעולה והמקור |
| שיעור הסלמה | כמה פעמים הסוכן עצר מיוזמתו | יציב לאורך זמן |
שיעור תיקון שמתקרב לאפס אומר אחד משניים: או שהסוכן בשל להסרת האישור, או שהאישור כבר לא נבדק. את ההבדל בין השניים אפשר לגלות רק בדגימה עיוורת — לוקחים חמישים פעולות שאושרו ובודקים אותן מחדש. אם הבדיקה החוזרת מוצאת שגיאות שאושרו, הבעיה אינה בסוכן.
נתיב הפעלה מומלץ
- שבועיים ראשונים: הסוכן מציע בלבד, אדם מבצע. אוספים שיעור תיקון אמיתי.
- שיעור התיקון יורד מתחת לרף שהוגדר מראש: עוברים לביצוע עם חלון ביטול על הפעולות ההפיכות בלבד.
- הפעולות הבלתי הפיכות נשארות באישור חוסם עד שיש היסטוריית מדידה של חודש לפחות.
- כל שינוי בפרומפט, בכלים או בגרסת המודל מחזיר את הסוכן שלב אחורה עד להרצת סט הבדיקות.
הרקע המבני — מה בכלל רץ בתוך הסוכן ואיפה נקודת האישור יושבת ביחס ללולאת ההחלטה — מפורט באנטומיה של סוכן AI עסקי.
שאלות נפוצות
איפה שמים נקודת אישור אנושי בסוכן AI?
לפי שני משתנים: הפיכות הפעולה ועוצמת הנזק אם היא שגויה. פעולות בלתי הפיכות עם נזק ממשי מחייבות אישור מראש, פעולות הפיכות בעלות נמוכה מסתפקות בחלון ביטול או בדגימה בדיעבד. רמת הביטחון של המודל אינה משתנה קביל לקביעת נקודת האישור.
למה אישור על כל פעולה דווקא מזיק?
מפני שהוא יוצר עומס שמוביל לאישור אוטומטי. מאשר שרואה עשרות בקשות דומות ביום מפסיק לקרוא אותן, וכל אישור שנוסף מוזיל את הערך של האישורים האחרים. פחות נקודות אישור, ממוקדות בפעולות בלתי הפיכות, מסננות יותר.
מה ההבדל בין אישור חוסם לחלון ביטול?
אישור חוסם עוצר את הסוכן עד להחלטת אדם, ולכן מתאים לפעולות בלתי הפיכות. חלון ביטול מבצע את הפעולה אחרי השהיה קצרה שבה ניתן לבטל, ולכן שומר על מהירות מלאה ומתאים לפעולות הפיכות בנפח גבוה.
איך יודעים שנקודת האישור ממוקמת נכון?
לפי שיעור התיקון. אם כמעט אף אחד לא מתקן, האישור הפך לחתימה אוטומטית או שהוא מיותר. אם מתקנים חלק גדול מהפעולות, הסוכן עדיין לא בשל לרמת האוטונומיה שניתנה לו. גם זמן ההחלטה הממוצע הוא סימן: החלטה שנמשכת שניות בודדות אינה בדיקה.
האם יש דרישה חוקית לפיקוח אנושי?
בחוק ה-AI האירופי, סעיף 14 מחייב מערכות בסיכון גבוה להיות ניתנות לפיקוח אנושי אפקטיבי, כולל יכולת להתעלם מהפלט, לבטל אותו ולעצור את המערכת למצב בטוח. גם מחוץ לתחולה זו, זו אמת מידה תכנונית סבירה לכל סוכן שפועל מול לקוחות או כסף.
