מפקד הסוכנים הוא מדידה מתמשכת של תנועת סוכני AI לאתרים: מי סורק, באיזו תדירות, מה הוא מקבל בפועל, וכמה מהאתרים בכלל מפרסמים שכבת גילוי שסוכן יכול לקרוא.
אף אחד לא באמת יודע איזה חלק מהאינטרנט נקרא היום על ידי מכונות. כל מספר שראיתם הופק על ידי חברה שמוכרת משהו שצמוד לתשובה. מפקד הסוכנים סופר את זה בגלוי, ומחלק את הספירה בחינם.
קראתם את הכותרת: חלק גדול מתנועת האינטרנט הוא כבר AI. השבר תמיד שונה, תמיד עולה, ותמיד מתפרסם על ידי ספק שהמוצר שלו נעשה הכרחי יותר ככל שהמספר גדול יותר. זה לבדו עוד לא הופך אותו לשקרי. מה שהופך אותו לחסר תועלת הוא שהמכנה לעולם לא מוצג.
רשת CDN סופרת בקשות שהיא מסיימת. ספק bot management סופר את מה שהמסווג שלו סימן. מנתח לוגים סופר מחרוזות user‑agent — שהן טענה, לא עובדה. כל אחד מהמספרים האלה נכון לגבי הדבר שנמדד, ושקרי לגבי הדבר שאתם חושבים שהוא אומר. לפער הזה יש שם בפרויקט הזה: המספר הלא‑ישר.
זו הסיבה שהתוסף קיים מלכתחילה, ותהיה זו טיפשות יוצאת דופן להילחם בו באמצעות סטטיסטיקה משלנו שאיש לא יכול לבדוק. לכן הכלל היחיד של המפקד הוא זה: לכל מספר יש מכנה, והמכנה מוצג לפני המספר.
שלוש שאלות שכדאי לשאול על כל סטטיסטיקת "אחוז תנועת AI" שאתם קוראים: מהו המכנה — בקשות, מבקרים ייחודיים או ביקורי עמוד? מי סיווג את הבקשה כ‑AI, ולפי מה? ומי מרוויח אם המספר גדול?
כל אתר שמריץ את AX Protocol כבר מודד את תנועת הסוכנים שלו: אילו מכונות הגיעו, אילו מהן הצהירו על זהות, ואילו מהן שלפו את מסמכי הגילוי במקום את העמודים עצמם. המפקד אינו אלא הספירות המקומיות האלה, מדווחות שבועית, בהצטרפות מרצון, ומחוברות יחד.
אלה ספירות בלבד. אין תוכן עמודים, אין נתוני מבקרים, אין כתובות IP, ואין שום דבר שיאפשר להפוך את הסכום המצרפי בחזרה לאתר מזוהה. אתר שבחר לא להשתתף לא שולח דבר, וההשתתפות אינה משנה שום יכולת אחרת של התוסף.
| מדד | מה הוא אומר |
|---|---|
| בקשות לפי סוכן | כמה בקשות הגיעו מכל משפחת סוכנים מוכרת, פר אתר משתתף, פר שבוע. |
| שיעור הצהרת זהות | איזה חלק מהבקשות הגיע עם זהות שניתן לאמת, לעומת מחרוזת user‑agent בלבד. |
| גילוי מול גרידה | האם הסוכן שלף את מסמכי הגילוי הזולים, או משך עמודי HTML מלאים. |
| מספר האתרים המשתתפים | המכנה. מוצג תמיד, לצד כל מספר. |
שימו לב לשורה השלישית, כי היא המעניינת ביותר לטווח ארוך. היחס בין גילוי לגרידה הוא מדד ההתבגרות של הרשת: ככל שיותר סוכנים לומדים לבקש את המסמך הנכון במקום למשוך את כל העמוד, כך התשתית כולה נעשית זולה יותר לשני הצדדים.
מדד תשתית שנמצא בבעלות ספק אחד הוא מדד שאפשר לכוון. אנחנו מפרסמים את הספירות, את המתודולוגיה ואת המכנה, כדי שכל אחד יוכל לחזור על החישוב או לחלוק עליו עם נתונים ולא עם תחושה. אם המסקנות שלנו שגויות, עדיף שמישהו יראה זאת מהנתונים.
יש לזה גם ערך פרקטי עבור בעל אתר בישראל. עד היום, כשמנהל שיווק נשאל "כמה מהתוכן שלנו נצרך על ידי מודלים?", התשובה הייתה ניחוש שנשען על מחקר של ספק אמריקאי על מדגם שאינו דומה לאתר שלו. ספירה פתוחה, עם מכנה גלוי, מאפשרת לפחות להשוות תפוח לתפוח.
אפשר לבטל את ההשתתפות בכל רגע, ומאותו רגע לא נשלח דבר. הנתונים ההיסטוריים שלכם נשארים אצלכם בכל מקרה — הם נשמרים בבסיס הנתונים של האתר, לא אצלנו.
סוכן מזוהה לפי שילוב של מחרוזת ה‑user‑agent וההתנהגות בפועל — אילו נתיבים נשלפו ובאיזה סדר. בקשה שאינה ניתנת לסיווג נספרת בקטגוריה נפרדת ולא מוטמעת בשקט באחת הקטגוריות המוכרות. זה מנפח את קטגוריית "לא ידוע", וזה בסדר: עדיף מכנה כן על פני מונה מנופח.
הדיווח מסונכרן לשבוע קלנדרי, כדי שאתרים בעלי דפוסי תנועה שונים ייספרו על אותו חלון זמן. אתר שפספס שבוע אינו מושלם רטרואקטיבית — הפער מוצג ולא מוחלק.
מדידת תנועת בוטים היא בעיה מתודולוגית לפני שהיא בעיה טכנית. חלק גדול מהתנועה שמזוהה כ"סוכן AI" היא בכלל כלי ניטור, סורקי SEO או בוטים שמתחזים ל-user-agent מוכר. לכן מדידה רצינית לא מסתפקת במחרוזת ה-user-agent אלא מצליבה אותה עם טווחי כתובות IP מפורסמים, עם בדיקת DNS הפוכה, ועם דפוס ההתנהגות: קצב הבקשות, האם הבוט מושך נכסים סטטיים, והאם הוא מכבד את robots.txt.
ההפרדה החשובה ביותר היא בין בוט אימון — שאוסף תוכן לאימון מודל — לבין בוט אחזור, שמגיע בזמן אמת כי משתמש שאל שאלה ומנוע התשובות צריך מקור לצטט. השני הוא תנועה בעלת ערך מסחרי ישיר; הראשון הוא שאלת מדיניות. אתר שמודד את שניהם יחד לא יכול לקבל שום החלטה נבונה.
שלוש שאלות שהמפקד עונה עליהן ושקשה לענות עליהן מתוך אתר בודד: כמה אתרים מפרסמים בכלל שכבת גילוי קריאה לסוכן, מה שיעור האתרים שמגישים את התוכן המרכזי ב-HTML לעומת אלה שמסתמכים על רינדור בדפדפן, וכמה מהאתרים חוסמים בפועל את בוטי האחזור בלי להתכוון לכך.
הממצא שחוזר הכי הרבה הוא הפער בין כוונה לביצוע: בעלי אתרים מדווחים שהם רוצים להופיע במנועי תשובות, ובו בזמן מפעילים חסימה גורפת שמונעת בדיוק את זה. הפער הזה כמעט תמיד נובע מהעתקת שורות robots.txt ממדריך ישן.
חשוב לומר מה המפקד לא יודע. הוא לא רואה מה קורה בתוך המודל: אי אפשר לדעת מלוג שרת האם התוכן שנסרק אכן שימש בתשובה שהוצגה למשתמש. הוא לא רואה סוכנים שרצים דרך דפדפן של משתמש אמיתי, כי אלה נראים כמו גלישה רגילה. והוא מוטה לטובת אתרים שמאפשרים מדידה מלכתחילה.
לכן המספרים במפקד נכונים כמגמה ולא כמדד מוחלט. השימוש הנכון בהם הוא השוואתי: לראות אם האתר שלכם חריג ביחס לקטגוריה שלו, ולא לגזור מהם תחזית מדויקת.
כלי אנליטיקה מבוססי JavaScript נבנו כדי למדוד בני אדם. הם מופעלים רק כשדפדפן מריץ סקריפט, ולכן סוכן שמושך את ה-HTML הגולמי פשוט לא קיים מבחינתם. זו הסיבה שאתרים רבים משוכנעים שאין להם תנועת סוכנים כלל – הם מודדים בכלי שאינו מסוגל לראות אותה. המפקד מסתמך על יומני שרת, שרושמים כל בקשה בלי קשר לשאלה אם הורץ קוד בצד הלקוח, ולכן הוא מגיע למספרים שונים לחלוטין.
ההבדל הזה גם מסביר למה אי אפשר להשוות ישירות בין שני המקורות. אנליטיקה סופרת ביקורים, יומן שרת סופר בקשות, ובקשה אחת של סוכן עשויה לכסות עשרות עמודים בזמן שביקור אנושי אחד מייצר עשרות בקשות לתמונות ולקבצי עיצוב. כשמדווחים על נתוני מפקד חשוב לומר במפורש מה נספר, אחרת המספר נשמע מרשים בלי שיהיה לו מובן.
מפקד שאינו מוביל לשינוי הוא רק עוד דוח. השימוש המעשי בנתונים הוא לזהות פערים: עמודים שסוכנים מבקשים שוב ושוב ואינם מקבלים בהם תשובה מלאה, עמודים חשובים שאף סוכן לא הגיע אליהם, ונתיבים שנסרקים בתדירות גבוהה בלי שיש בהם ערך. כל אחד מהשלושה מצביע על פעולה אחרת – הרחבת תוכן, שיפור גילוי, או חסימה מכוונת כדי לחסוך משאבי שרת.
מדידה יומית של תנועת סוכנים כמעט תמיד מייצרת רעש. הקצב שמתאים לרוב האתרים הוא חודשי, עם השוואה רבעונית שמראה מגמה. מדידה תכופה מדי גורמת להסיק מסקנות מקפיצות אקראיות – סוכן אחד שהריץ סריקה מלאה יכול להכפיל את המספרים ליום אחד בלי שקרה שום דבר מהותי. אם אתם רוצים בכל זאת חיווי שוטף, עקבו אחרי שיעור השגיאות ולא אחרי נפח הבקשות: עלייה בקודי שגיאה היא סימן לתקלה אמיתית, בעוד שתנודות בנפח הן לרוב רק שינוי בהתנהגות של סוכן בודד.
