Pay per crawl הוא הרעיון שגישה של סוכן AI לתוכן היא עסקה ולא זכות. הדף מסביר את שלושת מודלי התמחור, איך נראית עסקה כזו טכנית, ומתי דווקא לא כדאי לגבות.
הדלת הזולה היא דלת המכונות. הגשת עמוד HTML מלא לסורק AI עולה לכם ברוחב פס וברינדור — ועם Pay‑Per‑Crawl של Cloudflare היא עולה כסף גם לסורק. נקודת הקצה המכונתית שלכם עונה על אותה שאלה בכמה מאות בייטים, בחינם. המדריך הזה מסביר איך לתמחר את שתי הדלתות נכון.
דלת בני האדם. עמודים מלאים, סקריפטים, תמונות. יקר להגשה, איטי לפרסור. מאחורי bot management או Pay‑Per‑Crawl: סוכן שמתעקש לגרד — משלם מחיר שוק.
דלת המכונות. /wp-json/ax/v1/*, /llms.txt, /.well-known/ax.json — פתוחים, ללא אתגר וללא חיוב. תשובות שלמות בכמה מאות בייטים. סוכן שלמד AXS מקבל את כל מה שהוא צריך בעלות אפסית.
שימו לב למה שהמבנה הזה אינו: הוא אינו חסימה. חסימה גורפת של סורקי AI מוציאה את המותג מהתשובות שמשתמשים מקבלים, ובטווח הבינוני זו פגיעה בנראות ולא הגנה עליה. המבנה הזה הוא תמחור מובחן: הדרך היקרה נשארת פתוחה במחיר, והדרך הזולה נשארת פתוחה בחינם — כי היא גם זולה יותר לכם.
עמוד HTML טיפוסי באתר וורדפרס מודרני שוקל מאות קילובייטים ודורש עבודת שרת אמיתית — שאילתות, בניית תבנית, לעיתים רינדור. סוכן שמושך אלף עמודים כאלה בחודש צורך רוחב פס ומחזורי מעבד שאתם משלמים עליהם, ובתמורה מפיק מהם את מה שהיה נכנס לכמה פסקאות.
מנגד, מסמך מכונתי שנבנה מראש ונשמר במטמון מוגש כטקסט סטטי. ההפרש בין השניים הוא לא אחוזים — הוא סדרי גודל. וזו בדיוק הסיבה שכדאי לכם שסוכן ילך לדלת הנכונה: לא כדי למנוע ממנו מידע, אלא כדי לתת לו את אותו מידע בעלות שמתקרבת לאפס עבור שני הצדדים.
עיקרון מנחה: אם התשובה שסוכן מחפש מצויה בכמה מאות בייטים, כל בייט מעבר לזה הוא בזבוז — שלכם ושלו. תפקידכם הוא לוודא שהוא יודע איפה נמצאים הבייטים האלה.
Cloudflare הציגה מנגנון שמאפשר לבעל אתר לגבות תשלום מסורקי AI על גישה לתוכן, במקום לבחור בין "פתוח לכולם" ל"חסום לכולם". טכנית מדובר בתגובה מסוג 402 (Payment Required) עבור סורק שלא הסדיר תשלום, וגישה רגילה עבור סורק שהסדיר.
המשמעות עבורכם: לראשונה יש מחיר מפורש לדלת ה‑HTML. וברגע שיש מחיר לדלת אחת, האסימטריה מול הדלת השנייה הופכת לכלי אסטרטגי ולא רק לאופטימיזציה טכנית.
ax.json ו‑llms.txt נטענים ומכילים תוכן אמיתי.Link שהתוסף מוסיף אומרת לכל סוכן, בכל בקשה, איפה נמצא המניפסט. בלי ההכרזה הזו, סוכן שלא מכיר אתכם ינחש — ובדרך כלל ינחש "לגרד את העמוד"./.well-known/*, /llms.txt ו‑/wp-json/ax/v1/* פתוחים וללא אתגר. זו הטעות הנפוצה: מפעילים הגנה גורפת, וסוגרים בטעות גם את הדלת שרציתם שייכנסו דרכה.| מדד | מה מצופה |
|---|---|
| יחס גילוי מול גרידה | עלייה בשיעור הסוכנים ששולפים את מסמכי הגילוי במקום עמודי HTML. |
| רוחב פס לסורקים | ירידה, לעיתים משמעותית, בלי ירידה במספר הסוכנים הייחודיים. |
| הופעות בתשובות AI | אמור להישאר יציב או להשתפר. ירידה חדה היא סימן שסגרתם בטעות גם את הדלת הזולה. |
| שגיאות 402/403 בלוג | מיפוי מי מנסה לגרד ומי כבר למד ללכת לנתיב הנכון. |
הנתונים לשתי השורות הראשונות מגיעים ישירות מלוח הבקרה של התוסף. השורה השלישית נמדדת ידנית — שאלו כמה שאלות טיפוסיות על התחום שלכם בכמה מנועי תשובות, פעם בחודש, ותעדו אם אתם מצוטטים.
אם האתר קטן, התנועה הכוללת נמוכה ועלות רוחב הפס זניחה — התמחור לא ישנה לכם דבר כלכלית. במקרה כזה עדיין כדאי להקים את הדלת הזולה, אבל מסיבה אחרת לגמרי: כדי שסוכן יקבל תיאור מדויק שלכם במקום לנחש מתוך HTML. הערך כאן הוא בדיוק הייצוג, לא בחיסכון.
לפי בקשה. תעריף קבוע לכל אחזור עמוד. פשוט להבנה, קל למדידה, ומתאים לתוכן שערכו אחיד — מאגר, קטלוג, ארכיון. החיסרון: הוא מתמחר עמוד שולי ועמוד מרכזי באותו מחיר.
לפי מנוי. תשלום תקופתי שפותח גישה רחבה. מתאים כשהצד השני הוא ספק מנוע תשובות גדול שסורק בקביעות, ומייצר הכנסה צפויה. החיסרון: הוא מחייב מערכת יחסים מוסדרת, ולכן לא רלוונטי לרוב האתרים.
לפי ערך. תמחור דיפרנציאלי: תקציר חינם, המסמך המלא בתשלום. זה המודל שהכי מתיישב עם האינטרס של רוב בעלי האתרים, כי הוא שומר על נראות — הסוכן עדיין יכול לצטט אתכם — ובכל זאת מתמחר את העומק.
מבחינה טכנית, המנגנון נשען על קוד סטטוס HTTP שמסמן "נדרש תשלום" יחד עם מטא־מידע שמסביר לסוכן מה המחיר ואיך לשלם. הסוכן, אם יש לו הרשאה תקציבית, מבצע את התשלום ומקבל אסימון גישה; אם אין לו — הוא מקבל את הגרסה החינמית או פורש. הנקודה החשובה היא שהכול חייב להיות קריא למכונה: מחיר בטקסט שיווקי אינו מחיר.
הפער בין הרעיון לבין המציאות עדיין גדול. רוב הסוכנים היום לא יודעים לשלם, ורוב האתרים לא יודעים לגבות. אבל השכבה הזו נבנית, והאתרים שכבר מפרסמים מדיניות גישה מפורשת יהיו הראשונים שיוכלו להשתמש בה.
אם המודל העסקי שלכם מבוסס על נראות — סוכנות, יועץ, מוצר SaaS — גביית תשלום על סריקה עלולה לעלות לכם יותר ממה שהיא מכניסה. ציטוט במנוע תשובות הוא ערוץ הפצה, לא גניבה. הכלל המעשי: גבו על תוכן שהוא המוצר, ותנו בחינם תוכן שהוא השיווק.
גם כשמחליטים לא לגבות, כדאי להגדיר מדיניות מפורשת. ההבדל בין "מותר לכולם" מוצהר לבין היעדר מדיניות הוא ההבדל בין החלטה לבין מחדל — והוא מה שיאפשר לכם לשנות עמדה בעתיד בלי לשבור כלום.
גבייה על גישה אינה החלטה טכנית בלבד. לפני שמפעילים אותה צריך שיהיו במקום שלושה דברים: תנאי שימוש שמגדירים במפורש מה מותר לעשות עם התוכן, מנגנון זיהוי שמבדיל בין סוכן משלם לסוכן אנונימי, ומסלול ברור שבו צד שמעוניין לשלם יכול להתחיל לשלם בלי לדבר עם אדם. בהיעדר אחד מהשלושה, התוצאה בפועל היא חסימה – לא הכנסה.
שאלה נוספת שכדאי להכריע מראש היא מה קורה לתוכן שכבר נסרק. גבייה עתידית אינה משנה את מה שכבר נלמד, ולכן אתרים שכל הערך שלהם נמצא בארכיון ישן ימצאו שהמודל מגן עליהם פחות ממה שציפו. המקרים שבהם הגבייה עובדת טוב הם דווקא אלה שבהם הערך נמצא בעדכניות: נתונים משתנים, מלאי, מחירים או תוכן שמתפרסם בקצב קבוע.
חשוב להפריד בין סוכני AI שמושכים תוכן לצריכה מיידית לבין סורקים של מנועי חיפוש שמפנים אליכם תנועה. חסימה גורפת שלא מבחינה ביניהם עלולה לפגוע בנראות האורגנית שבניתם לאורך שנים. הכלל המעשי הוא להגדיר מדיניות לפי מטרת השימוש ולא לפי הטכנולוגיה, ולשמור על גישה חופשית לכל מי שמחזיר תנועה או ייחוס גלוי לאתר.
לא חייבים להחליט בין גישה חופשית לגבייה מלאה. הצעד הראשון הסביר הוא מדידה בלבד – להבין מי מגיע, לאילו עמודים, ובאיזה נפח. אחרי חודש או שניים של נתונים אפשר לבחור נתיב אחד ומצומצם, בדרך כלל האזור היקר ביותר באתר, ולהחיל עליו מדיניות. אם ההכנסה אינה מגיעה או שהעלות התפעולית גבוהה מהתועלת, אפשר לחזור אחורה בלי נזק. הדרך שכן גורמת נזק היא ההפוכה: חסימה גורפת שמופעלת לפני שיש נתונים, ומורידה נראות שלקח שנים לבנות.