חסימת "בוטים של AI" כקטגוריה אחת היא הטעות היקרה של 2026. מתחת לשם הזה חיות שתי משפחות שונות לחלוטין: זחלני אימון, שמושכים את התוכן שלכם כדי לאמן מודל ולא מחזירים דבר, וזחלני מענה, שנשלחים בזמן אמת כדי לענות לשאלה של משתמש — ומצטטים אתכם בתשובה. הן נושאות user-agent שונה, ולכן ניתן להפריד ביניהן בשלוש שורות ב-robots.txt. לפי דוח Cloudflare מ-1 ביולי 2026, 52% מבקשות הזחילה ברשת הן לצורכי אימון נכון ליוני 2026, לעומת 22% באביב 2025, ולראשונה יותר מ-50% מהתעבורה באינטרנט אינה אנושית. מי שחוסם הכול מוחק את עצמו מהתשובות; מי שלא חוסם כלום משלם רוחב פס עבור אימון שלא יחזור אליו.
שתי משפחות, לא אחת
ההבחנה שקובעת הכול היא לא מי מפעיל את הבוט אלא מתי הוא רץ. זחלן אימון פועל במחזורים משלו, ללא קשר לשום משתמש. הוא אוסף טקסט לקורפוס, והתוכן שלכם נמס לתוך משקלי המודל בלי מקור, בלי קרדיט ובלי קישור. זחלן מענה פועל אחרת לגמרי: משתמש שאל שאלה, המערכת החליטה שהעמוד שלכם רלוונטי, והבקשה נשלחת עכשיו כדי לקרוא אותו ולצטט ממנו — עם שם המותג וקישור חוזר.
שלוש חברות הפרידו את שתי המשפחות מפורשות לשני user-agents נפרדים, וזו בדיוק הנקודה שרוב האתרים מפספסים. OpenAI מפעילה את GPTBot לאימון ואת OAI-SearchBot לאינדוקס של ChatGPT Search. Anthropic מפעילה את ClaudeBot לאימון ואת Claude-SearchBot לאינדוקס. גוגל מפעילה את Google-Extended ככפתור הסתלקות מאימון Gemini — כפתור שאינו זחלן בפני עצמו ואינו משפיע על דירוג בחיפוש.
יש גם שכבה שלישית, פחות מוכרת: הבאה בזמן אמת ביוזמת משתמש. כשמישהו מדביק קישור לתוך ChatGPT ומבקש סיכום, הבקשה יוצאת מ-ChatGPT-User ולא מ-GPTBot. אצל Anthropic זה Claude-User, ואצל Perplexity זה Perplexity-User. הבוטים האלה אינם בונים אינדקס וגם אינם מאמנים — הם עונים לאדם שכבר ביקש אתכם.
הטבלה: מי מי, ומה עולה לחסום
| User-agent | מפעיל | מה הוא עושה | מה קורה אם תחסמו |
|---|---|---|---|
| GPTBot | OpenAI | איסוף לאימון מודלים | לא נפגעת נראות. התוכן פשוט לא ייכנס לאימון. |
| ClaudeBot | Anthropic | איסוף לאימון מודלים | לא נפגעת נראות. |
| Google-Extended | הסתלקות מאימון וביסוס Gemini | אין השפעה על דירוג בחיפוש גוגל. | |
| OAI-SearchBot | OpenAI | אינדוקס עבור חיפוש ב-ChatGPT | נעלמים מתוצאות ומציטוטים ב-ChatGPT. |
| Claude-SearchBot | Anthropic | אינדוקס עבור חיפוש ב-Claude | נעלמים מהציטוטים של Claude. |
| PerplexityBot | Perplexity | אינדוקס עבור מנוע התשובות | נעלמים מהמקורות המצוטטים. |
| ChatGPT-User | OpenAI | הבאה בזמן אמת ביוזמת משתמש | משתמש שביקש במפורש את העמוד שלכם מקבל שגיאה. |
| Claude-User | Anthropic | הבאה בזמן אמת ביוזמת משתמש | אותו נזק, בצד של Claude. |
| Perplexity-User | Perplexity | הבאה בזמן אמת ביוזמת משתמש | אותו נזק, בצד של Perplexity. |
| Googlebot | חיפוש, AI Overviews ו-AI Mode יחד | יציאה מגוגל. אין הפרדה אפשרית. |
Googlebot הוא המקרה שאי אפשר לפצל
גוגל לא מפרידה בין הזחילה שמזינה את תוצאות החיפוש הרגילות לבין זו שמזינה את AI Overviews ואת AI Mode. שתיהן Googlebot, ושתיהן שואבות מאותו אינדקס. חסימה של Googlebot כדי "לא להיכנס ל-AI" פירושה יציאה מגוגל כולה. Google-Extended מטפל רק בשכבה הנפרדת של אימון וביסוס Gemini, ואינו מוציא אתכם מהחיפוש.
המסקנה המעשית פשוטה: לגבי גוגל ההחלטה כבר התקבלה עבורכם. השאלה היחידה שנשארה בידיכם היא איך הדף שלכם נראה כשמערכת מייצרת ממנו תשובה — וזו שאלה של מבנה ותוכן, לא של הרשאות. הפירוט על כך נמצא בפוסט על מדידת נראות במנועי תשובות.
Cloudflare מוסיפה נתון שמסביר למה קשה לסווג בכלל: זחלנים מעורבי-שימוש, שמערבבים חיפוש, שימוש סוכני ואימון באותו user-agent, מהווים יותר מ-36% מפעילות הזחילה ברשת שלהם. במילים אחרות, יותר משליש מהתנועה האוטומטית שמגיעה אליכם לא ניתנת לסיווג נקי לפי מטרה.
מי בכלל מכבד את robots.txt
robots.txt הוא בקשה, לא מנגנון אכיפה. שרת שמקבל בקשה מ-user-agent שהצהיר שהוא מתעלם מהקובץ — עדיין מגיש את התוכן. וזה לא תרחיש תיאורטי: התיעוד הרשמי של OpenAI קובע שעל ChatGPT-User כללי robots.txt עשויים שלא לחול, מכיוון שהבקשה מגיעה בעקבות פעולה מפורשת של משתמש אנושי. התיעוד של Perplexity מנסח את זה דומה לגבי Perplexity-User, ואומר שהוא בדרך כלל אינו נשמע ל-robots.txt מאותה סיבה. Anthropic מצהירה ששלושת הבוטים שלה מכבדים אותו.
ההיגיון מאחורי ההתנהגות הזאת הוא שהבקשה נחשבת פעולה של אדם ולא של זחלן. אפשר להתווכח על ההיגיון, אבל בפועל צריך להתייחס אליו כאל עובדה תפעולית: אם אתם רוצים חסימה שבאמת נאכפת, robots.txt אינו הכלי. הכלי הוא ברמת ה-CDN או חומת האש — Cloudflare, Fastly או כלל WAF שמתייחס ל-user-agent ולטווח ה-IP.
נקודה שקל לפספס: ב-1 ביולי 2025 Cloudflare שינתה את ברירת המחדל לכל דומיין חדש שנפתח אצלה — זחלני אימון חסומים אלא אם בעל הדומיין בוחר אחרת. אם עברתם ל-Cloudflare בשנה האחרונה, ייתכן שאתם כבר חוסמים אימון ולא ידעתם. שווה לבדוק לפני שמחליטים משהו.
יחס הזחילה להפניה — למה זה לא סימטרי
הטענה שהחזרה מהזחילה היא תנועה חוזרת נכונה מבחינה היסטורית ושגויה מבחינה מספרית. בניתוח של Cloudflare מ-28 באוגוסט 2025, יחס הדפים שנזחלו לכל הפניה חוזרת אחת עמד על כ-50,000 לאחת אצל Anthropic, 887 לאחת אצל OpenAI ו-118 לאחת אצל Perplexity. אצל חיפוש גוגל המסורתי היחס הוא מסדר גודל של יחידות בודדות.
מהמספרים האלה לא נובעת מסקנה אחת. הם אומרים שהעסקה הישנה — אתה נותן תוכן, המנוע שולח מבקרים — כבר לא מתארת את מה שקורה בפועל בשכבת האימון. הם לא אומרים שנראות במנועי תשובות חסרת ערך, כי ההפניות שכן מגיעות משם ממירות טוב יותר בממוצע מתנועת חיפוש רגילה: המשתמש הגיע אחרי שהמערכת כבר סיננה עבורו והמליצה עליכם בשמכם.
שלוש עמדות אפשריות, ולמי כל אחת מתאימה
פתוח לגמרי. אין חסימות. מתאים לאתרי שיווק, שירותים מקצועיים ו-B2B שמוכרים באמצעות אמון ומומחיות. התוכן שלכם הוא חומר תמיכה למכירה, לא הנכס עצמו; ככל שיותר מודלים מכירים אתכם, כך גדל הסיכוי שיזכירו אתכם. העלות היחידה היא רוחב פס.
הפרדה סלקטיבית. חוסמים אימון, מאפשרים מענה. מתאים לרוב האתרים שיש להם תוכן מקורי משמעותי: פרסום, מחקר, בסיסי ידע, תיעוד מוצר. אתם משלמים על השכבה שמחזירה אליכם משתמשים ולא על השכבה שלא. זו העמדה שאני ממליץ עליה כברירת מחדל.
חסימה מלאה. חוסמים הכול ואוכפים ברמת ה-CDN. מתאים כשהתוכן הוא המוצר — ארכיונים, מאגרים בתשלום, ספריות תמונות — או כשיש חובה חוזית או רגולטורית. תדעו מראש שאתם מוותרים על נוכחות במנועי תשובות, לא רק על אימון.
קובץ robots.txt לדוגמה — הפרדה סלקטיבית
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml
שלוש הערות על הקובץ הזה. ראשית, בלוקים של user-agent אינם מצטברים: זחלן קורא רק את הבלוק הספציפי ביותר שמתאים לו, ולכן ההגבלות שתחת User-agent: * אינן חלות על מי שיש לו בלוק משלו. שנית, Allow: / מיותר טכנית — היעדר איסור מספיק — אבל הוא מתעד כוונה, וזה שווה משהו כשמישהו אחר יקרא את הקובץ בעוד שנה. שלישית, אין כאן שורה עבור Googlebot, וזה מכוון.
איך לוודא שזה באמת עובד
בודקי robots.txt מראים לכם מה הקובץ אומר, לא מה קורה. האימות היחיד שסופר הוא לוג הגישה של השרת. שלושה דברים שכדאי למדוד אחרי שבועיים:
- האם הזחלנים החסומים באמת נעצרו. סננו את הלוג לפי user-agent וספרו בקשות לפני ואחרי. ירידה חלקית פירושה שהכלל לא נתפס.
- מה קוד התגובה שהזחלנים המורשים מקבלים. כאן מסתתרת התקלה הנפוצה ביותר: חומת אש, תוסף אבטחה או שכבת בוט-מנג'מנט מחזירים 403 או challenge לבוטים לגיטימיים בלי שאף אחד הגדיר זאת. הקובץ מרשה, השרת חוסם.
- מה גודל התגובה. תגובה של 200 עם 4KB במקום 60KB פירושה שהבוט קיבל שלד HTML בלי תוכן — בעיה שונה לגמרי, ואני מפרט אותה בנפרד בפוסט על מה סוכן AI רואה כשהוא מגיע לאתר שלכם.
ולבסוף, נקודה שמייתרת עבודה מיותרת: גוגל פרסמה ב-10 ביולי 2026 עדכון לתיעוד הרשמי שלה שבו נאמר במפורש שחיפוש גוגל אינו משתמש בקבצי llms.txt ומתעלם מהם. אם התוכנית שלכם לניהול בוטים כללה יצירת llms.txt כצעד ראשון, כדאי להזיז אותו לסוף הרשימה. הוא לא מזיק, אבל הוא גם לא עושה את מה שרוב המדריכים מבטיחים.
שאלות נפוצות
אם אחסום את GPTBot, אעלם מ-ChatGPT?
לא. GPTBot אוסף תוכן לאימון מודלים בלבד. את האינדוקס עבור חיפוש ב-ChatGPT מבצע OAI-SearchBot, וזה user-agent נפרד. חסימת GPTBot לבדה מוציאה אתכם מהאימון ומשאירה אתכם בתשובות.
מה ההבדל בין ClaudeBot ל-Claude-User?
ClaudeBot הוא זחלן אימון שרץ במחזורים משלו. Claude-User נשלח בזמן אמת כשמשתמש אנושי ביקש במפורש עמוד מסוים או שיתף קישור. חסימת השני פירושה שמשתמש שכבר מנסה לקרוא אתכם מקבל שגיאה.
האם robots.txt מספיק כדי לחסום באמת?
לא בכל המקרים. התיעוד של OpenAI מציין ש-robots.txt עשוי שלא לחול על ChatGPT-User, ו-Perplexity מציינת ש-Perplexity-User בדרך כלל אינו נשמע לו, מכיוון ששתיהן מגדירות את הבקשה כפעולת משתמש. לחסימה נאכפת צריך כלל ברמת CDN או חומת אש.
האם חסימת Google-Extended תפגע בדירוג שלי בגוגל?
לא. Google-Extended מנהל רק את ההשתתפות באימון ובביסוס של Gemini. הזחילה לצורכי חיפוש נעשית על ידי Googlebot, והיא בלתי מושפעת. את Googlebot עצמו לא ניתן לפצל בין חיפוש רגיל לבין AI Overviews.
כמה מהתעבורה שלי מגיעה בכלל מבוטים?
לפי Cloudflare, ביולי 2026 יותר מ-50% מהתעבורה באינטרנט אינה אנושית, ו-52% מבקשות הזחילה נועדו לאימון נכון ליוני 2026 לעומת 22% באביב 2025. במספרים של אתר בודד השיעור משתנה מאוד לפי הנישה, ולכן שווה למדוד בלוג במקום להניח.
