רוב מה שנכתב על "להכין את האתר לסוכני AI" מדבר על קבצים שאף ספק לא מתעד שהוא קורא. בדקתי את התיעוד הרשמי של OpenAI, Anthropic, Perplexity, גוגל ומיקרוסופט. התוצאה: llms.txt — אף אחת מהחברות לא מתעדת שהיא קוראת אותו מאתרים חיצוניים, וגוגל מציינת מפורשות שהחיפוש שלה מתעלם ממנו. sitemap.xml — לא מוזכר באף אחד משלושת מסמכי הבוטים. סכמת schema.org — גוגל כותבת שהיא אינה נדרשת לפיצ'רים הגנרטיביים. וב-registry של IANA, מתוך 152 רשומות, אין רישום ל-mcp, ל-ai או ל-agent. מה שכן קיים — ומה שכן שווה לעשות — נמצא למטה.
הרשימה הקצרה של מה שבאמת מתועד
יש הבדל בין קובץ שקיים לבין קובץ שמישהו קורא. כמעט כל המדריכים בנושא מערבבים בין השניים, ולכן בניתי טבלה שמפרידה במפורש בין "קיים כרעיון" לבין "יש תיעוד רשמי של ספק שקורא אותו".
| מנגנון | מה מתועד רשמית | שווה להשקיע? |
|---|---|---|
| robots.txt | OpenAI, Anthropic ו-Perplexity מתעדות במפורש שהן קוראות אותו (עם הסתייגויות לגבי fetch יזום־משתמש) | כן. זה המנגנון היחיד שכל הספקים מתעדים |
| schema.org / JSON-LD | גוגל: לא נדרש לפיצ'רים גנרטיביים, אך מסייע לזכאות ל-rich results | כן, אבל מסיבות SEO קלאסיות |
| sitemap.xml | לא מוזכר באף אחד ממסמכי הבוטים של OpenAI, Anthropic או Perplexity | כן לגוגל. לא כאמצעי "הכנה ל-AI" |
| llms.txt | אף ספק לא מתעד שהוא קורא אותו. גוגל מציינת שהחיפוש מתעלם ממנו | לא. לא מזיק, אבל לא עושה מה שמבטיחים |
| /.well-known/ ל-AI | רשום ב-IANA רק agent-card.json (פרוטוקול A2A). אין רישום ל-mcp/ai/agent | רלוונטי רק אם אתם מפעילים סוכן A2A |
| IndexNow | מיקרוסופט מציינת שהוא שומר על טריות תוכן בחוויות חיפוש ו-AI | כן, אם יש לכם תוכן שמתעדכן |
llms.txt: כולם מפרסמים, אף אחד לא מתעד שהוא קורא
הקובץ הזה הוא הצעה של ג'רמי הווארד שפורסמה ב-3 בספטמבר 2024, עודכנה לגרסה 2 ב-10 באוגוסט 2026, ומוגדרת באתר הרשמי שלה כ"הצעה לתקינה". היא אינה על מסלול תקינה של IETF, W3C או WHATWG — חיפוש ב-Datatracker של IETF לא מחזיר טיוטה רלוונטית. גם האתר של ההצעה עצמו מציין את RFC 8615 כחלופה שנשקלה ולא נבחרה.
הבלבול המרכזי שאני נתקל בו הוא זה: OpenAI, Anthropic ו-Perplexity אכן מפרסמות קובץ llms.txt לתיעוד המפתחים שלהן. זה עובדתי וקל לבדוק. אבל לפרסם קובץ ולקרוא קבצים של אחרים הן שתי פעולות שונות לגמרי, ואף אחת מהחברות לא מתעדת את השנייה. קראתי את עמודי הזחלנים הרשמיים של שלושתן; המילה llms.txt לא מופיעה בהם.
גוגל היא היחידה שהתייחסה לזה מפורשות. במדריך האופטימיזציה שלה לפיצ'רים גנרטיביים, בעמוד שעודכן ב-10 ביולי 2026, יש סעיף בשם "ניפוץ מיתוסים" שכולל בפירוש את llms.txt, בנימוק ש"החיפוש של גוגל עצמו לא משתמש בהם". באותו סעיף גוגל מוסיפה שיצירת הקובץ "לא תזיק ולא תעזור" לנראות או לדירוג.
איך להתייחס לזה בפועל: אם כבר יצרתם llms.txt — אל תמחקו, הוא לא מזיק. אם עוד לא — אל תשימו אותו בראש הרשימה. הוא עשוי להפוך לרלוונטי אם ספק כלשהו יתעד תמיכה, אבל נכון להיום אין מקור ראשוני אחד שתומך בהבטחה שהוא משפר נראות.
schema.org: לא נדרשת, ועדיין שווה
זו הנקודה שהכי מפתיעה אנשים. באותו מדריך של גוגל מ-10 ביולי 2026 יש סעיף שלם שנקרא "התמקדות יתר בנתונים מובנים", והוא קובע שנתונים מובנים אינם נדרשים לחיפוש גנרטיבי ושאין סימון schema.org מיוחד שצריך להוסיף. בעמוד המקביל על פיצ'רים מבוססי AI, שעודכן ב-10 בדצמבר 2025, מופיעה אותה קביעה בניסוח אחר: אין צורך ליצור קבצים חדשים קריאים־למכונה או סימון ייעודי.
ובכל זאת גוגל ממליצה להמשיך להשתמש בנתונים מובנים — לא בגלל ה-AI, אלא בגלל זכאות ל-rich results, שהיא סיבה מצוינת בפני עצמה. ההמלצה הנוספת שכן רלוונטית ישירות היא לוודא שהנתונים המובנים תואמים לטקסט הנראה בדף. סכמה שמצהירה על משהו שלא כתוב בדף היא בעיה, לא יתרון.
המסקנה המעשית: אם יש לכם סכמה תקינה — מצוין, השאירו. אם אין — הוסיפו אותה כי היא עוזרת ל-rich results, לא כי מישהו הבטיח שהיא מכניסה אתכם לתשובות של ChatGPT.
sitemap.xml: ההנחה שאין לה מקור
"תגישו sitemap כדי שזחלני ה-AI ימצאו אתכם" היא אחת ההמלצות הנפוצות ביותר, ולא מצאתי לה שום מקור ראשוני. עמוד הבוטים של OpenAI מדבר על robots.txt ורשימות IP בלבד. מאמר הזחלן של Anthropic מדבר על robots.txt ועל Crawl-delay. עמוד הזחלנים של Perplexity לא מזכיר sitemap כלל.
זה לא אומר שהם לא קוראים sitemap — זה אומר שאיש לא הבטיח שכן. ההבחנה הזאת חשובה, כי היא קובעת כמה משאבים שווה להשקיע. sitemap.xml הוא חובה בסיסית לגוגל, ולכן ממילא צריך שיהיה לכם אחד תקין. אבל אם אתם בונים תוכנית עבודה שלמה סביב sitemap כ"תשתית לסוכני AI", אתם בונים על הנחה שאף אחד לא אישר.
/.well-known/ — מה באמת רשום, ומה לא
ה-registry של IANA לכתובות well-known הוא המקור היחיד שקובע מה קיים. נכון לעדכון האחרון שלו, ב-19 באוגוסט 2026, יש בו 152 רשומות. מה שרלוונטי לעולם הסוכנים:
- agent-card.json — רשום, קבוע, בשליטת Linux Foundation, מפנה למפרט של פרוטוקול A2A. זו הרשומה היחידה שנוגעת ישירות לסוכנים.
- oauth-protected-resource (RFC 9728) ו-oauth-authorization-server (RFC 8414) — רשומים, ורלוונטיים כי MCP נשען עליהם לשכבת ההרשאה.
- mcp, ai, agent, ai-plugin, llm — אינם רשומים.
ולעניין /.well-known/ai-plugin.json של תוספי ChatGPT: המנגנון הזה כבר לא בתמונה. עמוד התיעוד המקורי מפנה היום לעמוד שאינו קיים, והמנגנון שהחליף אותו הוא שרתי MCP ו-Apps SDK — בלי אף נתיב well-known.
MCP לא ניתן לגילוי מהאתר — עדיין
זו הנקודה שהכי חשוב להבין למי שמתכנן קדימה. גרסת המפרט הנוכחית של Model Context Protocol היא 2026-07-28, ואין בה מנגנון שמאפשר לגלות שרת MCP מתוך אתר אינטרנט. מה שכן קיים הוא server/discover, ששואל שרת אילו גרסאות פרוטוקול הוא תומך — כלומר מנגנון שמניח שכבר ידועה לכם כתובת השרת. ה-well-known היחיד שמופיע במפרט הוא זה של OAuth, וגם הוא נכנס לתמונה רק אחרי הגילוי.
המשמעות בפועל היא שבין "האתר שלי קריא לסוכן" לבין "הסוכן יכול לגלות מה האתר שלי מאפשר לו לעשות" יש פער תשתיתי פתוח. זו בדיוק הסיבה שאני עובד על מפרט AX — שכבת גילוי אחידה שמאפשרת לאתר להצהיר מה הוא מציע לסוכן. אבל כל עוד אין תקן מוסכם, ההמלצה הכנה היא לא להמציא נתיב פרטי ולקוות שמישהו יקרא אותו.
IndexNow: החריג של מיקרוסופט
הדבר היחיד שספק גדול כן ממליץ עליו במפורש בהקשר של AI הוא IndexNow. בפוסט של Bing Webmaster מ-10 בפברואר 2026, שהציג את דוח הביצועים החדש ל-AI, יש סעיף ייעודי שמסביר ש-IndexNow מסייע לשמור על טריות מידע בחוויות חיפוש ו-AI. הפרוטוקול עצמו פתוח וחינמי, והמימוש הוא קריאת HTTP אחת לכל כתובת שהתעדכנה.
שווה לציין הבחנה: מסמכי המפתחים של Bing לא מזכירים llms.txt בכלל. ההמלצות על סכמה בהקשר של תשובות AI מופיעות בבלוג של Microsoft Advertising, שהוא בלוג שיווקי ולא תיעוד טכני — משקל ראייתי שונה.
סדר עדיפויות מעשי
שלוש שורות שיגידו לכם מה האתר שלכם כבר חושף היום:
for f in robots.txt sitemap.xml llms.txt .well-known/security.txt; do
printf "%-28s " "$f"
curl -sI "https://example.com/$f" | head -1
done
# Does the page carry structured data at all?
curl -s https://example.com/page/ | grep -c 'application/ld+json'
ואחרי הבדיקה, זה הסדר שאני ממליץ עליו. ראשית robots.txt נכון, שמפריד בין זחלני אימון לזחלני מענה — פירקתי את זה במפת הבוטים של 2026. שנית, לוודא שהתוכן בכלל מגיע ל-HTML הראשוני, כי בלי זה כל השאר לא רלוונטי — הבדיקה נמצאת במה סוכן AI באמת מקבל. שלישית, סכמה תקינה שתואמת לטקסט הנראה. רביעית, IndexNow אם התוכן מתעדכן. וחמישית, ורק חמישית, llms.txt — אם נשאר זמן.
מה שמעניין בסדר הזה הוא שהוא כמעט זהה לסדר של SEO טכני קלאסי. וזה לא במקרה: נכון להיום, רוב מה שהופך אתר לקריא לסוכן הוא אותם דברים שהופכים אותו לקריא למנוע חיפוש. הקבצים המיוחדים הם ההבטחה; היסודות הם מה שעובד.
שאלות נפוצות
האם כדאי ליצור קובץ llms.txt?
הוא לא מזיק, אבל אין מקור ראשוני שתומך בטענה שהוא משפר נראות. אף אחת מהחברות המרכזיות לא מתעדת שהיא קוראת אותו מאתרים חיצוניים, וגוגל מציינת מפורשות שהחיפוש שלה מתעלם ממנו. אם יש לכם זמן פנוי — כן. אם צריך לבחור — יש דברים חשובים יותר.
למה OpenAI ו-Anthropic מפרסמות llms.txt משלהן?
כדי שסוכנים שקוראים את התיעוד שלהן יוכלו לנווט בו. פרסום קובץ אינו התחייבות לקרוא קבצים כאלה מאתרים אחרים, ואף אחת מהן לא מתעדת את הצד השני.
האם צריך schema.org כדי להופיע בתשובות AI של גוגל?
לא. גוגל כותבת שנתונים מובנים אינם נדרשים לחיפוש גנרטיבי ושאין סימון schema.org מיוחד להוסיף. היא כן ממליצה להמשיך להשתמש בהם לצורך זכאות ל-rich results, ולוודא שהם תואמים לטקסט הנראה בדף.
האם יש נתיב well-known לגילוי שרת MCP?
לא. ב-registry של IANA אין רישום ל-mcp, ובמפרט MCP בגרסת 2026-07-28 אין מנגנון גילוי מאתר אינטרנט. ה-well-known היחיד במפרט הוא של OAuth, והוא נכנס לתמונה רק אחרי שכתובת השרת כבר ידועה. הרשומה היחידה בעולם הסוכנים היא agent-card.json של פרוטוקול A2A.
מה כן שווה לעשות היום?
robots.txt שמפריד בין זחלני אימון לזחלני מענה, תוכן שקיים ב-HTML הראשוני, סכמה תקינה שתואמת לטקסט הנראה, ו-IndexNow אם התוכן מתעדכן. אלה ארבעת הדברים שיש להם מקור רשמי.
