خريطة الروبوتات لعام 2026: من يزحف إلى موقعك وما الذي يُسمح بحجبه

حجب «روبوتات الذكاء الاصطناعي» بوصفها فئة واحدة هو الخطأ المكلف لعام 2026. تحت هذا الاسم تعيش عائلتان مختلفتان تمامًا: زواحف التدريب، التي تسحب محتواك لتدريب نموذج ولا تعيد لك شيئًا، وزواحف الإجابة، التي تُرسَل في الزمن الحقيقي للإجابة عن سؤال مستخدم — وتستشهد بك في الإجابة. لكل عائلة user-agent مختلف، ولذلك يمكن الفصل بينهما بثلاثة أسطر في robots.txt. ووفق تقرير Cloudflare الصادر في 1 يوليو 2026، بلغت نسبة طلبات الزحف الموجّهة للتدريب 52% حتى يونيو 2026، مقابل 22% في ربيع 2025، ولأول مرة تجاوزت حركة الإنترنت غير البشرية 50%. من يحجب كل شيء يمحو نفسه من الإجابات؛ ومن لا يحجب شيئًا يدفع عرض النطاق مقابل تدريب لن يعود إليه.

عائلتان، لا عائلة واحدة

الفارق الحاسم ليس مَن يشغّل الروبوت بل متى يعمل. زاحف التدريب يعمل بدوراته الخاصة، دون ارتباط بأي مستخدم. يجمع النص لبناء متن لغوي، فيذوب محتواك داخل أوزان النموذج بلا مصدر ولا نسبة ولا رابط. أما زاحف الإجابة فيعمل بطريقة مختلفة تمامًا: مستخدم طرح سؤالًا، وقرر النظام أن صفحتك ذات صلة، فأُرسل الطلب الآن لقراءتها والاقتباس منها — باسم علامتك التجارية ومع رابط عائد.

ثلاث شركات فصلت العائلتين صراحةً إلى user-agents منفصلين، وهذه بالضبط النقطة التي تغفلها معظم المواقع. تشغّل OpenAI روبوت GPTBot للتدريب وOAI-SearchBot لفهرسة ChatGPT Search. وتشغّل Anthropic روبوت ClaudeBot للتدريب وClaude-SearchBot للفهرسة. أما Google فتشغّل Google-Extended كزر انسحاب من تدريب Gemini — وهو ليس زاحفًا بحد ذاته ولا يؤثر على الترتيب في البحث.

وهناك طبقة ثالثة أقل شهرة: الجلب الفوري بمبادرة من المستخدم. حين يلصق أحدهم رابطًا داخل ChatGPT ويطلب تلخيصه، يخرج الطلب من ChatGPT-User لا من GPTBot. وعند Anthropic هو Claude-User، وعند Perplexity هو Perplexity-User. هذه الروبوتات لا تبني فهرسًا ولا تدرّب — إنها تجيب إنسانًا طلبك بالفعل.

الجدول: من هو مَن، وما ثمن الحجب

Googlebot هو الحالة التي لا يمكن تقسيمها

لا تفصل Google بين الزحف الذي يغذّي نتائج البحث العادية وذلك الذي يغذّي AI Overviews وAI Mode. كلاهما Googlebot، وكلاهما يسحب من الفهرس نفسه. حجب Googlebot بهدف «عدم الدخول إلى الذكاء الاصطناعي» يعني الخروج من Google كلها. أما Google-Extended فيتعامل فقط مع الطبقة المنفصلة الخاصة بتدريب Gemini وترسيخه، ولا يُخرجك من البحث.

الخلاصة العملية بسيطة: فيما يخص Google، القرار اتُّخذ نيابةً عنك سلفًا. السؤال الوحيد الذي بقي بيدك هو كيف تبدو صفحتك حين يولّد نظامٌ إجابةً منها — وهذه مسألة بنية ومحتوى، لا مسألة أذونات.

وتضيف Cloudflare معطًى يفسّر صعوبة التصنيف أصلًا: الزواحف مختلطة الاستخدام، التي تخلط البحث والاستخدام الوكيلي والتدريب في user-agent واحد، تشكّل أكثر من 36% من نشاط الزحف على شبكتها. بعبارة أخرى، أكثر من ثلث الحركة الآلية التي تصلك لا يمكن تصنيفها تصنيفًا نظيفًا بحسب الغرض.

من يحترم robots.txt أصلًا

robots.txt طلب، لا آلية إنفاذ. الخادم الذي يتلقى طلبًا من user-agent أعلن أنه يتجاهل الملف — يقدّم المحتوى مع ذلك. وهذا ليس سيناريو نظريًا: توثيق OpenAI الرسمي ينص على أن قواعد robots.txt قد لا تنطبق على ChatGPT-User، لأن الطلب يأتي عقب فعل صريح من مستخدم بشري. وتوثيق Perplexity يصوغ الأمر بصورة مشابهة بشأن Perplexity-User، ويقول إنه لا يمتثل عادةً لـrobots.txt للسبب نفسه. أما Anthropic فتصرّح بأن روبوتاتها الثلاثة تحترمه.

المنطق خلف هذا السلوك هو أن الطلب يُعدّ فعلًا بشريًا لا فعل زاحف. يمكن الجدال في هذا المنطق، لكن في الممارسة ينبغي التعامل معه كحقيقة تشغيلية: إن أردت حجبًا مُنفَّذًا فعلًا، فـrobots.txt ليس الأداة. الأداة على مستوى شبكة توصيل المحتوى أو جدار الحماية — Cloudflare أو Fastly أو قاعدة WAF تتعامل مع user-agent ونطاق عناوين IP.

نسبة الزحف إلى الإحالة — لماذا ليست متكافئة

القول إن مقابل الزحف هو حركة عائدة صحيحٌ تاريخيًا وخاطئ عدديًا. في تحليل Cloudflare الصادر في 28 أغسطس 2025، بلغت نسبة الصفحات المزحوفة مقابل كل إحالة واحدة نحو 50,000 إلى 1 لدى Anthropic، و887 إلى 1 لدى OpenAI، و118 إلى 1 لدى Perplexity. أما في بحث Google التقليدي فالنسبة من رتبة آحاد.

لا تنبع من هذه الأرقام نتيجة واحدة. هي تقول إن الصفقة القديمة — تعطي محتوى فيرسل المحرك زوارًا — لم تعد تصف ما يجري فعليًا في طبقة التدريب. وهي لا تقول إن الظهور في محركات الإجابات بلا قيمة، لأن الإحالات التي تصل منها تحقّق تحويلًا أفضل في المتوسط من حركة البحث العادية: المستخدم وصل بعد أن رشّح له النظام ورشّحك باسمك.

ثلاثة مواقف ممكنة، ولمن يناسب كلٌّ منها

مفتوح تمامًا. لا حجب على الإطلاق. يناسب المواقع التسويقية والخدمات المهنية وشركات B2B التي تبيع عبر الثقة والخبرة. محتواك مادة داعمة للبيع لا الأصل نفسه؛ وكلما عرفتك نماذج أكثر، ارتفع احتمال ذكرك. الكلفة الوحيدة هي عرض النطاق.

فصل انتقائي. تحجب التدريب وتسمح بالإجابة. يناسب معظم المواقع ذات المحتوى الأصلي المعتبر: النشر والبحث وقواعد المعرفة وتوثيق المنتجات. تدفع مقابل الطبقة التي تعيد إليك مستخدمين، لا مقابل التي لا تفعل. وهذا هو الموقف الذي أوصي به كإعداد افتراضي.

حجب كامل. تحجب كل شيء وتُنفّذ على مستوى شبكة التوصيل. يناسب حين يكون المحتوى هو المنتج — الأرشيفات والمستودعات المدفوعة ومكتبات الصور — أو حين يوجد التزام تعاقدي أو تنظيمي. اعلم مسبقًا أنك تتنازل عن الحضور في محركات الإجابات، لا عن التدريب فحسب.

ملف robots.txt نموذجي — فصل انتقائي

ثلاث ملاحظات على هذا الملف. أولًا، كتل user-agent ليست تراكمية: يقرأ الزاحف الكتلة الأكثر تحديدًا المطابقة له فقط، ولذلك لا تنطبق القيود الواقعة تحت User-agent: * على مَن لديه كتلة خاصة به. ثانيًا، Allow: / زائد تقنيًا — غياب المنع كافٍ — لكنه يوثّق النية، وهذا يساوي شيئًا حين يقرأ شخص آخر الملف بعد عام. ثالثًا، لا يوجد هنا سطر لـGooglebot، وهذا مقصود.

كيف تتأكد أن هذا يعمل فعلًا

أدوات فحص robots.txt تُظهر لك ما يقوله الملف، لا ما يحدث. التحقق الوحيد الذي يُعتدّ به هو سجل وصول الخادم. ثلاثة أمور يجدر قياسها بعد أسبوعين:

1. هل توقفت الزواحف المحجوبة فعلًا. صفِّ السجل بحسب user-agent واحسب الطلبات قبل وبعد. الانخفاض الجزئي يعني أن القاعدة لم تُلتقط.
2. ما رمز الاستجابة الذي تتلقاه الزواحف المسموح لها. هنا يختبئ العطل الأكثر شيوعًا: جدار حماية أو إضافة أمنية أو طبقة إدارة روبوتات تعيد 403 أو تحديًا لروبوتات شرعية دون أن يضبط ذلك أحد. الملف يسمح، والخادم يحجب.
3. ما حجم الاستجابة. استجابة 200 بحجم 4 كيلوبايت بدل 60 كيلوبايت تعني أن الروبوت تلقى هيكل HTML بلا محتوى — وهي مشكلة مختلفة تمامًا، أفصّلها في مقال ما الذي يتلقاه وكيل الذكاء الاصطناعي فعلًا.

وأخيرًا، نقطة توفّر عملًا زائدًا: نشرت Google في 10 يوليو 2026 تحديثًا لتوثيقها الرسمي يذكر صراحةً أن بحث Google لا يستخدم ملفات llms.txt ويتجاهلها. إن كانت خطتك لإدارة الروبوتات تبدأ بإنشاء llms.txt، فالأجدر تأجيله إلى آخر القائمة. هو غير ضار، لكنه أيضًا لا يفعل ما تَعِد به معظم الأدلة.

أسئلة شائعة