GPTBot وClaudeBot وPerplexityBot: أي زواحف الذكاء الاصطناعي تسمحون لها وأيها تحجبون

إليكم قصة نصادفها باستمرار أثناء تدقيق الظهور في الذكاء الاصطناعي. تستثمر شركة عامًا كاملًا في المحتوى: مقالات خبراء، وصفحات خدمات محدَّثة، وقسم أسئلة شائعة كما ينبغي. ومع ذلك لا تظهر أبدًا في إجابات ChatGPT أو Perplexity. نفتح ملف robots.txt فنجد قاعدة تحجب كل روبوت «مجهول»، أُضيفت قبل سنوات لإيقاف برامج النسخ. أو يكون robots.txt سليمًا، لكن حماية الروبوتات في شبكة التوصيل (CDN) أو قاعدة حجب جغرافي ترفض الطلبات القادمة من مراكز بيانات خارج البلد، فتُردّ زواحف OpenAI من الباب. الموقع موجود، والمحتوى موجود، لكنه بالنسبة إلى عدة مساعدات ذكاء اصطناعي غير موجود ببساطة.

ويحدث العكس أيضًا. يعرف صاحب الموقع أن GPTBot يحمّل مقالاته لتدريب النماذج، فيحجب في لحظة غضب كل زواحف الذكاء الاصطناعي دفعة واحدة، بما فيها تلك التي تجلب له العملاء. لنستعرض ما هي زواحف الذكاء الاصطناعي الموجودة، وكيف يختلف زاحف التدريب عن زاحف البحث، وكيف تضبطون الوصول بحيث لا تخسرون محتواكم ولا عملاءكم.

لماذا يحتاج الذكاء الاصطناعي إلى زيارة موقعكم

حين يسأل أحدهم ChatGPT أو Claude أو Gemini أو Perplexity: «من يستطيع تدقيق حسابات متجر إلكتروني صغير؟»، يحصل على إجابة ذكاء اصطناعي: نص جاهز يتضمن توصيات وأسماء شركات وروابط إلى مواقع المصادر. في مساعدات المحادثة تصل الإجابة داخل المحادثة مع الاستشهادات؛ وفي Google تظهر بوصفها نظرة عامة من الذكاء الاصطناعي (AI Overview) فوق النتائج العادية. يقرأ الناس الإجابة ويختارون منها مباشرة في كثير من الأحيان.

ولكي يكتب الذكاء الاصطناعي تلك الإجابة، عليه أن يقرأ الصفحات. والصفحات تجلبها برامج تُسمى الزواحف أو الروبوتات. يعرّف كل زاحف نفسه للخادم باسم، هو سلسلة وكيل المستخدم (user agent)، وهذا الاسم هو ما تستخدمه قواعد robots.txt للسماح له أو لحجبه. وإذا لم يستطع الزاحف المناسب فتح صفحة، فلن يستطيع الذكاء الاصطناعي الاستشهاد بها.

ثلاثة أنواع من زواحف الذكاء الاصطناعي: التدريب والبحث وطلبات المستخدمين

أهم ما ينبغي فهمه: «روبوت الذكاء الاصطناعي» ليس روبوتًا واحدًا. فشركات الذكاء الاصطناعي الكبرى تشغّل عدة روبوتات، ولكل منها مهمة مختلفة.

• زواحف التدريب تجمع النصوص التي قد تُستخدم في تدريب النماذج المستقبلية. وحجبها يُبقي محتواكم خارج «ذاكرة» النموذج، لكنه عادةً لا يؤثر في البحث الفوري.
• زواحف البحث تفهرس الصفحات ليتمكن الذكاء الاصطناعي من إيجادها والاستشهاد بها في إجاباته. وحجبها يُخرج موقعكم من الإجابات المصحوبة بالمصادر.
• جالبات الصفحات بطلب المستخدم تفتح صفحة بعينها حين يطلب شخص في المحادثة «ألقِ نظرة على هذا الموقع»، أو حين يحتاج المساعد إلى التحقق من صفحة أثناء الإجابة. وهذا ليس زحفًا شاملًا، بل إجراء لمرة واحدة بالنيابة عن مستخدم.

المنطق بسيط بالنسبة إلى موقع تجاري. زواحف البحث وجالبات الصفحات بطلب المستخدم ينبغي السماح لها دائمًا تقريبًا: فهي تجلب الذكر والزيارات. أما زواحف التدريب فيمكن السماح لها أو حجبها؛ وهذا قرار سياسة داخلية للشركة، لا قرار تسويقي.

قائمة زواحف الذكاء الاصطناعي: من هو من

تتغير أسماء الزواحف وأدوارها من حين إلى آخر: تضيف الشركات روبوتات جديدة وتوضّح وظائف القائم منها. وفي ما يلي الصورة كما هي وقت كتابة هذا المقال. وقبل ضبط أي شيء، راجعوا وثائق أصحاب المواقع التي تنشرها كل شركة.

ملاحظة عن Google. ليس Google-Extended روبوتًا يزور موقعكم، بل رمزًا تستخدمونه في robots.txt. فالزحف يقوم به Googlebot كما هو، والرمز يخبر Google فقط بما إذا كان يجوز استخدام محتواكم في تدريب Gemini وإسناد إجاباته إلى المصادر. وهو لا يؤثر في بحث Google. أما AI Overviews فمبنية على فهرس بحث Google، فلا يمكنكم الانسحاب منها عبر Google-Extended، وحجب Googlebot يعني الخروج من بحث Google بالكامل.

ملاحظة عن جالبات الصفحات بطلب المستخدم. تصف شركات الذكاء الاصطناعي أحيانًا الروبوتات التي تفتح صفحة بناءً على طلب مباشر من شخص بأنها إجراء يقوم به المستخدم لا زحفًا آليًا، وقد تنطبق قواعد robots.txt عليها بشكل مختلف عن الزواحف العادية. وPerplexity-User مثال على ذلك. فإذا كنتم تحتاجون تحديدًا إلى تقييد هذا النوع من الوصول، راجعوا الوثائق الحالية لتلك الشركة وفكّروا في قواعد على مستوى الخادم.

روبوت GPTBot: نحجبه أم لا؟

السؤال الذي نسمعه أكثر من غيره يتعلق بـ GPTBot، لأنه أشهر زواحف الذكاء الاصطناعي. والنقطة الجوهرية: يتولى GPTBot التدريب، لا الإجابات المصحوبة بالمصادر في ChatGPT. فالبحث يتولاه OAI-SearchBot، وفتح الصفحات بطلب المستخدم يتولاه ChatGPT-User. ونستعرض بقية الصورة في دليلنا عن جعل ChatGPT يوصي بشركتكم.

وتبقى ثلاثة خيارات واعية:

• السماح للجميع. الخيار الصحيح لمعظم شركات الخدمات والمتاجر الإلكترونية: فكلما عرف الذكاء الاصطناعي عن شركتكم أكثر، كان ذلك أفضل. ونادرًا ما تحتوي هذه المواقع على بيانات فريدة تستحق الحماية.
• حجب التدريب والسماح للبحث. يناسب الناشرين وصنّاع المحتوى المدفوع وأصحاب قواعد البيانات أو المنهجيات الفريدة. تُحجب GPTBot وClaudeBot وGoogle-Extended، ويُسمح لزواحف البحث ولجالبات الصفحات بطلب المستخدم.
• حجب كل شيء عدا البحث التقليدي. قد يكون منطقيًا للبوابات المؤسسية الخاصة. أما للموقع الذي يحتاج إلى عملاء، فهو خطأ في جميع الأحوال تقريبًا.

في سجلات الخادم، يكون وكيل المستخدم الخاص بـ GPTBot سلسلة نصية تتضمن كلمة GPTBot ورابطًا إلى صفحة تصف الزاحف. وأي سكربت يستطيع تزوير هذه السلسلة، لذا تحققوا في الحالات المشكوك فيها من الطلبات بمقارنتها بنطاقات عناوين IP المنشورة. فشركة OpenAI وغيرها من شركات الذكاء الاصطناعي تنشرها.

كيف تحجبون زواحف الذكاء الاصطناعي في robots.txt: أمثلة

في كل مثال، example.com اسم بديل؛ استبدلوا الأقسام الخدمية (حساب العميل، سلة الشراء، بحث الموقع) بأقسامكم أنتم.

المثال 1. السماح للجميع وحجب الأقسام الخدمية

User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

أبسط الخيارات. لا توجد هنا مجموعات منفصلة لزواحف الذكاء الاصطناعي، لذا تتبع كلها المجموعة العامة المعلَّمة بالنجمة.

المثال 2. حجب التدريب والسماح للبحث ولطلبات المستخدمين

# زواحف التدريب: محجوبة
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# زواحف البحث وجالبات الصفحات بطلب المستخدم: مسموح لها، عدا الأقسام الخدمية
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /account/
Disallow: /cart/
Disallow: /search/

# كل الباقين، بما في ذلك Googlebot وBingbot وYandexBot
User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

هنا تفصيل تقني يخطئ فيه الناس أكثر من غيره. يبحث الزاحف في robots.txt عن مجموعة تحمل اسمه هو، فإذا وجدها تجاهل المجموعة العامة ذات النجمة. ولهذا يجب تكرار قواعد الأقسام الخدمية في كل مجموعة مسمّاة. وإلا فإن منطقة الحساب تبقى مغلقة أمام الجميع باستثناء OAI-SearchBot.

المثال 3. خطأ شائع

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

هكذا يبدو «حجب الجميع باستثناء Google». يبقى الموقع في Google، لكنه مغلق تمامًا أمام الزواحف التي تقف خلف ChatGPT وClaude وPerplexity، وأمام Bingbot، أي أمام Copilot أيضًا. ونصادف ملفات كهذه بانتظام، وغالبًا لا يتذكر أصحابها حتى أنها موجودة.

وماذا عن llms.txt في robots.txt؟

لا توجد في robots.txt تعليمة خاصة بملف llms.txt، لذا لا حاجة إلى الإشارة إليه: فالملف يُوجد في عنوانه القياسي، example.com/llms.txt. تأكدوا فقط من أن robots.txt لا يحجب الوصول إليه. أما ما يُكتب داخل الملف نفسه فنتناوله في دليلنا الكامل لملف llms.txt.

الجدران النارية وشبكات التوصيل وحماية الروبوتات: الحجب غير المرئي

ملف robots.txt طلب، لا قفل. أما القفل الحقيقي فيوجد على خادمكم أو أمامه، وكثيرًا ما يوقف الروبوتات نفسها التي أردتم السماح لها بالدخول. وأكثر الأسباب شيوعًا:

• مفاتيح «حجب روبوتات الذكاء الاصطناعي» في شبكة التوصيل. تقدّم بعض شبكات التوصيل وخدمات الأمان إعدادًا بنقرة واحدة يحجب زواحف الذكاء الاصطناعي المعروفة، وقد يكون مفعَّلًا افتراضيًا في المشاريع الجديدة. وهذه المفاتيح لا تميّز دائمًا بين زواحف التدريب وزواحف البحث.
• الحماية من هجمات الحرمان من الخدمة واختبارات المتصفح. لا يستطيع الزاحف اجتياز اختبار JavaScript أو CAPTCHA، فيحصل على صفحة اختبار بدلًا من محتواكم.
• الحجب الجغرافي. تحجب بعض الشركات التي تخدم بلدًا واحدًا فقط الزيارات القادمة من كل مكان آخر. وزواحف الذكاء الاصطناعي تعمل عادةً من مراكز بيانات في بلدان أخرى، فتُرفض هي أيضًا.
• تحديد معدل الطلبات. الزاحف الذي يطلب عدة صفحات متتالية يبلغ الحد المسموح به فيتلقى رمز الحالة 429.
• جدران حماية تطبيقات الويب وإضافات الأمان. تحجب وحدات الأمان في WordPress وغيره من أنظمة إدارة المحتوى، وكذلك الجدران النارية على مستوى الاستضافة، وكلاء المستخدم «المشبوهين» استنادًا إلى قوائمها الخاصة.

الحل ليس إيقاف الحماية، بل إضافة الزواحف الصحيحة إلى قائمة السماح، ويفضَّل التحقق منها عبر نطاقات عناوين IP المنشورة لا بالاسم وحده. بهذه الطريقة يمرّ الزاحف الحقيقي، ولا يمرّ روبوت يتظاهر بأنه GPTBot.

كيف تفحصون سجلات الخادم: من يزور وماذا يتلقى

الطريقة الوحيدة الموثوقة لمعرفة الحقيقة هي سجل الوصول على الخادم. فهو يسجّل كل طلب: الرابط ورمز الحالة ووكيل المستخدم. وفي ما يلي بضعة أوامر لخادم Linux يعمل بـ nginx. وقد يختلف مسار السجل على خادمكم.

# كم طلبًا أرسله GPTBot
grep -ci "GPTBot" /var/log/nginx/access.log

# ما رموز الحالة التي يتلقاها OAI-SearchBot
grep -i "OAI-SearchBot" /var/log/nginx/access.log | cut -d' ' -f9 | sort | uniq -c

# ما الصفحات التي طلبها PerplexityBot
grep -i "PerplexityBot" /var/log/nginx/access.log | cut -d' ' -f7 | sort | uniq -c | sort -rn | head -20

كيف تقرؤون النتائج:

• لا طلبات على الإطلاق: لم يزركم الزاحف بعد، أو أنه يُحجب قبل أن يصل إلى خادمكم، على مستوى شبكة التوصيل. راجعوا سجلات شبكة التوصيل لديكم.
• رموز الحالة 200: كل شيء على ما يرام، الزاحف يحصل على صفحاتكم.
• رموز الحالة 403 أو 429 أو 503: الزاحف يصل لكنه يُرفض. ابحثوا عن السبب في إعدادات الحماية.
• كثير من رموز 301 و404: الزاحف يضيّع وقته على عمليات إعادة التوجيه والروابط المكسورة. حان وقت التنظيف.

إذا لم يكن لديكم وصول إلى الخادم، كما في منصات إنشاء المواقع الجاهزة، فإن تقارير الزحف في Google Search Console وBing Webmaster Tools تساعد جزئيًا، لكنها لا تخبركم بشيء عن زواحف الذكاء الاصطناعي. في هذه الحالة، اسألوا فريق الدعم في منصتكم.

ضبط الوصول خطوة بخطوة

وصول الزواحف هو القسم الأول في قائمة تحقق تحسين البحث بالذكاء الاصطناعي لدينا. وبدونه لا قيمة لأي بند آخر في القائمة.

النتيجة: موقعكم مفتوح أمام الروبوتات التي تجلب العملاء

بمجرد ضبط الوصول، تصبح الصورة قابلة للإدارة. تتلقى زواحف البحث الصفحات برمز الحالة 200، وتبقى الأقسام الخدمية مغلقة أمام الجميع، ويكون قرار التدريب واعيًا ومدوَّنًا في robots.txt، وتسمح حمايتكم بمرور الزواحف الموثَّقة وتوقف المزيفة منها. هذا لا يضمن مكانًا في إجابات الذكاء الاصطناعي، لكنه يزيل أكثر أسباب الغياب عنها إثارةً للإحباط: «لم يستطيعوا الدخول أصلًا».

كيف نتولى وصول زواحف الذكاء الاصطناعي وكل ما عداه

تعمل شركة تحسين البحث بالذكاء الاصطناعي في تحسين محركات البحث منذ عام 2002. لدينا أكثر من 100 عميل حول العالم، واعتمادات من Google وYandex، وفريق واحد يتولى موقعكم وظهوركم في الذكاء الاصطناعي من الألف إلى الياء. نحسّن ظهوركم في Google AI Overviews وAI Mode وChatGPT وGemini وClaude وPerplexity وMicrosoft Copilot وغيرها من مساعدات الذكاء الاصطناعي، للشركات في هراة وفي الأسواق الدولية.

ضبط وصول زواحف الذكاء الاصطناعي جزء من الإصلاحات التقنية على الموقع. وتشمل الخدمة الكاملة:

• تدقيق الظهور في الذكاء الاصطناعي: ملف robots.txt، وحماية الخادم، والسجلات، وما تقوله مساعدات الذكاء الاصطناعي عنكم وعن منافسيكم؛
• بحث الموجّهات: الأسئلة التي يطرحها عملاؤكم على مساعدات الذكاء الاصطناعي؛
• الإصلاحات التقنية على الموقع: وصول زواحف الذكاء الاصطناعي، وllms.txt، والترميز المنظَّم، والسرعة، والأخطاء؛
• محتوى جديد مُعدّ لإجابات الذكاء الاصطناعي؛
• ذكر علامتكم التجارية على مواقع خارجية؛
• نشر مقالات في مصادر خارجية لبناء مكانة شركتكم وخبرائها؛
• تتبّع مستمر للظهور في الذكاء الاصطناعي.

يقيّم الذكاء الاصطناعي موقعكم ككل، لذا نعتني بالموقع بالكامل منذ اليوم الأول، من الإصلاحات التقنية إلى GEO (تحسين المحركات التوليدية). ونضمن تسليم مهام GEO، وإصلاح الأخطاء، وتكييف موقعكم سريعًا مع متطلبات البحث بالذكاء الاصطناعي المتغيرة، بما في ذلك الزواحف الجديدة كلما ظهرت.

الرسوم الشهرية 290 دولارًا شهريًا، تشمل أول 10 ساعات عمل. وتبلغ كل ساعة إضافية 45 دولارًا. وتُحتسب أعمال GEO على أساس الوقت والعمل المنجز: لا نصدر فاتورة إلا بالعمل المنجز والمسلَّم في ذلك الشهر. لا خصومات ولا أشهر مجانية.

احجزوا مكالمة. سنكتشف أي الزواحف يردّها موقعكم الآن، ونفتحه أمام مساعدات الذكاء الاصطناعي التي يستخدمها عملاؤكم فعلًا.