ما هو GPTBot، وهل تسمحون لزواحف الذكاء الاصطناعي بدخول موقعكم؟

تُشغّل شركة OpenAI، صاحبة ChatGPT، زاحف الويب GPTBot. وهو يزور المواقع ويجمع المحتوى الذي قد يُستخدم في تدريب نماذج OpenAI. ويعرّف نفسه بوكيل المستخدم GPTBot، وهو الاسم الذي تستخدمونه للسماح له أو لحجبه في robots.txt، والاسم الذي سترونه في سجلات خادمكم.

لدى OpenAI ثلاثة روبوتات، لا روبوت واحد

• GPTBot يجمع المحتوى لتدريب النماذج؛
• OAI-SearchBot يجد الصفحات لنتائج البحث داخل ChatGPT؛
• ChatGPT-User يفتح صفحة حين يطلب مستخدم من ChatGPT الاطلاع عليها.

وحجب GPTBot لا يخرجكم من بحث ChatGPT، والسماح له لا يُدخلكم إليه. فكل روبوت يُضبط على حدة.

زواحف الذكاء الاصطناعي الأخرى

• Google: رمز Google-Extended يتحكم في استخدام محتواكم لتدريب Gemini وإسناد إجاباته إلى المصادر؛ وهو لا يؤثر في بحث Google.
• Anthropic: ClaudeBot وClaude-SearchBot وClaude-User.
• Perplexity: PerplexityBot وPerplexity-User.
• Microsoft: يعتمد Copilot على Bingbot.

وعلى سبيل المثال، لإبقاء محتواكم خارج تدريب OpenAI مع بقائكم ظاهرين في بحث ChatGPT، يمكن أن يتضمن robots.txt ما يلي:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

هل تسمحون لزواحف الذكاء الاصطناعي بدخول موقعكم؟

• روبوتات البحث والإجابة يستحسن السماح لها عادةً في موقع تجاري. وإلا فلن تستطيع مساعدات الذكاء الاصطناعي الاستشهاد بصفحاتكم أو الربط إليها.
• روبوتات التدريب يمكن السماح لها أو تقييدها بحسب سياسة شركتكم.
• المناطق الخاصة مثل صفحات الحساب وسلال الشراء وأقسام الإدارة ينبغي إغلاقها أمام كل الروبوتات.

ولا تقفوا عند robots.txt. فالجدران النارية في الاستضافة وحماية الروبوتات في شبكات التوصيل تحجب أحيانًا زواحف الذكاء الاصطناعي من دون علم صاحب الموقع. وسجلات الخادم تُظهر ما إذا كانت هذه الروبوتات تمرّ فعلًا. وللصورة الكاملة، راجعوا مقال أي زواحف الذكاء الاصطناعي تسمحون لها وأيها تحجبون.

في شركة تحسين البحث بالذكاء الاصطناعي، ضبط وصول زواحف الذكاء الاصطناعي جزء من إصلاحاتنا التقنية. احجزوا مكالمة وسنفحص أي الروبوتات يردّها موقعكم الآن.