هل يجب إضافة llms.txt إلى robots.txt؟

لا. لا يوجد في robots.txt توجيه خاص بملف llms.txt، فليس هناك ما يُضاف. يُعثر على الملف في عنوانه القياسي example.com/llms.txt، تمامًا كما يُعثر على robots.txt في example.com/robots.txt. وسطر يشير إلى llms.txt داخل robots.txt لن يساعد مساعدات الذكاء الاصطناعي على اكتشافه.

أما ما يؤثّر فيه robots.txt فعلًا فهو ما إذا كان مسموحًا لزواحف الذكاء الاصطناعي بزيارة موقعكم أصلًا. وهناك تختبئ المشكلات الحقيقية عادةً.

قائمة تحقق لملف llms.txt: ما الذي تراجعونه

قبل أن تلجأوا إلى أداة فحص أو مدقّق llms.txt، راجعوا هذه النقاط بأنفسكم:

• الملف يُفتح دون تسجيل دخول أو إعادة توجيه ويعيد رمز الحالة 200؛
• يُقدَّم كنص عادي بترميز UTF-8، لا كصفحة HTML؛
• يتبع بنية Markdown الأساسية: اسم الشركة، ووصف قصير، وأقسام تضم روابط؛
• ملف robots.txt لا يحجب زواحف الذكاء الاصطناعي التي تريدونها أن تصل إلى موقعكم، مثل OAI-SearchBot أو Claude-SearchBot أو PerplexityBot؛
• أنظمة الحماية من البوتات على خادمكم أو جدار الحماية أو شبكة CDN لا تحجب تلك الزواحف بصمت؛
• كل رابط داخل الملف يقود إلى صفحة تعمل.

تستطيع المدقّقات الإلكترونية تأكيد سلامة الصيغة والإشارة إلى الروابط المعطّلة، لكنها لا تستطيع إخباركم هل المعلومات في الملف محدَّثة، ولا هل تصل زواحف الذكاء الاصطناعي فعلًا. سجلات الخادم هي التي تُظهر ذلك.

الخطأ الأكثر شيوعًا

ملف llms.txt مكتوب بعناية على موقع مغلق أمام زواحف الذكاء الاصطناعي. في هذه الحالة يكون الملف بلا فائدة: لا يستطيع مساعد الذكاء الاصطناعي فتحه، ولا يستطيع فتح الصفحات التي يشير إليها كذلك. وتذكّروا أيضًا أن llms.txt اقتُرح في عام 2024 ولم يؤكّد كبار مزوّدي الذكاء الاصطناعي رسميًا أنهم يستخدمونه، لذا فإن وصول الزواحف ووضوح الصفحات أهم بكثير من الملف نفسه.

وإن لم تكونوا متأكدين من البوتات التي ينبغي السماح لها، فاقرؤوا دليلنا حول أي زواحف الذكاء الاصطناعي تسمحون لها بدخول موقعكم.

في شركة تحسين البحث بالذكاء الاصطناعي، نفحص وصول زواحف الذكاء الاصطناعي وملفَّي robots.txt وllms.txt ضمن كل تدقيق للظهور في الذكاء الاصطناعي، مقابل 290 دولارًا شهريًا تشمل أول 10 ساعات عمل. احجزوا مكالمة.