ما هو ملف robots.txt؟
ملف robots.txt يخبر زواحف محركات البحث بأي صفحات أو ملفات يمكن أو لا يمكن للزاحف طلبها من موقعك. ملف robots.txt هو ملف معياري على الويب تستهلكه معظم الروبوتات الجيدة قبل طلب أي شيء من نطاق معين.
قد ترغب في حماية أجزاء معينة من موقعك من الزحف، وبالتالي من الفهرسة، مثل نظام إدارة المحتوى (CMS) أو لوحة التحكم، حسابات المستخدمين في متجرك الإلكتروني، أو بعض مسارات واجهة برمجة التطبيقات (API)، على سبيل المثال لا الحصر. يجب أن يتم تقديم هذه الملفات في جذر كل مضيف، أو يمكنك تحويل مسار /robots.txt الجذري إلى عنوان URL مستهدف وسيتبع معظم الزواحف ذلك.
كيفية إضافة ملف robots.txt إلى مشروع Next.js
بفضل خدمة الملفات الثابتة في Next.js، يمكننا بسهولة إضافة ملف robots.txt. سنقوم بإنشاء ملف جديد باسم robots.txt في مجلد public في الدليل الجذري. إليك مثال لما يمكنك وضعه في هذا الملف:
//robots.txt
# منع جميع الزواحف من /accounts
User-agent: *
Disallow: /accounts
# السماح لجميع الزواحف
User-agent: *
Allow: /عند تشغيل التطبيق باستخدام yarn dev، سيكون الملف متاحًا الآن على http://localhost:3000/robots.txt. لاحظ أن اسم مجلد public ليس جزءًا من عنوان URL.
لا تقم بتسمية مجلد public بأي اسم آخر. لا يمكن تغيير الاسم وهو المجلد الوحيد المستخدم لخدمة الأصول الثابتة.