ملف robots.txt
أضف أو أنشئ ملف robots.txt يتوافق مع معيار استبعاد الروبوتات في الجذر من دليل app لإخبار زواحف محركات البحث عن عناوين URL التي يمكنها الوصول إليها في موقعك.
ملف robots.txt ثابت
User-Agent: *
Allow: /
Disallow: /private/
Sitemap: https://acme.com/sitemap.xmlإنشاء ملف Robots
أضف ملف robots.js أو robots.ts الذي يُرجع كائن Robots.
معلومة مفيدة:
robots.jsهو معالج مسارات خاص يتم تخزينه مؤقتًا افتراضيًا ما لم يستخدم واجهة برمجة تطبيقات ديناميكية أو خيار تكوين ديناميكي.
import type { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
return {
rules: {
userAgent: '*',
allow: '/',
disallow: '/private/',
},
sitemap: 'https://acme.com/sitemap.xml',
}
}export default function robots() {
return {
rules: {
userAgent: '*',
allow: '/',
disallow: '/private/',
},
sitemap: 'https://acme.com/sitemap.xml',
}
}النتيجة:
User-Agent: *
Allow: /
Disallow: /private/
Sitemap: https://acme.com/sitemap.xmlتخصيص وكلاء مستخدم محددين
يمكنك تخصيص كيفية زحف برامج زواحف محركات البحث الفردية لموقعك عن طريق تمرير مصفوفة من وكلاء المستخدم إلى خاصية rules. على سبيل المثال:
import type { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
return {
rules: [
{
userAgent: 'Googlebot',
allow: ['/'],
disallow: '/private/',
},
{
userAgent: ['Applebot', 'Bingbot'],
disallow: ['/'],
},
],
sitemap: 'https://acme.com/sitemap.xml',
}
}export default function robots() {
return {
rules: [
{
userAgent: 'Googlebot',
allow: ['/'],
disallow: ['/private/'],
},
{
userAgent: ['Applebot', 'Bingbot'],
disallow: ['/'],
},
],
sitemap: 'https://acme.com/sitemap.xml',
}
}النتيجة:
User-Agent: Googlebot
Allow: /
Disallow: /private/
User-Agent: Applebot
Disallow: /
User-Agent: Bingbot
Disallow: /
Sitemap: https://acme.com/sitemap.xmlكائن Robots
type Robots = {
rules:
| {
userAgent?: string | string[]
allow?: string | string[]
disallow?: string | string[]
crawlDelay?: number
}
| Array<{
userAgent: string | string[]
allow?: string | string[]
disallow?: string | string[]
crawlDelay?: number
}>
sitemap?: string | string[]
host?: string
}سجل الإصدارات
| الإصدار | التغييرات |
|---|---|
v13.3.0 | تم تقديم robots. |