ملف robots.txt
أضف أو أنشئ ملف robots.txt يتوافق مع معيار استبعاد الروبوتات في الجذر من دليل app لإخبار زواحف محركات البحث عن عناوين URL التي يمكنها الوصول إليها في موقعك.
ملف robots.txt ثابت
User-Agent: *
Allow: /
Disallow: /private/
Sitemap: https://acme.com/sitemap.xmlإنشاء ملف Robots
أضف ملف robots.js أو robots.ts الذي يُرجع كائن Robots.
import { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
return {
rules: {
userAgent: '*',
allow: '/',
disallow: '/private/',
},
sitemap: 'https://acme.com/sitemap.xml',
}
}export default function robots() {
return {
rules: {
userAgent: '*',
allow: '/',
disallow: '/private/',
},
sitemap: 'https://acme.com/sitemap.xml',
}
}النتيجة:
User-Agent: *
Allow: /
Disallow: /private/
Sitemap: https://acme.com/sitemap.xmlتخصيص وكلاء مستخدم معينين
يمكنك تخصيص كيفية زحف روبوتات محركات البحث الفردية إلى موقعك عن طريق تمرير مصفوفة من وكلاء المستخدم إلى خاصية rules. على سبيل المثال:
import type { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
return {
rules: [
{
userAgent: 'Googlebot',
allow: ['/'],
disallow: '/private/',
},
{
userAgent: ['Applebot', 'Bingbot'],
disallow: ['/'],
},
],
sitemap: 'https://acme.com/sitemap.xml',
}
}export default function robots() {
return {
rules: [
{
userAgent: 'Googlebot',
allow: ['/'],
disallow: ['/private/'],
},
{
userAgent: ['Applebot', 'Bingbot'],
disallow: ['/'],
},
],
sitemap: 'https://acme.com/sitemap.xml',
}
}النتيجة:
User-Agent: Googlebot
Allow: /
Disallow: /private/
User-Agent: Applebot
Disallow: /
User-Agent: Bingbot
Disallow: /
Sitemap: https://acme.com/sitemap.xmlكائن Robots
type Robots = {
rules:
| {
userAgent?: string | string[]
allow?: string | string[]
disallow?: string | string[]
crawlDelay?: number
}
| Array<{
userAgent: string | string[]
allow?: string | string[]
disallow?: string | string[]
crawlDelay?: number
}>
sitemap?: string | string[]
host?: string
}سجل الإصدارات
| الإصدار | التغييرات |
|---|---|
v13.3.0 | تم تقديم robots. |