ملف robots.txt
أضف أو أنشئ ملف robots.txt يتوافق مع معيار استثناء الروبوتات في الجذر من دليل app لإخبار زواحف محركات البحث عن عناوين URL التي يمكنها الوصول إليها في موقعك.
ملف robots.txt الثابت
User-Agent: *
Allow: /
Disallow: /private/
Sitemap: https://acme.com/sitemap.xmlإنشاء ملف Robots
أضف ملف robots.js أو robots.ts الذي يُرجع كائن Robots.
import { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
return {
rules: {
userAgent: '*',
allow: '/',
disallow: '/private/',
},
sitemap: 'https://acme.com/sitemap.xml',
}
}export default function robots() {
return {
rules: {
userAgent: '*',
allow: '/',
disallow: '/private/',
},
sitemap: 'https://acme.com/sitemap.xml',
}
}النتيجة:
User-Agent: *
Allow: /
Disallow: /private/
Sitemap: https://acme.com/sitemap.xmlكائن Robots
type Robots = {
rules:
| {
userAgent?: string | string[]
allow?: string | string[]
disallow?: string | string[]
crawlDelay?: number
}
| Array<{
userAgent: string | string[]
allow?: string | string[]
disallow?: string | string[]
crawlDelay?: number
}>
sitemap?: string | string[]
host?: string
}سجل الإصدارات
| الإصدار | التغييرات |
|---|---|
v13.3.0 | تم إدخال robots. |