1
Default Rule (All Bots)
2
Specific Search Robots
Googlebot
Googlebot-Image
Bingbot
Slurp
Baiduspider
YandexBot
3
Options & Exclusions
ใส่ Path ของโฟลเดอร์ที่ไม่ต้องการให้ Bot เข้าถึง (บรรทัดละ 1 Path)
robots.txt
1User-agent: *2Disallow: /cgi-bin/3Disallow: /admin/4 5Sitemap: https://www.example.com/sitemap.xmlนำไฟล์นี้ไปวางไว้ที่ root ของเว็บไซต์ (เช่น https://yoursite.com/robots.txt)