{HudChew}
กลับไปหน้า Tools

Robots.txt Generator

อนุญาตหรือบล็อก Search Engine Bot ง่ายๆ สร้างโค้ดมาตรฐานพร้อมดาวน์โหลดไปใช้งานได้ทันที

1

Default Rule (All Bots)

2

Specific Search Robots

Googlebot
Googlebot-Image
Bingbot
Slurp
Baiduspider
YandexBot
3

Options & Exclusions

ใส่ Path ของโฟลเดอร์ที่ไม่ต้องการให้ Bot เข้าถึง (บรรทัดละ 1 Path)

robots.txt
1User-agent: *
2Disallow: /cgi-bin/
3Disallow: /admin/
4 
5Sitemap: https://www.example.com/sitemap.xml

คำถามที่พบบ่อย (FAQ)

Q: ไฟล์ Robots.txt คืออะไร?

A:

Robots.txt เป็น Text File พื้นฐานที่วางไว้ใน Root Directory ของเว็บไซต์ มีไว้เพื่อบอก Bot หรือ Spider ของ Search Engine (เช่น Googlebot, Bingbot) ว่าหน้าไหนหรือโฟลเดอร์ไหนของเว็บไซต์ที่ 'อนุญาต' (Allow) หรือ 'ไม่อนุญาต' (Disallow) ให้เข้ามาเก็บข้อมูล (Crawl)

Q: ทำไมถึงห้าม Bot เข้าบางโฟลเดอร์?

A:

บางหน้าเราไม่ต้องการให้ปรากฏบนผลการค้นหาของ Google เช่น ระบบหลังบ้าน (/admin/), หน้าตะกร้าสินค้า, หน้าข้อมูลส่วนตัวลูกค้า หรือสคริปต์ที่รันอยู่เบื้องหลัง การกัน Bot ไว้ช่วยสงวนโควตาการ Crawl (Crawl Budget) ให้ไปเก็บข้อมูลหน้าที่สำคัญกว่าต่อ SEO ของเรา

Q: User-agent: * คืออะไร?

A:

สัญลักษณ์ดอกจัน (*) ใน User-agent หมายถึง 'Bot ทุกตัวบนโลก' การตั้งค่าใต้บรรทัดนี้จะส่งผลกับ Bot ทุกค่าย ยกเว้นว่าเรามีการระบุชื่อ Bot เฉพาะเจาะจง (เช่น User-agent: Googlebot) แยกไว้ต่างหาก กฎเฉพาะเจาะจงจะมีความสำคัญกว่ากฎทั่วไปเสมอ