Robots.txt คืออะไร ทำไมถึงต้องมี และมีความสำคัญอย่างไร

Home > บทความ > Robots.txt คืออะไร ทำไมถึงต้องมี และมีความสำคัญอย่างไร

Robots.txt คืออะไร ทำไมถึงมีความสำคัญ

ทำความรู้จักไฟล์ Robots.txt คืออะไร ก่อนอื่นต้องอธิบายการทำงานของบอตหรือหุ่นยนต์ของ Search Engine ทุกๆ ตัวที่จะเข้ามาทำการเก็บ Crawl ในการเก็บข้อมูลภายในเว็บไซต์ เพื่อนำเว็บไซต์กลับไปทำเป็น Index ซึ่งไฟล์แรกที่บอตจะเข้ามาอ่านเป็นอันดับแรกก็คือไฟล์ Robots.txt ซึ่งในไฟล์นั้นสามารถเขียน Script ตามคำสั่งเพื่อบอกให้บอตรู้ได้ว่ามีไฟล์ใดบ้างที่สามารถเข้าไปเก็บข้อมูลภายในเว็บไซต์ได้ รวมถึงไฟล์ไหนที่ไม่อนุญาติให้เข้าไปเก็บข้อมูล

ประโยชน์ของการมีไฟล์ Robots.txt

โดยทั่วไปปกติถ้าหากไม่มีไฟล์ Robots.txt พวกบอตจะเข้ามาทำการเก็บข้อมูลในทุกส่วนของเว็บไซต์ ซึ่งสำหรับบางเว็บไซต์อาจจะต้องการให้ทำการเก็บข้อมูลเพื่อนำไป Index ซึ่งไฟล์ Robots.txt ก็สามารถเขียนระบุได้ว่าต้องการป้องการไม่ให้บอตเข้ามาเก็บข้อมูลในหน้าที่ไม่ต้องการได้

Script และคำสั่งต่างๆในไฟล์ Robots.txt ที่สำคัญ

ในส่วนประกอบของไฟล์ robots.txt นั้น สามารถถูกสร้างได้อย่างง่ายๆ ไม่ว่าจะเป็นเครื่องมือ Noteped, Sublime Text,Visual Studio Code โดยจะมีคำสั่งที่ประกอบด้วยกันคือ

  1. User-agent : คำสั่งนี้จะเป็นการบอกว่า Crawler ตัวไหนที่สามารถเข้ามา Crawl เก็บข้อมูลภายในเว็บไซต์ได้ (ถ้าหากใช้เครื่องหมาย ดอกจัน (*) จะเป็นการบ่งบอกถึงให้ Crawler ทุกตัวเข้ามาเก็บข้อมูลได้)
  2. Disallow : เป็นคำสั่งที่ไม่อนุญาตให้ Crawal เข้ามาเก็บข้อมูลภายในเว็บไซต์หรือหน้าเว็บไซต์ที่ไม่ต้องการให้ Crawaler
  3. Allow : เป็นคำสั่งที่อนุญาตให้ Crawal เข้าไปเก็บข้อมูลของเว็บไซต์
  4. Sitemap : เป็นบอกตำแหน่งของ Sitemap ของเว็บไซต์ เพื่อให้ Crawal เข้าไปดูโครงสร้างของเว็บไซต์ที่สร้างขึ้น

ตัวอย่างการเขียนคำสั่ง Script ในไฟล์ Robots.txt

User-agent: *
Allow: /
Disallow: /wp-admin/
Sitemap: https://www.navigatewebdesign.com/sitemap.xml

ในตัวอย่างหมายความว่า เป็นการอนุญาตให้ Crawler ทุกตัวนั้นสามารถเข้าไปทำการ Crawl เก็บข้อมูลได้ทั้งหมด ยกเว้นข้อมูล /wp-admin/ ที่ไม่ต้องการให้เข้าไปทำการเก็บข้อมูล และยังมีการบอกตำแหน่งของ Sitemap ให้บอตรู้เช่นกัน

วิธีการสร้างไฟล์ Robors.txt

Robots.txt คืออะไร

  1. เปิดโปรแกรม Editor หรือโปรแกรมอื่นๆขึ้นมา ตัวอย่าง โปรแกรม Sublime Text
  2. พิมพ์ Script คำสั่งที่ต้องการลงไป
  3. บันทึกชื่อไฟล์โดยตั้งชื่อไฟล์ให้เป็น robots.txt
  4. ทำการอัพโหลดไฟล์ robots.txt ขึ้นไปในตำแหน่งของ root Directory ของเว็บไซต์ โดยเป็นตำแหน่งเช่นเดียวกับ VERIFY และ sitemap.xml

Related Posts

เราใช้คุกกี้เพื่อพัฒนาประสิทธิภาพ และประสบการณ์ที่ดีในการใช้เว็บไซต์ของคุณ คุณสามารถศึกษารายละเอียดได้ที่ นโยบายความเป็นส่วนตัว และสามารถจัดการความเป็นส่วนตัวเองได้ของคุณได้เองโดยคลิกที่ ตั้งค่า

Privacy Preferences

คุณสามารถเลือกการตั้งค่าคุกกี้โดยเปิด/ปิด คุกกี้ในแต่ละประเภทได้ตามความต้องการ ยกเว้น คุกกี้ที่จำเป็น

ยอมรับทั้งหมด
Manage Consent Preferences
  • คุกกี้ที่จำเป็น
    Always Active

    คุกกี้มีความจำเป็นสำหรับการทำงานของเว็บไซต์ เพื่อให้คุณสามารถใช้ได้อย่างเป็นปกติ และเข้าชมเว็บไซต์ คุณไม่สามารถปิดการทำงานของคุกกี้นี้ในระบบเว็บไซต์ของเราได้

  • คุกกี้เพื่อการวิเคราะห์

    คุกกี้ประเภทนี้จะทำการเก็บข้อมูลการใช้งานเว็บไซต์ของคุณ เพื่อเป็นประโยชน์ในการวัดผล ปรับปรุง และพัฒนาประสบการณ์ที่ดีในการใช้งานเว็บไซต์ ถ้าหากท่านไม่ยินยอมให้เราใช้คุกกี้นี้ เราจะไม่สามารถวัดผล ปรังปรุงและพัฒนาเว็บไซต์ได้

  • คุกกี้เพื่อปรับเนื้อหาให้เข้ากับกลุ่มเป้าหมาย

    คุกกี้ประเภทนี้จะเก็บข้อมูลต่างๆ รวมทั้งข้อมูลวส่วนบบุคลเกี่ยวกับตัวคุณเพื่อเราสามารถนำมาวิเคราะห์ และนำเสนอเนื้อหา ให้ตรงกับความเหมาะสมกับความสนใจของคุณ ถ้าหากคุณไม่ยินยอมเราจะไม่สามารถนำเสนอเนื้อหาและโฆษณาได้ไม่ตรงกับความสนใจของคุณ

  • คุกกี้เพื่อการโฆษณา

    คุกกี้เพื่อการโฆษณา จดจำและประมวลผลข้อมูลที่เกี่ยวข้องกับการเข้าเยี่ยมชมหน้าเว็บไซต์ เพื่อนำไปใช้เป็นข้อมูลประกอบการปรับเปลี่ยนหน้าเว็บไซต์ รวมถึงนำเสนอโฆษณาเพื่อการพาณิชย์ให้เหมาะสมกับผู้ใช้งานได้อย่างแม่นยำมากขึ้น

บันทึกการตั้งค่า