เว็บ phygital.co.th ส่งข้อมูลให้บอท AI รวมราว 790 เมกะไบต์ ในสัปดาห์ 23-29 กันยายน 2569 ข้อมูลชุดนี้มาจากหน้าสถิติบอทของ Cloudflare ซึ่งทีมฟิจิทัลเปิดดูในวันสุดท้ายของช่วง ยอด 791.57 เมกะไบต์มาจากการบวกห้าอันดับแรกกับกลุ่มที่เหลือในรายงาน
| บอท |
ข้อมูลที่ดึงไป |
คำขอที่ได้หน้าเว็บสำเร็จ (2xx) |
| GPTBot |
238.72 MB |
4,410 |
| OAI-SearchBot |
193.44 MB |
5,770 |
| PerplexityBot |
95.32 MB |
1,580 |
| BingBot |
85.89 MB |
1,890 |
| PetalBot |
81.54 MB |
1,280 |
| บอทอีก 8 ตัวรวมกัน |
96.66 MB |
2,010 |
คำขอไม่ได้จบด้วยหน้าเว็บทุกครั้ง ในเจ็ดวันเดียวกันมีคำตอบ 404 หน้าไม่พบ 7,030 ครั้ง และ 503 เซิร์ฟเวอร์ไม่พร้อม 2,090 ครั้ง จากคำขอทั้งหมด 28,640 ครั้ง จำนวนผู้อ่านที่ตามลิงก์ในคำตอบของ AI มาถึงเว็บ (ช่อง Referral Traffic) ยังว่างอยู่ การเทียบว่าเว็บให้ข้อมูลไปเท่าไรและได้คนกลับมาเท่าไรจึงยังทำจากรายงานนี้ไม่ได้ ต้องใช้ข้อมูลจากเครื่องมือวัดผลของเว็บเองประกอบ
path ที่บอท AI เรียกมากที่สุดคือ /_next/image ซึ่งเป็นตัวย่อขนาดรูปของเว็บ 1,761 ครั้งบนโดเมนหลัก และ 1,278 ครั้งบนโดเมน www ตามมาด้วยหน้ารวมบทความ /insights 1,174 ครั้ง รูปภาพจึงเป็นส่วนของเว็บที่บอทเรียกบ่อยที่สุดในสัปดาห์นั้น
ทำไมบอทบางตัวเข้าโฟลเดอร์ที่ robots.txt ปิดไว้ได้
บอทที่มีกลุ่มคำสั่งของตัวเองใน robots.txt จะทำตามกลุ่มนั้นกลุ่มเดียว และไม่ใช้กฎของกลุ่ม User-agent: * มาตรฐาน RFC 9309 ข้อ 2.2.1 ระบุว่าบอทใช้กลุ่ม * เฉพาะเมื่อไม่มีกลุ่มที่ตรงกับชื่อตัวเอง robots.txt ของ phygital.co.th ปิด /_next/ ไว้ในกลุ่ม * แต่เขียนกลุ่มแยกให้ GPTBot กับบอท AI อีกหลายตัวว่า Allow: / บอทกลุ่มนี้จึงเข้า /_next/image ได้ตามกติกา เจ้าของเว็บที่แยกกลุ่มให้บอท AI ต้องคัดลอกบรรทัด Disallow ที่ต้องการไปไว้ในกลุ่มนั้นด้วย