ทีมที่เปิดดูผลการทดสอบ A/B ทุกเช้าอยู่ภายใต้แรงกดดันให้ตัดสินเร็ว ถ้าหน้าใหม่นำอยู่สามวันติดกันก็อยากประกาศผู้ชนะ ถ้าตามหลังก็อยากหยุดเพื่อไม่ให้เสียยอดขาย ปัญหาคือตัวเลขช่วงแรกของการทดสอบออนไลน์แกว่งมากกว่าที่คนดูคาด และตัวชี้วัดที่ดีขึ้นก็ไม่ได้แปลว่าผู้ใช้ได้ประสบการณ์ที่ดีขึ้นเสมอ บทนี้สรุปบทเรียนห้าข้อจากงานวิจัยของทีมที่รันการทดสอบออนไลน์หลายพันครั้ง เพื่อให้เจ้าของธุรกิจและทีมการตลาดรู้ว่าต้องดูอะไรก่อนเชื่อผลการทดสอบของตัวเอง
เนื้อหาทั้งหมดมาจากบทความวิจัย Trustworthy Online Controlled Experiments: Five Puzzling Outcomes Explained โดย Ron Kohavi และคณะจาก Microsoft นำเสนอในงานประชุม KDD 2012 เปิดอ่านฉบับเต็มเมื่อ 27 ก.ย. 2569 กรณีตัวอย่างทั้งหมดเป็นการทดลองของ Bing และบริการอื่นของ Microsoft ซึ่งมีผู้ใช้มากกว่าเว็บไซต์ของธุรกิจทั่วไปมาก บทนี้จึงนำมาใช้เป็นหลักคิด ไม่ได้อ้างว่าตัวเลขจะเกิดซ้ำในเว็บไซต์ขนาดเล็ก
ฉบับเดิมของหน้านี้อธิบายขั้นตอนทำ A/B test แบบทั่วไป ฉบับนี้เลือกมุมที่ขั้นตอนทั่วไปไม่ได้พูด คือการทดสอบที่ทำถูกขั้นตอนแล้วยังให้ผลที่ทำให้สรุปผิดได้อย่างไร
