การทดลองกับการเรียนรู้เป็นคนละขั้นตอนกัน การทดลองจบเมื่อแคมเปญปิด การเรียนรู้จบเมื่อมีคนจดว่าตั้งสมมติฐานอะไร ได้ผลเท่าไร และสรุปว่าอย่างไร ธุรกิจที่ลองบ่อยแต่ข้ามขั้นที่สองจะมีจำนวนครั้งที่ลองมาก แต่ไม่มีข้อสรุปให้ใช้ในปีถัดไป
ข้อมูลปีม้าไฟอ่านได้ในวันนี้เพราะกระทรวงเก็บตัวเลขด้วยนิยามเดิมทุกปีมาหลายสิบปี คลังผลการทดลองขององค์กรต้องการหลักเดียวกัน คือรูปแบบเดิมทุกครั้ง
ทำไมธุรกิจที่ลองอะไรใหม่ตลอดถึงไม่เก่งขึ้น
เพราะผลการทดลองกระจายอยู่หลายที่ ทั้งในบัญชีโฆษณาของคนที่ลาออกไปแล้ว ในไฟล์สรุปที่ไม่มีใครเปิดอีก และในความจำของคนที่จำได้แค่ว่าชิ้นไหนได้ผล ปีถัดไปทีมใหม่จึงเสนอไอเดียเดิมที่เคยล้มมาแล้วโดยไม่มีใครรู้ ทางแก้ที่ใช้เวลาไม่กี่นาทีต่อชิ้นคือจดสามบรรทัดหลังจบทุกครั้ง ว่าคาดอะไร ได้อะไร และตัดสินใจอย่างไรต่อ
ช่องที่ควรมีในบันทึกการทดลองหนึ่งแถว
บันทึกที่ใช้ต่อได้มีอย่างน้อยเจ็ดช่อง คือวันที่เริ่มและจบ กลุ่มลูกค้าที่ทดสอบ สิ่งที่เปลี่ยน สิ่งที่คงไว้เท่าเดิม งบที่ใช้ ผลที่วัดได้ และข้อสรุปหนึ่งประโยค ช่องสิ่งที่คงไว้เท่าเดิมถูกลืมบ่อยที่สุด ทั้งที่เป็นช่องที่บอกว่าผลต่างมาจากสิ่งที่เปลี่ยนจริงหรือไม่ เหมือนตารางเด็กเกิดที่เทียบได้เพราะนิยามทุกปีเหมือนกัน
ขนาดของการทดลองครั้งแรก
การทดลองครั้งแรกควรเล็กพอที่ผลลบจะไม่กระทบกระแสเงินสด และใหญ่พอที่ตัวเลขจะแยกออกจากความบังเอิญได้ วิธีกำหนดที่ใช้ง่ายคือเขียนก่อนเริ่มว่าผลแบบไหนจะทำให้ขยายต่อ ผลแบบไหนจะทำให้เลิก และผลแบบไหนจะทำให้ลองซ้ำด้วยเงื่อนไขใหม่ เกณฑ์ที่เขียนไว้ก่อนช่วยกันไม่ให้ผู้บริหารที่ใจร้อนอ่านผลตามความรู้สึกของวันนั้น
