งานชิ้นเดียวกันยังทดสอบคีย์เวิร์ดที่ไม่ใช่ชื่อแบรนด์ด้วย โดยสุ่มพื้นที่ 30% ของทราฟฟิกในสหรัฐแล้วหยุดประมูลคำกลุ่มนี้ทั้งหมดเป็นเวลา 60 วัน เพื่อเทียบกับพื้นที่ที่ยังเปิดโฆษณาตามปกติ การออกแบบแบบนี้ทำให้ยอดที่เพิ่มเพราะโฆษณาถูกแยกออกจากยอดพื้นฐานได้
ตัวเลขที่ได้จากสองวิธีต่างกันมากจนเปลี่ยนคำตอบทางธุรกิจ ค่าทั้งสามชุดที่งานชิ้นนั้นรายงานไว้อยู่ในตารางถัดไป
| วิธีคำนวณผลตอบแทน |
ค่าที่ได้ |
สิ่งที่วิธีนั้นนับรวมเข้าไปด้วย |
| วิธีสถิติทั่วไป ไม่คุมเวลาและพื้นที่ |
เกิน 4,100% |
ยอดของคนที่จะซื้ออยู่แล้ว |
| วิธีสถิติทั่วไป คุมเวลาและพื้นที่แล้ว |
เกิน 1,400% |
ยังเหลือยอดของลูกค้าประจำ |
| วิธีทดลองปิดโฆษณาบางพื้นที่ |
ติดลบ 63% |
เฉพาะยอดที่เพิ่มขึ้นเพราะโฆษณา |
งานชิ้นนี้ยังแยกผลตามประเภทผู้ซื้อ แล้วพบว่าผู้ใช้ใหม่และผู้ใช้ที่ซื้อไม่บ่อยตอบสนองต่อโฆษณาจริงอย่างมีนัยสำคัญ ขณะที่ผู้ใช้ประจำซึ่งพฤติกรรมการซื้อไม่เปลี่ยนไปตามโฆษณา กลับเป็นกลุ่มที่กินงบโฆษณาส่วนใหญ่ ผลรวมจึงออกมาติดลบ
ข้อสรุปที่นำมาใช้ได้กับธุรกิจไทยคือ ตัวเลขผลตอบแทนที่เห็นในรายงานมาจากการนับยอดของคนที่คลิกโฆษณา ซึ่งรวมคนที่ตั้งใจมาอยู่แล้ว การแยกสองกลุ่มนี้ออกจากกันต้องอาศัยการปิดโฆษณาบางส่วนแล้วเทียบ ไม่ใช่การอ่านรายงานเพิ่ม
ธุรกิจขนาดเล็กทำการทดลองแบบนี้ได้จริงหรือ
ทำได้ในรูปแบบที่ง่ายกว่า คือแทนที่จะแบ่งพื้นที่ ให้ปิดโฆษณาทั้งกลุ่มคำที่สงสัยเป็นช่วงสั้น ๆ แล้วเทียบยอดกับช่วงก่อนหน้าที่เงื่อนไขอื่นใกล้เคียงกัน ข้อควรระวังคือต้องเลี่ยงช่วงเทศกาลและช่วงที่มีโปรโมชันของตัวเอง เพราะทำให้ยอดเปลี่ยนด้วยเหตุผลอื่น
