การทดลองและแฟล็ก

1. คำถามที่ตอบ

เครื่องมือทดลองบอกว่ารูปแบบ B มีคอนเวอร์ชันแย่ลง 12 % แต่ไม่บอกว่า ทำไม และไม่แสดงสักคนที่กำลังติดขัด

สะพานปิดช่องว่างด้วยต้นทุนต่ำสุด อ่านการจัดสรรรูปแบบจากเครื่องมือที่ใช้อยู่แล้วแนบกับเซสชัน MousePlayer จากนั้น “แสดงเซสชันที่เห็น B และคลิกด้วยความหงุดหงิด” เป็นเพียงตัวกรอง ไม่ใช่งานวิจัย

2. เครื่องมือและกฎร่วม

หกเครื่องมือ A/B และห้าผู้ให้บริการแฟล็ก อ่านในเบราว์เซอร์ทั้งหมดผ่าน API สาธารณะของแต่ละระบบ

ประเภท	เครื่องมือ
A/B และการทดลอง	Optimizely, VWO, AB Tasty, Kameleoon, ระบบสืบต่อ Google Optimize, Convert
ฟีเจอร์แฟล็ก	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

เฉพาะการจัดสรรที่เกิดจริง

VWO เป็นตัวอย่างชัด เรารับแคมเปญเฉพาะเมื่อสถานะเป็น RUNNING และ มีการจัดสรรชุดรูปแบบให้ผู้เข้าชมนี้จริง แคมเปญที่แค่นิยามไม่บอกอะไรเกี่ยวกับคนที่ดู หากเขียนในเซสชัน ตัวกรองภายหลังจะผิดทั้งหมด

บางคำตอบมาช้า

ConfigCat คืนค่าอะซิงโครนัส Snowplow ตอบ callback ค่าอยู่ในบัฟเฟอร์และอ่านรอบถัดไปแทนรอ สะพานที่บล็อกหน้าเพื่อรู้ชื่อรูปแบบมีต้นทุนเกินประโยชน์แล้ว

3. ต้นทุนต่อหน้า

ไม่มีสิ่งที่วัดได้ เราไม่ส่งคำขอเครือข่าย ไม่เพิ่มสคริปต์ และไม่ทำงานใดเมื่อปิดสะพาน

เครื่องมือที่ฝังทำงานของตนไม่ว่าเราอ่านหรือไม่ เราเพิ่มเพียงการอ่านไม่กี่ครั้งจนมีคำตอบหรือครบยี่สิบครั้ง

ทำไมยี่สิบ ไม่ใช่ตลอดไป

เครื่องมือทดลองมักโหลดหลังเรา อ่านครั้งเดียวจะพลาดแทบทุกการจัดสรร วนตลอดจะเปิดตัวจับเวลาทุกหน้ารอค่าที่ไม่มา ยี่สิบครั้งห่างครึ่งวินาทีคือข้อแลกเปลี่ยนเดียวกับอะแดปเตอร์ความยินยอมด้วยเหตุผลเดียวกัน

4. จุดที่คุ้มค่า

• รูปแบบที่ผลทดสอบแย่ลงโดยไม่มีใครอธิบายได้ กรองรูปแบบนั้น เรียงคลิกด้วยความหงุดหงิด แล้วดูสามเซสชัน มักเห็นเหตุผลในครั้งแรก
• แฟล็กที่เปิดให้ 5 % ของผู้ใช้ ห้าเปอร์เซ็นต์นั้นคือเซสชันที่ควรดู และหากไม่มีสะพานนี้ก็หาไม่ได้
• การทดสอบที่ดูไม่ต่าง บางครั้งทั้งสองรูปแบบแย่เท่ากันในจุดเดียว เครื่องมือทดลองบอกไม่ได้เพราะเทียบเฉพาะยอดรวม