Eksperimen dan bendera

1. Soalan yang dijawab

Alat eksperimen anda memberitahu bahawa varian B membuat penukaran 12 % lebih rendah. Ia tidak memberitahu sebabnya, dan tidak boleh menunjukkan walau seorang yang bergelut dengannya.

Penghubung ini menutup jurang dengan cara paling ringan: membaca penetapan varian daripada alat yang sudah anda jalankan dan melampirkannya pada sesi MousePlayer. Selepas itu, “tunjukkan sesi yang melihat varian B dan mengklik akibat geram” menjadi penapis, bukan projek penyelidikan.

2. Alat dan satu peraturan yang dikongsi

Enam alat A/B dan lima penyedia bendera, semuanya dibaca dalam pelayar melalui API awam alat itu sendiri.

Jenis	Alat
A/B dan eksperimen	Optimizely, VWO, AB Tasty, Kameleoon, pengganti Google Optimize, Convert
Bendera ciri	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Hanya penetapan yang benar-benar berlaku

VWO contoh paling jelas: kami hanya mengambil kempen apabila statusnya RUNNING dan kombinasi benar-benar ditetapkan kepada pelawat ini. Kempen yang hanya ditakrifkan tidak memberitahu apa-apa tentang individu yang melihat, dan menulisnya pada sesi akan menjadikan setiap penapis kemudian mengelirukan.

Sesetengah jawapan tiba lewat

ConfigCat menyelesaikan secara tak segerak; Snowplow menjawab melalui panggil balik. Nilainya masuk ke penimbal dan diambil pada pusingan seterusnya, bukan ditunggu - penghubung yang menyekat halaman untuk mengetahui nama varian sudah menelan kos melebihi nilainya.

3. Kesannya pada halaman anda

Tiada yang boleh diukur. Tiada permintaan rangkaian daripada kami, tiada skrip tambahan dan langsung tiada kerja apabila penghubung dinyahaktifkan.

Alat yang sudah anda benamkan melakukan kerjanya sendiri sama ada kami membacanya atau tidak. Yang kami tambah ialah satu bacaan, beberapa kali, sehingga alat mempunyai jawapan atau dua puluh percubaan berlalu.

Mengapa dua puluh, bukan selama-lamanya

Alat eksperimen sering dimuatkan selepas kami. Satu bacaan akan terlepas hampir setiap penetapan; tinjauan tanpa henti akan mengekalkan pemasa pada setiap halaman demi nilai yang tidak akan tiba. Dua puluh percubaan pada selang setengah saat ialah kompromi, sama seperti penyesuai persetujuan atas sebab sama.

4. Tempat ini paling berguna

• Varian yang berprestasi lebih buruk atas sebab yang tidak dapat dinamakan sesiapa. Tapis kepada varian itu, susun mengikut klik akibat geram dan tonton tiga sesi. Sebabnya biasanya kelihatan dalam sesi pertama.
• Bendera yang dilancarkan kepada 5 % pengguna. Lima peratus itu tepat sesi yang ingin anda tonton, dan tanpa penghubung ini tiada cara menemuinya.
• Ujian yang kelihatan tiada perbezaan. Kadangkala kedua-dua varian sama buruk di tempat sama, dan alat eksperimen tidak boleh memberitahunya - ia hanya membandingkan jumlah.