Eksperimen dan Feature Flag

1. Pertanyaan yang Dijawab

Alat eksperimen Anda melaporkan bahwa konversi varian B 12 % lebih buruk. Tidak menjelaskan mengapa, dan tidak dapat menunjukkan satu orang pun yang mengalami kesulitan dengannya.

Jembatan ini menutup celah tersebut dengan cara paling ringan: membaca penetapan varian dari alat yang sudah Anda gunakan dan melampirkannya ke sesi MousePlayer. Setelah itu, “tampilkan sesi yang melihat varian B dan melakukan klik marah” menjadi filter, bukan proyek riset.

2. Alat-Alatnya, dan Satu Aturan Bersama

Enam alat A/B dan lima penyedia feature flag, semuanya dibaca di browser melalui API publik alat itu sendiri.

Jenis	Alat
A/B dan eksperimen	Optimizely, VWO, AB Tasty, Kameleoon, penerus Google Optimize, Convert
Feature flag	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Hanya Penetapan yang Benar-Benar Terjadi

VWO adalah contoh paling jelas: kami hanya mengambil kampanye jika statusnya RUNNING dan kombinasi benar-benar sudah ditetapkan untuk pengunjung ini. Kampanye yang hanya didefinisikan tidak menjelaskan apa pun tentang orang yang melihatnya, dan menuliskannya pada sesi akan membuat setiap filter berikutnya menyesatkan.

Sebagian Jawaban Tiba Belakangan

ConfigCat menyelesaikan secara asinkron; Snowplow menjawab melalui callback. Nilainya masuk ke buffer dan diambil pada putaran berikutnya, bukan ditunggu — jembatan yang memblokir halaman untuk mengetahui nama varian sudah menimbulkan beban lebih besar daripada manfaatnya.

3. Beban pada Halaman Anda

Tidak ada yang terukur. Tidak ada permintaan jaringan dari kami, tidak ada skrip tambahan, dan tidak ada pekerjaan sama sekali saat jembatan dinonaktifkan.

Alat yang sudah Anda sematkan melakukan pekerjaannya sendiri, baik kami membacanya maupun tidak. Yang kami tambahkan adalah satu pembacaan beberapa kali, hingga alat memberikan jawaban atau dua puluh upaya berlalu.

Mengapa Dua Puluh, Bukan Selamanya

Alat eksperimen sering dimuat setelah kami. Satu pembacaan akan melewatkan hampir semua penetapan; pemeriksaan tanpa akhir akan membiarkan timer berjalan pada setiap halaman demi nilai yang tidak akan datang. Dua puluh upaya dengan selang setengah detik adalah komprominya, sama seperti adaptor persetujuan dengan alasan yang sama.

4. Manfaat Nyatanya

• Varian yang Hasil Ujinya Lebih Buruk Tanpa Alasan yang Diketahui. Filter ke varian itu, urutkan menurut klik marah, lalu tonton tiga sesi. Alasannya biasanya terlihat pada sesi pertama.
• Feature Flag yang Diluncurkan kepada 5 % Pengguna. Lima persen itu persis sesi yang ingin Anda tonton, dan tanpa jembatan ini tidak ada cara menemukannya.
• Pengujian yang Tampak Tidak Menunjukkan Perbedaan. Kadang kedua varian sama buruknya di tempat yang sama, dan alat eksperimen tidak dapat menjelaskannya — hanya membandingkan total.