Mga Eksperimento at Flag

1. Ang Tanong na Sinasagot Nito

Sinasabi ng inyong experiment tool na mas mahina nang 12 % ang conversion ng variant B. Hindi nito sinasabi kung bakit, at hindi nito maipapakita ang kahit isang taong nahihirapan dito.

Pinupunan ng bridge ang puwang sa pinakamurang paraan: binabasa nito ang nakatalagang variant mula sa tool na ginagamit na ninyo at ikinakabit sa session ng MousePlayer. Mula roon, filter na lamang ang “ipakita ang mga session na nakakita ng variant B at nag-rage click”, hindi proyektong pananaliksik.

2. Ang mga Tool at Kanilang Iisang Tuntunin

Anim na A/B tool at limang provider ng flag, lahat binabasa sa browser, gamit ang sariling pampublikong API ng tool.

Uri	Mga Tool
A/B at mga eksperimento	Optimizely, VWO, AB Tasty, Kameleoon, mga kahalili ng Google Optimize, Convert
Mga feature flag	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Mga Talagang Nangyaring Pagtatalaga Lamang

Pinakamalinaw na halimbawa ang VWO: kinukuha lamang namin ang campaign kung ang status ay RUNNING at talagang may naitalagang combination sa bisitang ito. Walang sinasabi tungkol sa nanonood ang campaign na tinukoy lamang, at magsisinungaling ang bawat susunod na filter kung isusulat iyon sa session.

May mga Sagot na Huling Dumarating

Asynchronous ang ConfigCat; callback ang sagot ng Snowplow. Nasa buffer ang mga value at kinukuha sa susunod na pagsusuri sa halip na hintayin - mas malaki na ang pinsala kaysa sa pakinabang ng bridge na humaharang sa pahina para malaman ang pangalan ng variant.

3. Ano ang Gastos sa Inyong Pahina

Walang masusukat. Walang network request mula sa amin, walang dagdag na script, at walang anumang trabaho kapag naka-off ang bridge.

Ginagawa ng naka-embed na tool ang sarili nitong trabaho bumasa man kami o hindi. Isang pagbasa lamang ang idinaragdag namin, ilang beses, hanggang may sagot ang tool o lumipas ang dalawampung pagtatangka.

Bakit Dalawampu sa Halip na Walang Hanggan

Madalas nahuhuli sa amin ang pag-load ng mga experiment tool. Halos lahat ng pagtatalaga ay hindi makukuha sa iisang pagbasa; walang katapusang poll naman ang magpapanatili ng timer sa bawat pahina para sa value na hindi darating. Dalawampung pagtatangka tuwing kalahating segundo ang kompromiso, gaya ng mga consent adapter sa parehong dahilan.

4. Saan Ito Sulit

• Variant na mas mahina ang resulta ngunit walang makapagsabi kung bakit. I-filter sa variant na iyon, iayos ayon sa rage click, at panoorin ang tatlong session. Karaniwang makikita ang dahilan sa una.
• Flag na inilunsad sa 5 % ng mga user. Ang limang porsiyentong iyon mismo ang mga session na nais ninyong panoorin, at kung walang bridge, walang paraan upang hanapin ang mga ito.
• Test na mukhang walang pagkakaiba. Minsan parehong mahina ang dalawang variant sa parehong lugar, at hindi iyon masasabi ng experiment tool - mga kabuuan lamang ang inihahambing nito.