Eksperimenti un karodziņi

1. Uz kuru jautājumu tas atbild

Jūsu eksperimentu rīks pasaka, ka variantam B reklāmguvumu līmenis ir par 12 % sliktāks. Tas nepasaka, kāpēc, un nevar parādīt nevienu cilvēku, kuram ar to ir grūtības.

Šis tilts novērš plaisu vislētākajā iespējamajā veidā: tas nolasa varianta piešķīrumu no rīka, kuru jau izmantojat, un pievieno to MousePlayer sesijai. Kopš tā brīža „parādiet sesijas, kas redzēja variantu B un veica dusmu klikšķus“ ir filtrs, nevis pētniecības projekts.

2. Rīki un viens kopīgs noteikums

Seši A/B rīki un pieci karodziņu nodrošinātāji — visi tiek nolasīti pārlūkā, visi caur paša rīka publisko API.

Veids	Rīki
A/B un eksperimenti	Optimizely, VWO, AB Tasty, Kameleoon, Google Optimize pēcteči, Convert
Funkciju karodziņi	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Tikai patiesi notikuši piešķīrumi

VWO ir skaidrākais šā noteikuma piemērs: kampaņu ņemam tikai tad, ja tās statuss ir RUNNING un šim apmeklētājam patiešām ir piešķirta kombinācija. Tikai definēta kampaņa neko nepasaka par skatītāju, un tās ierakstīšana sesijā padarītu maldinošus visus turpmākos filtrus.

Dažas atbildes pienāk vēlu

ConfigCat atbild asinhroni; Snowplow atbild ar atzvanfunkciju. Vērtības nonāk buferī un tiek paņemtas nākamajā pārbaudes reizē, nevis gaidītas, — tilts, kas bloķē lapu, lai uzzinātu varianta nosaukumu, jau ir maksājis vairāk, nekā vērts.

3. Ko tas maksā jūsu lapai

Neko izmērāmu. Nav mūsu tīkla pieprasījuma, papildu skripta un vispār nekāda darba, ja tilts ir izslēgts.

Jau iegultais rīks dara savu darbu neatkarīgi no tā, vai mēs to nolasām. Mēs pievienojam vienu nolasīšanu dažas reizes, līdz rīkam ir atbilde vai ir pagājuši divdesmit mēģinājumi.

Kāpēc divdesmit, nevis bezgalīgi

Eksperimentu rīki bieži ielādējas pēc mums. Viena nolasīšana palaistu garām gandrīz katru piešķīrumu; bezgalīga pārbaude uzturētu taimeri katrā lapā vērtībai, kas nepienāks. Divdesmit mēģinājumi ar pussekundes intervālu ir kompromiss — tas pats, ko tā paša iemesla dēļ izmanto piekrišanas adapteri.

4. Kur tas sevi attaisno

• Variants, kura pārbaudes rezultāti ir sliktāki nevienam nezināma iemesla dēļ. Atlasiet šo variantu, sakārtojiet pēc dusmu klikšķiem un noskatieties trīs sesijas. Iemesls parasti ir redzams jau pirmajā.
• Karodziņš, kas ieviests 5 % lietotāju. Tieši šie pieci procenti ir sesijas, kuras vēlaties skatīties, un bez šī tilta tās nevar atrast.
• Tests, kas izskatās bez atšķirībām. Dažkārt abi varianti ir vienlīdz slikti vienā vietā, un eksperimentu rīks to nevar pateikt — tas tikai salīdzina kopsummas.