ექსპერიმენტები და ალმები

1. რომელ კითხვას პასუხობს

ექსპერიმენტის ხელსაწყო ამბობს, რომ B ვარიანტი 12 %-ით უარესად კონვერტირდება. არ ამბობს, რატომდა ვერ გაჩვენებთ მასთან მებრძოლ ერთ ადამიანსაც.

ხიდი ამ ხარვეზს ყველაზე იაფი გზით ავსებს: არსებული ხელსაწყოდან ვარიანტის მინიჭებას კითხულობს და MousePlayer-ის სესიას ურთავს. შემდეგ „მაჩვენე B ვარიანტისა და გაბრაზებული დაწკაპუნების სესიები“ ფილტრია და არა კვლევა.

2. ხელსაწყოები და მათი საერთო წესი

ექვსი A/B ხელსაწყო და ხუთი ალმების პროვაიდერი; ყველა ბრაუზერში, საკუთარი საჯარო API-ით იკითხება.

სახეობა	ხელსაწყოები
A/B და ექსპერიმენტები	Optimizely, VWO, AB Tasty, Kameleoon, Google Optimize-ის შემცვლელები, Convert
ფუნქციის ალმები	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

მხოლოდ რეალურად მომხდარი მინიჭებები

VWO ყველაზე ნათელი მაგალითია: კამპანიას მხოლოდ მაშინ ვიღებთ, როცა მდგომარეობაა RUNNING და კომბინაცია ამ ვიზიტორს რეალურად მიენიჭა. მხოლოდ განსაზღვრული კამპანია ადამიანზე არაფერს ამბობს და სესიაზე ჩაწერა მომავალ ფილტრებს გააყალბებდა.

ზოგი პასუხი გვიან მოდის

ConfigCat ასინქრონულია; Snowplow callback-ით პასუხობს. მნიშვნელობები ბუფერში რჩება და მომდევნო შემოწმებაზე მიიღება ლოდინის ნაცვლად — ვარიანტის სახელისთვის გვერდის დამბლოკავმა ხიდმა სარგებელზე მეტი უკვე დახარჯა.

3. რა უჯდება თქვენს გვერდს

გაზომვადი არაფერი. არც ჩვენი ქსელური მოთხოვნა, არც დამატებითი სკრიპტი; გამორთვისას მუშაობა საერთოდ არ არის.

უკვე ჩასმული ხელსაწყო თავის საქმეს ჩვენს წაკითხვასთან დამოუკიდებლად აკეთებს. ჩვენ ვამატებთ რამდენიმე წაკითხვას, სანამ პასუხი მოვა ან ოცი ცდა გავა.

რატომ ოცი და არა სამუდამოდ

ექსპერიმენტის ხელსაწყოები ხშირად ჩვენს შემდეგ იტვირთება. ერთი კითხვა თითქმის ყველა მინიჭებას გამოტოვებდა; უსასრულო შემოწმება არმოსული მნიშვნელობისთვის ყოველ გვერდზე ტაიმერს დატოვებდა. ოცი ცდა ნახევარწამიანი ინტერვალით კომპრომისია — იგივე, რაც თანხმობის ადაპტერებში, იმავე მიზეზით.

4. სად ამართლებს თავს

• ვარიანტი, რომელიც უცნობი მიზეზით უარეს შედეგს იძლევა. გაფილტრეთ ამ ვარიანტით, დაალაგეთ გაბრაზებული დაწკაპუნებებით და სამ სესიას უყურეთ. მიზეზი ჩვეულებრივ პირველშივე ჩანს.
• ალამი, რომელიც მომხმარებელთა 5 %-ზე გავრცელდა. სწორედ ეს ხუთი პროცენტია სანახავი სესიები და ხიდის გარეშე მათი პოვნა შეუძლებელია.
• ტესტი, რომელსაც სხვაობა არ უჩანს. ზოგჯერ ორივე ვარიანტი ერთსა და იმავე ადგილას თანაბრად ცუდია და ხელსაწყო ამას ვერ გეუბნებათ — მხოლოდ ჯამებს ადარებს.