ניסויים ודגלים

1. השאלה שעליה הוא עונה

כלי הניסויים מספר שגרסה B ממירה ב-12 % פחות. הוא אינו מספר למה, ואינו יכול להראות אפילו אדם אחד שמתקשה איתה.

הגשר סוגר פער זה בדרך החסכונית ביותר: קורא את שיוך הגרסה מהכלי שכבר פועל ומצרף אותו לסשן MousePlayer. מכאן והלאה, “להציג סשנים שראו את גרסה B וביצעו לחיצות זעם” הוא מסנן, לא פרויקט מחקר.

2. הכלים והכלל המשותף להם

שישה כלי A/B וחמישה ספקי דגלים, כולם נקראים בדפדפן דרך ה-API הציבורי של הכלי עצמו.

סוג	כלים
A/B וניסויים	Optimizely, VWO, AB Tasty, Kameleoon, יורשי Google Optimize, Convert
דגלי תכונות	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

רק שיוכים שהתרחשו בפועל

VWO היא הדוגמה הברורה ביותר לכלל: אנו לוקחים קמפיין רק כשמצבו הוא RUNNING וגם צירוף הוקצה בפועל למבקר זה. קמפיין שרק הוגדר אינו מלמד דבר על האדם שצופה, וכתיבתו בסשן הייתה הופכת כל מסנן עתידי למטעה.

חלק מהתשובות מגיעות מאוחר

ConfigCat פותרת באופן אסינכרוני; Snowplow משיבה ב-callback. הערכים שלהן נשמרים במאגר ונאספים במעבר הבא במקום להמתין להם — גשר שחוסם את הדף כדי ללמוד שם גרסה כבר עלה יותר מתועלתו.

3. המחיר לדף שלך

שום דבר שניתן למדוד. אין בקשת רשת שלנו, אין סקריפט נוסף, וכשהגשר כבוי אין עבודה כלל.

הכלי שכבר מוטמע מבצע את עבודתו בין אם נקרא ממנו ובין אם לא. אנו מוסיפים קריאה אחת, מספר מצומצם של פעמים, עד שלכלי יש תשובה או שחלפו עשרים ניסיונות.

מדוע עשרים ולא לתמיד

כלי ניסויים נטענים לעיתים אחרינו. קריאה יחידה הייתה מחמיצה כמעט כל שיוך; בדיקה אינסופית הייתה משאירה טיימר פעיל בכל דף עבור ערך שלא יגיע. עשרים ניסיונות במרווחי חצי שנייה הם הפשרה, אותה פשרה של מתאמי ההסכמה ומאותה סיבה.

4. היכן זה משתלם

• גרסה שמצליחה פחות מסיבה שאיש אינו יודע להסביר. סינון לגרסה זו, מיון לפי לחיצות זעם וצפייה בשלושה סשנים. בדרך כלל הסיבה נראית כבר בראשון.
• דגל שהופעל עבור 5 % מהמשתמשים. חמשת האחוזים האלה הם בדיוק הסשנים שכדאי לצפות בהם, וללא הגשר אין דרך לאתר אותם.
• ניסוי שנראה ללא הבדל. לעיתים שתי הגרסאות גרועות באותה מידה באותו מקום, וכלי הניסויים אינו יכול לגלות זאת — הוא משווה רק סיכומים.