Experimente und Flags

1. Die Frage, die das beantwortet

Ihr Experimentwerkzeug sagt Ihnen, dass Variante B 12 % schlechter konvertiert. Es sagt Ihnen nicht, warum, und es kann Ihnen keinen einzigen Menschen zeigen, der daran scheitert.

Diese Brücke schließt die Lücke auf dem billigsten denkbaren Weg: sie liest die Variantenzuweisung aus dem Werkzeug, das Sie ohnehin betreiben, und hängt sie an die MousePlayer-Sitzung. Ab da ist „zeig mir Sitzungen, die Variante B gesehen und wütend geklickt haben" ein Filter und kein Forschungsvorhaben.

2. Die Werkzeuge, und die eine Regel, die sie teilen

Sechs A/B-Werkzeuge und fünf Flag-Anbieter, alle im Browser gelesen, alle über die öffentliche API des jeweiligen Werkzeugs.

Art	Werkzeuge
A/B und Experimente	Optimizely, VWO, AB Tasty, Kameleoon, Nachfolger von Google Optimize, Convert
Feature Flags	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Nur Zuweisungen, die wirklich stattgefunden haben

VWO ist das deutlichste Beispiel für die Regel: eine Kampagne wird nur übernommen, wenn ihr Status RUNNING ist und diesem Besucher tatsächlich eine Kombination zugewiesen wurde. Eine bloß angelegte Kampagne sagt nichts über den Menschen aus, der gerade zusieht - sie an die Sitzung zu schreiben würde jeden späteren Filter zur Lüge machen.

Manche Antworten kommen spät

ConfigCat antwortet asynchron, Snowplow über einen Rückruf. Ihre Werte landen in einem Puffer und werden beim nächsten Durchlauf abgeholt, statt auf sie zu warten - eine Brücke, die die Seite anhält, um einen Variantennamen zu erfahren, hat schon mehr gekostet, als sie wert ist.

3. Was es Ihre Seite kostet

Nichts Messbares. Es gibt keinen Netzaufruf von uns, kein zusätzliches Skript, und bei ausgeschalteter Brücke überhaupt keine Arbeit.

Das Werkzeug, das Sie ohnehin einbinden, tut seine Arbeit, ob wir daraus lesen oder nicht. Wir fügen einen Lesevorgang hinzu, ein paarmal wiederholt, bis das Werkzeug eine Antwort hat oder zwanzig Versuche vorbei sind.

Warum zwanzig und nicht endlos

Experimentwerkzeuge laden oft nach uns. Ein einzelner Lesevorgang verpasste fast jede Zuweisung; ein endloser Takt hielte auf jeder Seite einen Zeitgeber am Leben, für einen Wert, der nicht mehr kommt. Zwanzig Versuche im Halbsekundentakt sind der Ausgleich - dieselbe Abwägung, die die Einwilligungs-Adapter aus demselben Grund treffen.

4. Wo sich das bezahlt macht

• Eine Variante, die aus einem Grund schlechter abschneidet, den niemand benennen kann. Auf diese Variante filtern, nach Wutklicks sortieren, drei Sitzungen ansehen. Der Grund steht meist schon in der ersten.
• Ein Flag, das auf 5 % der Nutzer ausgerollt ist. Genau diese fünf Prozent wollen Sie ansehen - und ohne diese Brücke gibt es keinen Weg, sie zu finden.
• Ein Test, der flach aussieht. Manchmal sind beide Varianten an derselben Stelle gleich schlecht, und das kann das Experimentwerkzeug nicht sagen - es vergleicht nur Summen.