Expérimentations et indicateurs de fonctionnalité

1. La question à laquelle elle répond

Votre outil d’expérimentation vous indique que la variante B convertit 12 % moins bien. Il ne vous dit pas pourquoi, et ne peut pas vous montrer une seule personne qui rencontre des difficultés avec elle.

Cette passerelle comble ce manque de la manière la plus légère possible : elle lit la variante attribuée dans l’outil que vous utilisez déjà et l’associe à la session MousePlayer. Dès lors, « montrez-moi les sessions qui ont vu la variante B et effectué des clics de rage » devient un filtre plutôt qu’un projet de recherche.

2. Les outils et leur règle commune

Six outils A/B et cinq fournisseurs d’indicateurs de fonctionnalité, tous lus dans le navigateur via leur propre API publique.

Type	Outils
A/B et expérimentations	Optimizely, VWO, AB Tasty, Kameleoon, successeurs de Google Optimize, Convert
Indicateurs de fonctionnalité	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Uniquement les attributions réellement effectuées

VWO illustre le mieux cette règle : nous ne retenons une campagne que si son statut est RUNNING et qu’une combinaison a réellement été attribuée à ce visiteur. Une campagne simplement définie ne dit rien de la personne qui consulte la page ; l’inscrire dans la session fausserait tous les filtres ultérieurs.

Certaines réponses arrivent plus tard

ConfigCat répond de manière asynchrone ; Snowplow utilise une fonction de rappel. Leurs valeurs sont mises en mémoire tampon et récupérées au passage suivant, sans les attendre : une passerelle qui bloque la page pour connaître le nom d’une variante coûte déjà plus qu’elle ne rapporte.

3. Le coût pour votre page

Rien de mesurable. Aucune requête réseau de notre part, aucun script supplémentaire, et aucun traitement lorsque la passerelle est désactivée.

L’outil que vous intégrez déjà effectue son travail que nous le lisions ou non. Nous ajoutons une lecture, répétée quelques fois, jusqu’à ce que l’outil ait une réponse ou que vingt tentatives aient eu lieu.

Pourquoi vingt tentatives plutôt qu’une attente infinie

Les outils d’expérimentation se chargent souvent après nous. Une seule lecture manquerait presque toutes les attributions ; une vérification sans fin garderait un minuteur actif sur chaque page pour une valeur qui n’arrivera pas. Vingt tentatives espacées d’une demi-seconde sont le compromis retenu, comme pour les adaptateurs de consentement et pour la même raison.

4. Les situations où cette passerelle est utile

• Une variante obtient de moins bons résultats sans raison identifiée. Filtrez sur cette variante, triez par clics de rage et regardez trois sessions. La raison est généralement visible dès la première.
• Un indicateur de fonctionnalité déployé auprès de 5 % des utilisateurs. Ces cinq pour cent correspondent exactement aux sessions que vous voulez regarder ; sans cette passerelle, vous n’avez aucun moyen de les retrouver.
• Un test qui semble sans effet. Parfois, les deux variantes sont aussi mauvaises au même endroit, ce que l’outil d’expérimentation ne peut pas vous dire : il compare uniquement les totaux.