Experimentos e feature flags

1. A pergunta que esta ponte responde

Sua ferramenta de experimentos informa que a variante B converte 12 % menos. Ela não diz por quê, nem mostra uma única pessoa enfrentando dificuldades com ela.

Esta ponte preenche essa lacuna com o menor esforço possível: lê a variante atribuída na ferramenta que você já usa e a associa à sessão do MousePlayer. A partir daí, “mostrar sessões que viram a variante B e tiveram cliques de raiva” vira um filtro, sem exigir um projeto de pesquisa.

2. As ferramentas e a regra que todas compartilham

Seis ferramentas de testes A/B e cinco fornecedores de feature flags, todos consultados no navegador pela API pública da própria ferramenta.

Tipo	Ferramentas
A/B e experimentos	Optimizely, VWO, AB Tasty, Kameleoon, sucessores do Google Optimize, Convert
Feature flags	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Somente atribuições que realmente ocorreram

O VWO é o exemplo mais claro da regra: consideramos uma campanha somente quando seu status é RUNNING e uma combinação foi realmente atribuída a esse visitante. Uma campanha apenas definida não informa nada sobre a pessoa que está na página, e gravá-la na sessão tornaria incorretos todos os filtros posteriores.

Algumas respostas chegam depois

O ConfigCat resolve os valores de forma assíncrona; o Snowplow responde por callback. Os valores ficam em um buffer e são coletados na próxima passagem, sem bloquear a execução à espera deles. Uma ponte que bloqueia a página para descobrir o nome de uma variante já custou mais do que vale.

3. O custo para sua página

Nada mensurável. Não fazemos solicitações de rede, não adicionamos scripts e não executamos trabalho algum quando a ponte está desativada.

A ferramenta já incorporada faz seu próprio trabalho, independentemente de consultarmos seus dados. Acrescentamos apenas uma leitura, repetida algumas vezes, até que a ferramenta tenha uma resposta ou sejam feitas vinte tentativas.

Por que vinte tentativas em vez de tentar para sempre

Ferramentas de experimentos costumam carregar depois de nós. Uma única leitura perderia quase todas as atribuições; uma consulta infinita manteria um temporizador ativo em cada página à espera de um valor que não chegará. Vinte tentativas em intervalos de meio segundo são o equilíbrio adotado, o mesmo dos adaptadores de consentimento, pelo mesmo motivo.

4. Onde isso faz diferença

• Uma variante com desempenho pior, sem que ninguém saiba explicar o motivo. Filtre por essa variante, ordene por cliques de raiva e assista a três sessões. O motivo costuma ficar visível já na primeira.
• Uma feature flag liberada para 5 % dos usuários. Esses cinco por cento são exatamente as sessões que você quer assistir, e sem esta ponte não há como encontrá-las.
• Um teste que parece não fazer diferença. Às vezes, as duas variantes são igualmente ruins no mesmo ponto, e a ferramenta de experimentos não consegue mostrar isso: ela apenas compara os totais.