Experimentos e indicadores

Que variante viu realmente esta persoa? A ponte escribe a resposta na sesión para poder filtrar gravacións pola variante en lugar de adiviñar.

1. A pregunta que responde

A ferramenta de experimentación di que a variante B converte un 12 % peor. Non di por que nin pode mostrar unha persoa concreta con dificultades nela.

Esta ponte cobre o oco da maneira máis barata posible: le a asignación da variante da ferramenta que xa usa e engádea á sesión MousePlayer. Desde entón «mostrar sesións que viron a variante B e fixeron clics de rabia» é un filtro, non un proxecto de investigación.

Non se envía nada á ferramenta de experimentación. Só lemos o que xa decidiu. Un experimento que nunca se executou ou un visitante nunca asignado a un grupo non produce nada; é o resultado correcto, non un fallo.

2. As ferramentas e a regra común

Seis ferramentas A/B e cinco provedores de indicadores, todos lidos no navegador mediante a súa propia API pública.

TipoFerramentas
A/B e experimentosOptimizely, VWO, AB Tasty, Kameleoon, sucesores de Google Optimize, Convert
Indicadores de funciónsLaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Só asignacións que realmente ocorreron

VWO é o exemplo máis claro: só tomamos unha campaña cando o seu estado é RUNNING e realmente se asignou unha combinación a este visitante. Unha campaña simplemente definida non di nada da persoa que mira e escribila na sesión falsearía todos os filtros posteriores.

Algunhas respostas chegan tarde

ConfigCat resólvese de maneira asíncrona e Snowplow responde por callback. Os valores chegan a un búfer e recóllense na seguinte pasada en lugar de agardar por eles; unha ponte que bloquea a páxina para coñecer o nome dunha variante xa custou máis do que vale.

3. Que lle custa á páxina

Nada medible. Non hai peticións de rede nosas, ningún script adicional nin traballo ningún coa ponte desactivada.

A ferramenta integrada fai o seu traballo tanto se lemos dela como se non. Engadimos unha lectura unhas poucas veces ata que teña resposta ou pasen vinte intentos.

Por que vinte e non indefinidamente

As ferramentas de experimentación adoitan cargarse despois de nós. Unha lectura perdería case todas as asignacións; consultar sen fin mantería un temporizador en cada páxina por un valor que non chega. Vinte intentos a intervalos de medio segundo é o compromiso, o mesmo que fan os adaptadores de consentimento polo mesmo motivo.

4. Onde demostra a súa utilidade

  • Unha variante que funciona peor por un motivo descoñecido. Filtre esa variante, ordene por clics de rabia e vexa tres sesións. O motivo adoita verse na primeira.
  • Un indicador activado para o 5 % dos usuarios. Eses cinco por cento son exactamente as sesións que quere ver e sen esta ponte non hai maneira de atopalas.
  • Unha proba que non mostra diferenzas. Ás veces ambas as variantes son igual de malas no mesmo lugar e a ferramenta de experimentación non pode dicilo, só compara totais.

A variante chega como atributo de sesión normal, polo que tamén viaxa ás demais pontes: a nota CRM, a exportación do almacén de datos e as ferramentas MCP tamén a ven.

Todas as marcas mencionadas aquí pertencen aos seus respectivos propietarios. MousePlayer non ten relación comercial con estes provedores.