실험 및 플래그

1. 이 기능이 답하는 질문

실험 도구는 변형 B의 전환 성과가 12 % 낮다고 알려 줍니다. 하지만 그 이유는 알려 주지 않으며, 그 변형에서 어려움을 겪는 사람 한 명도 보여 줄 수 없습니다.

이 브리지는 가능한 한 적은 부담으로 그 공백을 채웁니다. 이미 실행 중인 도구에서 변형 할당을 읽어 MousePlayer 세션에 붙입니다. 그 뒤에는 “변형 B를 보고 분노 클릭한 세션 표시”가 연구 과제가 아니라 필터가 됩니다.

2. 도구와 공통 규칙 하나

A/B 도구 6개와 플래그 제공업체 5개의 데이터를 모두 브라우저에서 각 도구의 공개 API로 읽습니다.

종류	도구
A/B 및 실험	Optimizely, VWO, AB Tasty, Kameleoon, Google Optimize 후속 도구, Convert
기능 플래그	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

실제로 이루어진 할당만

VWO가 이 규칙을 가장 명확히 보여 줍니다. 캠페인 상태가 RUNNING 이고 실제로 이 방문자에게 조합이 할당된 경우에만 캠페인을 가져옵니다. 정의만 된 캠페인은 보는 사람에 대해 아무것도 알려 주지 않습니다. 이를 세션에 기록하면 이후 모든 필터가 잘못된 결과를 내게 됩니다.

일부 응답은 늦게 도착합니다

ConfigCat은 비동기로 처리하고 Snowplow는 콜백으로 응답합니다. 응답을 기다리는 대신 값을 버퍼에 넣었다가 다음 확인 때 가져옵니다. 변형 이름을 알아내려고 페이지를 막는 브리지는 이미 그 가치보다 더 큰 비용을 치르게 하기 때문입니다.

3. 페이지에 주는 부담

측정할 만한 부담이 없습니다. 당사가 보내는 네트워크 요청도, 추가 스크립트도 없으며, 브리지가 꺼져 있으면 아무 작업도 하지 않습니다.

이미 삽입한 도구는 당사가 읽든 읽지 않든 자체 작업을 수행합니다. 당사가 추가하는 것은 도구에 응답이 생기거나 20번의 시도가 끝날 때까지 몇 차례 읽는 작업뿐입니다.

무한히 하지 않고 20번만 시도하는 이유

실험 도구는 당사 도구보다 늦게 로드되는 경우가 많습니다. 한 번만 읽으면 거의 모든 할당을 놓칩니다. 끝없이 확인하면 오지 않을 값을 위해 모든 페이지에서 타이머를 계속 유지하게 됩니다. 0.5초 간격으로 20번 시도하는 것이 절충안이며, 동의 어댑터도 같은 이유로 같은 방식을 사용합니다.

4. 유용하게 쓰이는 상황

• 아무도 이유를 설명하지 못하지만 테스트 성과가 더 나쁜 변형. 해당 변형으로 필터링하고 분노 클릭순으로 정렬한 뒤 세션 3개를 보세요. 보통 첫 번째부터 이유가 보입니다.
• 사용자 5 %에게 배포된 플래그. 그 5퍼센트가 바로 보고 싶은 세션입니다. 이 브리지가 없으면 찾아낼 방법이 없습니다.
• 차이가 없어 보이는 테스트. 두 변형 모두 같은 지점에서 똑같이 나쁜 경우도 있습니다. 실험 도구는 합계만 비교하므로 이를 알려 줄 수 없습니다.