実験とフラグ

1. 答えるべき問い

実験ツールは、バリアント B のコンバージョン率が12 %低いことを示します。しかし、 なぜ低いかは分からず、困っている一人の姿も見せられません。

この連携ブリッジは、できる限り小さい負担でその隔たりを埋めます。既に使っているツールからバリアントの割り当てを読み取り、MousePlayer のセッションに付加します。それ以降、「バリアント B を見て連打クリックしたセッションを表示」は、調査プロジェクトではなく、フィルターになります。

2. 対応ツールと共通の一つの規則

A/B ツール6種とフラグのプロバイダー5種を、すべてブラウザー内で、各ツール自身の公開 API を通じて読み取ります。

種類	ツール
A/B テストと実験	Optimizely、VWO、AB Tasty、Kameleoon、Google Optimize の後継ツール、Convert
フィーチャーフラグ	LaunchDarkly、ConfigCat、Flagsmith、Split、Unleash

実際に行われた割り当てのみ

この規則を最も明確に示すのが VWO です。キャンペーンを取得するのは、その状態が RUNNING であり、かつ この訪問者に実際に組み合わせが割り当てられている場合だけです。定義されただけのキャンペーンでは、閲覧している人について何も分かりません。それをセッションに書き込むと、後のフィルターすべてが虚偽になってしまいます。

一部の答えは遅れて届きます

ConfigCat は非同期で解決し、Snowplow はコールバックで応答します。値はバッファーに入り、待ち続けるのではなく、次の処理で取り込みます。バリアント名を知るためにページをブロックする連携ブリッジは、その時点で価値以上の負担を生んでいるためです。

3. ページにかかる負担

測定できるほどのものはありません。当社によるネットワークリクエストも追加スクリプトもなく、無効にした連携ブリッジは一切処理しません。

既に埋め込まれたツールは、当社が読み取るかどうかに関係なく動作しています。追加するのは、ツールが答えを返すか、20回の試行を終えるまで、数回読み取る処理だけです。

永久ではなく20回にする理由

実験ツールは、当社の後に読み込まれることがよくあります。一度だけではほとんどの割り当てを逃し、無限に確認すると、現れない値のために各ページのタイマーが残り続けます。0.5秒間隔で20回という折衷案は、同意アダプターが同じ理由で採用しているものです。

4. 特に役立つ場面

• 理由が分からないまま成績が悪いバリアント。 そのバリアントで絞り込み、連打クリック順に並べ、3セッションを見ます。通常は最初の一つで理由が分かります。
• ユーザーの5 %に公開されたフラグ。 その5%のセッションこそ確認したい対象ですが、この連携ブリッジがなければ見つけられません。
• 差がないように見えるテスト。 両方のバリアントが同じ箇所で同じように悪い場合があります。実験ツールは集計値を比べるだけなので、それを伝えられません。