Thử nghiệm và feature flag
Người này thực sự đã thấy biến thể nào? Cầu nối ghi câu trả lời vào phiên để bạn lọc bản ghi theo biến thể thay vì đoán.
1. Câu hỏi được giải đáp
Công cụ thử nghiệm cho biết biến thể B chuyển đổi kém hơn 12 %. Nhưng không cho biết vì sao và không cho bạn thấy một người cụ thể đang gặp khó khăn với nó.
Cầu nối lấp khoảng trống theo cách ít tốn kém nhất: đọc phân bổ biến thể từ công cụ đang chạy rồi gắn vào phiên MousePlayer. Từ đó, “hiển thị phiên đã thấy biến thể B và nhấp do bực bội” là bộ lọc, không phải dự án nghiên cứu.
Không gửi gì đến công cụ thử nghiệm. Chúng tôi chỉ đọc điều công cụ đã quyết định. Thử nghiệm chưa từng chạy hoặc khách chưa được phân nhóm không tạo gì - đó là kết quả đúng, không phải thất bại.
2. Các công cụ và quy tắc chung
Sáu công cụ A/B và năm nhà cung cấp feature flag, tất cả được đọc trong trình duyệt qua API công khai của chính công cụ.
| Loại | Công cụ |
|---|---|
| A/B và thử nghiệm | Optimizely, VWO, AB Tasty, Kameleoon, các công cụ kế nhiệm Google Optimize, Convert |
| Feature flag | LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash |
Chỉ những phân bổ thực sự đã diễn ra
VWO là ví dụ rõ nhất: chỉ lấy chiến dịch khi trạng thái là RUNNING và thực sự đã gán tổ hợp cho khách này. Chiến dịch chỉ được định nghĩa không nói gì về người đang xem và ghi vào phiên sẽ khiến mọi bộ lọc sau đó sai.
Một số câu trả lời đến muộn
ConfigCat xử lý bất đồng bộ; Snowplow phản hồi qua callback. Giá trị vào bộ đệm và được lấy trong lượt tiếp theo thay vì chờ - cầu nối chặn trang để biết tên biến thể đã tốn nhiều hơn giá trị mang lại.
3. Chi phí đối với trang
Không có gì đo được. Chúng tôi không gửi yêu cầu mạng, không có tập lệnh thêm và hoàn toàn không làm gì khi cầu nối tắt.
Công cụ bạn đã nhúng vẫn tự làm việc dù chúng tôi đọc hay không. Chúng tôi thêm một lần đọc, lặp vài lần cho đến khi công cụ có câu trả lời hoặc qua hai mươi lần thử.
Vì sao hai mươi lần thay vì mãi mãi
Công cụ thử nghiệm thường tải sau chúng tôi. Đọc một lần sẽ bỏ lỡ hầu hết phân bổ; kiểm tra mãi sẽ giữ bộ hẹn giờ trên mọi trang cho một giá trị không đến. Hai mươi lần mỗi nửa giây là điểm cân bằng, giống các bộ điều hợp sự đồng ý vì cùng lý do.
4. Nơi tính năng mang lại giá trị
- Biến thể có kết quả kém hơn nhưng không ai biết vì sao. Lọc biến thể đó, sắp xếp theo lượt nhấp do bực bội, xem ba phiên. Lý do thường hiện rõ trong phiên đầu.
- Feature flag triển khai cho 5 % người dùng. Năm phần trăm đó chính là các phiên bạn muốn xem và không có cầu nối này thì không có cách tìm.
- Thử nghiệm có kết quả ngang nhau. Đôi khi cả hai biến thể đều tệ như nhau ở cùng vị trí và công cụ thử nghiệm không thể cho biết - chỉ so sánh tổng số.
Biến thể trở thành thuộc tính phiên thông thường nên cũng đi vào mọi cầu nối khác: ghi chú CRM, dữ liệu xuất kho và công cụ MCP đều thấy.
Mọi nhãn hiệu nêu ở đây thuộc chủ sở hữu tương ứng. MousePlayer không có quan hệ kinh doanh với các nhà cung cấp này.