آزمایش

آزمایش یعنی کاربران به‌صورت تصادفی بین دو یا چند نسخه از یک تغییر تقسیم شوند تا تفاوت در متریک هدف به خود آن تغییر نسبت داده شود.

کار اصلی را تصادفی‌سازی انجام می‌دهد: گروه‌ها را در هر متغیری که تحلیلگر حتی به فکر اندازه‌گیری‌اش هم نبوده هم‌سنگ می‌کند، پس تفاوت باقی‌مانده قابل انتساب به همان نسخه است. نتیجه با یک آستانه معناداری سنجیده می‌شود (معمولا مقدار p کمتر از ۰٫۰۵) و این عدد فقط می‌گوید اگر نسخه جدید هیچ اثری نداشت، چند وقت یک‌بار داده‌ای به این شدت دیده می‌شد. همین‌جا بیشترین برداشت اشتباه رخ می‌دهد: این عدد احتمال درست بودن نسخه جدید نیست، و نتیجه بالاتر از آستانه هم به معنای برابر بودن دو نسخه نیست، فقط یعنی آزمایش نتوانسته آن‌ها را از هم تفکیک کند. توقف آزمایش در همان لحظه‌ای که داشبورد معنادار می‌شود، نرخ مثبت کاذب را بسیار بالاتر از سطح اعلام‌شده می‌برد؛ به همین دلیل حجم نمونه و مدت اجرا پیش از شروع تثبیت می‌شوند.