مدت آزمایش

مدت آزمایش بازه‌ای است که یک آزمایش باید اجرا شود تا داده کافی برای نتیجه قابل‌اتکا جمع شود؛ نه کمتر و نه بیشتر.

مدت آزمایش یک تصمیم آماری است، نه حسی. این مدت از روی حجم نمونه لازم و ترافیک روزانه محاسبه می‌شود و کوتاه‌کردن آن خطر نتیجه دروغین دارد. دو خطای رایج و متقارن در اینجا هست: توقف زودهنگام درست وقتی که عدد خوب شده (که تصادف را به‌جای قطعیت جا می‌زند) و کشیدن بی‌پایان آزمایش تا نتیجه بالاخره «معنادار» شود. علاوه بر حجم، مدت آزمایش باید حداقل یک چرخه کامل هفتگی را بپوشاند، چون رفتار کاربر آخر هفته با وسط هفته فرق دارد. آزمایشی که فقط سه روز کاری اجرا شود، الگوی آخر هفته را جا می‌اندازد. قاعده این است که مدت را قبل از شروع تعیین کنید و به آن پایبند بمانید.