توان آماری

توان آماری احتمال این است که یک آزمایش، اگر اثری واقعی هست، واقعا آن را تشخیص دهد. معمولا هدف ۸۰ درصد یا بالاتر است.

معناداری از یک نوع خطا محافظت می‌کند (اعلام اثر وقتی اثری نیست) و توان آماری از خطای متقارن آن (ندیدن اثر وقتی واقعا هست). آزمایش کم‌توان خطرناک است، چون نتیجه «معنادار نشد» را می‌دهد و تیم به‌اشتباه فکر می‌کند تغییر بی‌اثر بوده است؛ در حالی که آزمایش فقط چشم دیدن آن اثر را نداشته است. توان به سه چیز بستگی دارد: اندازه نمونه، اندازه اثری که دنبالش هستید و پراکندگی داده. برای همین توان را باید پیش از آزمایش حساب کرد تا مطمئن شوید آزمایش ارزش اجرا دارد. اجرای آزمایش کم‌توان اتلاف ترافیک و زمان است، چون حتی اگر تغییرتان واقعا خوب باشد، احتمال زیادی هست که آزمایش آن را نبیند.