آستانه معناداری
پیشرفتهآستانه معناداری خط قراردادی است که پیش از آزمایش تعیین می‌کنید تا مشخص شود چقدر بعیدبودن نتیجه در فرض «نبود تفاوت»، آن را معنادار می‌کند.
آستانه معناداری همان عددی است که در عمل با مقدار p مقایسه می‌شود؛ رایج‌ترین آن ۵ درصد است، یعنی می‌پذیرید در بدترین حالت یک بار از هر بیست بار، تفاوتی که واقعی نیست را واقعی اعلام کنید. انتخاب این آستانه یک تصمیم درباره ریسک است نه یک قانون طبیعت: جایی که هزینه اشتباه بالاست (مثل تصمیم پزشکی یا مالی) آستانه سخت‌گیرانه‌تر می‌شود. خطای رایج، جابه‌جاکردن آستانه بعد از دیدن نتیجه است تا نتیجه «معنادار» شود؛ آستانه باید قبل از آزمایش قفل شود. نکته مهم دیگر آزمون چندگانه است: اگر همزمان بیست چیز را آزمایش کنید، به‌طور متوسط یکی‌شان تصادفا از آستانه ۵ درصد رد می‌شود، پس با آزمون‌های بیشتر باید آستانه را سخت‌تر گرفت.