معناداری آماری

معناداری آماری یعنی تفاوتی که در داده می‌بینید آن‌قدر بزرگ است که به‌احتمال زیاد از تصادف نیامده است، نه اینکه آن تفاوت لزوما مهم یا بزرگ باشد.

معناداری آماری فقط به یک سوال جواب می‌دهد: «اگر هیچ تفاوت واقعی نبود، دیدن چنین داده‌ای چقدر محتمل بود؟» اگر این احتمال کم باشد، نتیجه معنادار خوانده می‌شود. بزرگ‌ترین سوءتفاهم این است که معناداری را با اهمیت یکی بگیرند. روی نمونه خیلی بزرگ، حتی یک تفاوت ناچیز و بی‌ارزش هم معنادار می‌شود و برعکس روی نمونه کوچک، یک تفاوت مهم ممکن است معنادار نشود. تله رایج دیگر، نگاه‌کردن پی‌درپی به نتیجه و توقف در لحظه‌ای است که معنادار شده است. این کار احتمال نتیجه دروغین را چند برابر می‌کند. معناداری را همیشه باید کنار اندازه اثر و بازه اطمینان خواند تا هم بدانید تفاوت واقعی است و هم بفهمید چقدر بزرگ است.