وقتی نتیجه مطالعه من معنی‌دار نشد!

سال‌هاست که در بسیاری از مجلات علمی، مطالعاتی که دارای P-value کمتر از ۰٫۰۵ هستند، شانس بیشتری برای چاپ دارند. این موضوع باعث ایجاد پدیده‌ای به نام Publication Bias یا «سوگیری انتشار» شده است؛ یعنی مطالعاتی با نتایج مثبت و معنی‌دار بیشتر منتشر می‌شوند و مطالعات با نتایج  غیرمعنی دارکمتر دیده می‌شوند . به این صورت بسیاری از پژوهشگران، به‌ویژه در نخستین تجربه‌های تحقیقاتی خود، زمانی که نتایج مطالعه‌شان از نظر آماری معنی‌دار نمی‌شود، احساس می‌کنند فرضیه اولیه «شکست خورده» یا ارزش انتشار ندارد.

اما این در حالی است که در دنیای علم، نتایج غیرمعنی‌دار (non-significant results) نیز می‌توانند بسیار ارزشمند و قابل‌توجه باشند.
برای درک بهتر این موضوع دقت کنیم که بررسی‌های علمی نشان داده‌اند که مطالعات دارای نتایج مثبت، حدود ۲ تا ۴ برابر بیشتر از مطالعات غیرمعنی‌دار منتشر می‌شوند. در برخی گزارش‌ها، حدود ۷۰ درصد مطالعات با نتایج مثبت در مجلات نمایه شده منتشر شده‌اند، در حالی‌که این میزان برای مطالعات غیرمعنی‌دار حدود ۴۰ درصد بوده است. این مسئله می‌تواند تصویر نادرستی از واقعیت علمی ایجاد کند و حتی در متاآنالیزها باعث بزرگ‌نمایی اثر درمان‌ها شود.
اما نکته مهم این است که «معنی‌دار نبودن آماری» الزاماً به معنای «بی‌اثر بودن» یا «بی‌ارزش بودن» مطالعه نیست. گاهی حجم نمونه کم  و توان مطالعه کافی نیست، یا اندازه اثر کوچک اما واقعی است. به همین دلیل امروزه توصیه می‌شود پژوهشگران تنها به P-value توجه نکنند.
در سالهای اخیر با گسترش ثبت کارآزمایی های بالین، اصول open science و الزام به ثبت پروتکل و تاکید بر گزارش همه نتایج و توجه به آلتمتریکس و در نظر گرفتن مجلاتی برای negative results  این مسئله تا حدی در حال پوشش است . در این خصوص  یکی از مهم‌ترین راهکارها، توجه به اندازه اثر (Effect Size) است. اندازه اثر نشان می‌دهد اختلاف یا ارتباط مشاهده ‌شده تا چه حد از نظر واقعی و بالینی اهمیت دارد، نه فقط از نظر آماری.

 ممکن است مطالعه‌ای از نظر آماری معنی‌دار نباشد، اما اندازه اثر آن قابل‌توجه و از نظر بالینی مهم باشد. برعکس، گاهی یک اختلاف بسیار کوچک فقط به دلیل حجم نمونه بالا، از نظر آماری معنی‌دار می‌شود ولی اهمیت عملی چندانی ندارد.
لذا ضروری است در کنار P-value، شاخص‌هایی مانند اندازه اثر، فاصله اطمینان (Confidence Interval) و اهمیت بالینی نتایج نیز گزارش شوند. در واقع آنچه مهم است توجه به این نکته است که علم تنها به دنبال «نتایج مثبت» نیست؛ بلکه به دنبال تصویری واقعی، دقیق و قابل اعتماد از حقیقت است.