اثرات بی‌پاسخی پرسش بر شاخص‌های روان‌سنجی: شواهدی بر نامناسب بودن راهکار حذف

نوع مقاله: مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری سنجش و اندازه‌گیری، دانشگاه علامه طباطبایی

2 دانشیار گروه سنجش و اندازه‌گیری، دانشگاه علامه طباطبایی

چکیده

بی‌پاسخی پرسش چالشی جدی پیش روی اندازه‌گیری‌ها در مطالعات بزرگ‌مقیاس است، مطالعاتی که نقشی اساسی در تصمیم‌گیری‌ها و سیاست‌گذاری مربوط به آموزش و فرهنگ ایفا می‌کنند. به دلیل ایجاد سوگیری و خطا در برآورد پارامترهای توزیع نمره‌ها و شاخص‌های روان‌سنجی، چالش بی‌پاسخی هم بر فرایند ساخت وسیله اندازه‌گیری و هم بر استفاده از آن اثر می‌گذارد. از این رو، هدف این مقاله تأثیر نرخ‌های مختلف بی‌پاسخی پرسش را بر تعدادی از این شاخص‌ها و پارامترها تحت سازوکارهای کاملاً تصادفی و غیرتصادفی با استفاده از یک مجموعه داده واقعی شبیه‌سازی می‌کند. یافته‌ها نشان می‌دهند که بی‌پاسخی کاملاً تصادفی کمتر از 5 درصد قابل چشم‌پوشی است مشروط بر آنکه افراد بی‌پاسخ متفاوت از افراد دارای پاسخ نباشند. در مقابل، اگر بی‌پاسخی با هر نرخی غیرتصادفی باشد، شاخص‌های روان‌سنجی (آلفای کرونباخ، ضریب پایایی دو نیمه کردن، ضریب روایی) و پارامترهای توزیع نمره‌ها (میانگین، انحراف‌معیار و چارک‌های نمره‌ها) می‌توانند دارای سوگیری و نادقیق باشند. همچنین، بی‌پاسخی غیرتصادفی می‌تواند به فاصله‌های اطمینان عریض و نتایج گمراه‌کننده‌ای منجر ‌شود. از این رو، شواهد حاصل از این مطالعه شبیه‌سازی از حذف افراد بی‌پاسخ برای رفع مشکل بی‌پاسخی حمایت نمی‌کند.    
 

کلیدواژه‌ها


Azar, B. (2002). Finding a solution for missing data. Monitor on Psychology, 33 (7), 70.

Bhaskaran, K.; & Smeeth, L. (2014). What is the difference between missing completely at random and missing at random? International Journal of Epidemiology, 43 (4), 1336-1339.

Bodner, T. E. (2006). Missing data: Prevalence and reporting practices. Psychological Reports, 99, 675–680.

Cao, W.; Tsiatis, A. A.; & Davidian, M. (2009). Improving efficiency and robustness of the doubly robust estimator for a population mean with incomplete data. Biometrika, 96, 723-734.

Dillman, D. A.; Eltinge, J. L.; Groves, R. M.; & Little, R. J. (2002). Survey nonresponse in design, data collection, and analysis. Survey nonresponse, 3-26.

Enders, C. K. (2003). Using the expectation maximization algorithm to estimate coefficient alpha for scales with item-level missing data. Psychological methods8 (3), 322.

Fowler Jr, F. J. (2013). Survey research methods. Sage publications.

Graham, J. W.; & Coffman, D. L. (2012). Structural equation modeling with missing data. Handbook of structural equation modeling, 277-295.

Groves, R. M.; & Couper, M. P. (2012). Nonresponse in household interview surveys. John Wiley & Sons.

Groves, R. M.; Fowler Jr, F. J.; Couper, M. P.; Lepkowski, J. M.; Singer, E.; & Tourangeau, R. (2011). Survey methodology (Vol. 561). John Wiley & Sons.

Hox, J.; De Leeuw, E. D.; Couper, M. P.; Groves, R. M.; De Heer, W.; Kuusela, V.; …& Belak, E. (2002). The influence of interviewers’ attitude and behaviour on household survey nonresponse: An international comparison. In: R. M. Groves, D. A. Dillman, J. L. Eltinge, & R.J.A. Little (Eds). Survey nonresponse. New York: Wiley, pp. 103-120

Knol, M. J.; Janssen, K. J.; Donders, A. R. T.; Egberts, A. C.; Heerdink, E. R.; Grobbee, D. E.; ... & Geerlings, M. I. (2010). Unpredictable bias when using the missing indicator method or complete case analysis for missing confounder values: an empirical example. Journal of Clinical Epidemiology, 63 (7), 728-736.

Kromrey, J. D.; & Hines, C. V. (1994). Nonrandomly missing data in multiple regression: An empirical comparison of common missing-data treatments. Educational & Psychological Measurement, 54 (3), 573-593.

Little, R. J.; & Rubin, D. B. (2014). Statistical analysis with missing data. John Wiley & Sons.

Mcdonald, R. A.; Thurston, P. W.; & Nelson, M. R. (2000). A Monte Carlo study of missing item methods. Organizational Research Methods, 3 (1), 71-92.

Peugh, J. L.; & Enders, C. K. (2004). Missing data in educational research: A review of reporting practices and suggestions for improvement. Review of Educational Research, 74 (4), 525-556.

Raghunathan, T. E. (2004). What do we do with missing data? Some options for analysis of incomplete data. Annu. Rev. Public Health, 25, 99-117.

Roth, P. L. (1994). Missing data: A conceptual review for applied psychologists. Personnel Psychology, 47 (3), 537-560.

Seaman, S.; Galati, J.; Jackson, D.; & Carlin, J. (2013). What Is Meant by" Missing at Random"? Statistical Science, 257-268.

Tang, G.; Little, R. J.; & Raghunathan, T. E. (2003). Analysis of multivariate missing data with nonignorable nonresponse. Biometrika, 747-764.

Tourangeau, R.; Rips, L. J.; & Rasinski, K. (2000). The psychology of survey response. Cambridge University Press.

Van der Heijden, G. J.; Donders, A. R. T.; Stijnen, T.; & Moons, K. G. (2006). Imputation of missing values is superior to complete case analysis and the missing-indicator method in multivariable diagnostic research: a clinical example. Journal of Clinical Epidemiology, 59 (10), 1102-1109.