کاربرد مدل چندگزینه‌ای در تحلیل سؤال‌ و مقایسه برازش و آگاهی آن با مدل سه پارامتری (مورد: بخش زیست‌شناسی آزمون سراسری 1391)

نوع مقاله: مقاله پژوهشی

نویسندگان

1 استادیار دانشکده روان‌شناسی و علوم تربیتی دانشگاه خوارزمی

2 کارشناس ارشد تحقیقات آموزشی دانشگاه خوارزمی

چکیده

هدف اصلی پژوهش حاضر کاربرد مدل چندگزینه‌ای در تحلیل سؤال‌های چندگزینه‌ای و مقایسه برازش و آگاهی آن با نتایج مدل‌ سه‌پارامتری است.‌‌ برای این منظور، از بین همه شرکت‌کنندگان آزمون سراسری 92-1391 در گروه آزمایشی تجربی درس زیست‌شناسی (50 سؤال)، نمونه‌ای 5000 نفری به‌صورت تصادفی انتخاب شد. پس از بررسی پیش‌فرض‌ تک‌بعدی بودن با استفاده از نرم‌افزار NOHARM، سؤال‌های آزمون با برنامه MULTILOG تحلیل شد. مدل سه‌پارامتری که از نظر ساختاری در میان مدل‌های دو ارزشی، نزدیک‌ترین مدل به مدل چند‌گزینه‌ای است، به‌عنوان مدل دو ارزشی مناسب، برای مقایسه آگاهی برازش آن با مدل چند‌گزینه‌ای انتخاب شد. نتایج این بررسی‌ها نشان‌دهندة کارایی این مدل در تحلیل گزینه‌های انحرافی سؤال‌های چندگزینه‌ای است. به‌علاوه مدل چندگزینه‌ای، توانایی آزمودنی‌های پایین‌تر از متوسط و مدل سه‌پارامتری، توانایی آزمودن‌های بالاتر از متوسط را با دقت بیشتری برآورد می‌کنند. در مقایسه برازش مدل سه‌پارامتری با مدل چند‌گزینه‌ای، شواهد از برتری مدل سه‌پارامتری حکایت دارد. بر اساس نتایج می‌توان از مدل چندگزینه‌ای در کنار سایر روش‌ها برای افزایش آگاهی به عملکرد گزینه‌های سؤال‌ استفاده کرد.

کلیدواژه‌ها


ایزانلو، بلال؛ بازرگان، عباس؛ فرزاد، ولی‌اله؛ صادقی، ناهید و کاوسی، امیر (1393). تفکیک ابعاد متعامد از خوشه‌های سؤال بر اساس هشت روش تعیین بعد در داده‌های دوارزشی: مورد، آزمون ریاضی رشته ریاضی فیزیک کنکور 92-91.اندازه­گیری تربیتی، 5 (18)، 207-240.

معلمی اوره، مهرناز (1387). مقایسه­ دقت برآورد توانایی در سؤالات چندگزینه­ای با به‌کارگیری مدل‌های سؤال پاسخ دو و چندارزشی. پایان­نامه­ کارشناسی ارشد رشته­ سنجش و اندازه­گیری دانشگاه علامه طباطبایی.

 

Abad, F. J.; Olea, J., & Ponsoda, V. (2009). The Multiple-Choice Model Some Solutions for Estimation of Parameters in the Presence of Omitted Responses. Applied Psychological Measurement, 33 (3), 200-221.

Bock, R. D. (1972). Estimating item parameters and latent ability when response are scored in two or more­ nominal categories. Psychometrika, 37 (1), 29- 51.

Bock, R. D. (1997). The nominal categories model. In Handbook of modern item response theory (pp. 33-49). New York: Springer.

De Ayala, R. J. (1993). An introduction to polytomous Item Response Theory Models.Measurement and Evaluation in counseling Development, 25 (4).

Drasgow, F.; Levine, M. V.; Tsien, S.; Williams, B., & Mead, A. D. (1995). Fitting polytomous item response theory models to multiple-choice tests. Applied Psychological Measurement, 19 (2), 143-166.

Hambleton, R. k. (1989). Principles and selected applications of item Response Theory. In R. L. Linn (Ed.), Educational measurement (3rd ed.). (pp. 147–200).

Levine, M. V. (1993). Orthogonal functions and the niteness of continuous item response theories. Unpublished manuscript.

Levine, M. V., & Drasgow, F. (1983). The relation between incorrect option choice and estimated ability. Educational and Psychological Measurement, 43 (3), 675-685.

Masters, G. N. (1988). An analysis of partial credit scoring. Applied Measurement in Education, 1, 279–297.

Ning, R.; Waters, A. E.; Studer, C., & Baraniuk, R. G. (2015). SPRITE: A Response Model for Multiple Choice Testing. ArXiv preprint arXiv: 1501.02844.

Ostini, R. & Nering, L. (2006). Polytomous Item Response Theory Models. Sage Publications.

Samejima, F. (1979). A New Family of Models for the Multiple-Choice Item (No. RR-79-4). Tennessee Univ Knoxville Dept of Psychology.

Smilaycoff, M. P. (1989). An application of the Bock_Samejima model for multiple category scoring to test items in which distractors contains information related to latent ability. Dissertation Abstracts International, (12-A), 4100, (University Microfilms No. 9112783).

Thissen, D. & Steinberg, L. (1984). A response model for multiple- choice items. Psychometrika, 49 (4) 567-577.

Thissen, D. & Steinberg, L. & Fitzpatrick, A. R. (1989). Multiple-Choice Models; the Distracters are also part of Item. Journal of Educational Measurement. 26 (2), 161-176.

Thissen, D. (1976).Information in wrong responses to the Raven Progressive Matrices. Jounal of Educational Measurement, 13 (3), 201-214.

Yutong, Yin (2007). Using Beaton fit inices to assess goodness-of-fit of IRT models. PHD thesis.