per
سازمان سنجش آموزش کشور
مطالعات اندازه گیری و ارزشیابی آموزشی
2476-2865
2783-0942
2016-10-01
6
14
11
39
22151
Original Article
کاربرد مدل چندگزینهای در تحلیل سؤال و مقایسه برازش و آگاهی آن با مدل سه پارامتری (مورد: بخش زیستشناسی آزمون سراسری 1391)
The Application of Multiple Choice Model (MCM) in Item Analysis and the Comparison of its Fit and Information with Three Parametric model (3PM):
Case Study: The Biology Test of University’s Entrance Exam 2012
بلال ایزانلو
izan.b@khu.ac.ir
1
مسعود گرامی پور
mgramipour@yahoo.ca
2
علی ترکاشوند
3
استادیار دانشکده روانشناسی و علوم تربیتی دانشگاه خوارزمی
استادیار دانشکده روانشناسی و علوم تربیتی دانشگاه خوارزمی
کارشناس ارشد تحقیقات آموزشی دانشگاه خوارزمی
هدف اصلی پژوهش حاضر کاربرد مدل چندگزینهای در تحلیل سؤالهای چندگزینهای و مقایسه برازش و آگاهی آن با نتایج مدل سهپارامتری است. برای این منظور، از بین همه شرکتکنندگان آزمون سراسری 92-1391 در گروه آزمایشی تجربی درس زیستشناسی (50 سؤال)، نمونهای 5000 نفری بهصورت تصادفی انتخاب شد. پس از بررسی پیشفرض تکبعدی بودن با استفاده از نرمافزار NOHARM، سؤالهای آزمون با برنامه MULTILOG تحلیل شد. مدل سهپارامتری که از نظر ساختاری در میان مدلهای دو ارزشی، نزدیکترین مدل به مدل چندگزینهای است، بهعنوان مدل دو ارزشی مناسب، برای مقایسه آگاهی برازش آن با مدل چندگزینهای انتخاب شد. نتایج این بررسیها نشاندهندة کارایی این مدل در تحلیل گزینههای انحرافی سؤالهای چندگزینهای است. بهعلاوه مدل چندگزینهای، توانایی آزمودنیهای پایینتر از متوسط و مدل سهپارامتری، توانایی آزمودنهای بالاتر از متوسط را با دقت بیشتری برآورد میکنند. در مقایسه برازش مدل سهپارامتری با مدل چندگزینهای، شواهد از برتری مدل سهپارامتری حکایت دارد. بر اساس نتایج میتوان از مدل چندگزینهای در کنار سایر روشها برای افزایش آگاهی به عملکرد گزینههای سؤال استفاده کرد.
The main objective of the present study is to apply multiple-choice model (MCM) for analyzing multiple choice items and comparing its fit and information with the three parametric model (3PM). To this end, among all the participants in biology test (contained 50 four-choice items) of University’s entrance exam in the field of Natural Sciences in 2012(1391), 5000 participants were randomly selected as the sample by SPSS software. In order to analyze the test and its items based on the multiple choice model, the assumptions of unidimensionality were firstly investigated by NOHARM software. Then, the test items were analyzed by MULTILOG program. Three-parameter model, which is the closest one to multiple-choice model in terms of parametric structure, was selected as the most appropriate binary model for comparing its information and fitting with multiple-choice model. The results indicated the efficacy of multiple-choice model for analyzing distractors. In comparing the fit of 3PM with MCM, the results showed better fitness of 3PM to the whole test than multiple-choice model. In addition, results indicated the appropriateness of multiple-choice model in accuracy of estimating the ability of subjects with lower-than-average ability, while 3PM estimates the ability of higher than average subjects more accurately. Accordingly, it is recommended that MCM model can be applied for farther knowledge about items’ distractors performance along with other methods.
https://jresearch.sanjesh.org/article_22151_c2928637d62c92b62b476015ef5b0b74.pdf
روانسنجی
نظریه پاسخ سؤال
مدل چندگزینهای
مدل سهپارامتری
psychometric
Item Response Theory
Multiple-Choice Model
Three parametric model
per
سازمان سنجش آموزش کشور
مطالعات اندازه گیری و ارزشیابی آموزشی
2476-2865
2783-0942
2016-10-01
6
14
41
67
22152
Original Article
نقش واسطهای هوش هیجانی در ارتباط بین خودکارآمدی پژوهشی و انگیزه پیشرفت تحصیلی (مورد مطالعه: دانشجویان تحصیلات تکمیلی دانشگاه بوعلی سینا همدان)
The Mediating Role of Emotional Intelligence in the Relationship between Self- efficacy of Research and Academic Achievement Motivation
سیروس قنبری
siroosghanbari@gmail.com
1
وحید سلطانزاده
2
دانشیار مدیریت آموزشی، دانشکده علوم انسانی دانشگاه بوعلی سینا
دانشجوی دکتری مدیریت آموزشی، دانشگاه بوعلی سینا
هدف از اجرای پژوهش حاضر بررسی رابطه خودکارآمدی پژوهشی و انگیزه پیشرفت تحصیلی با نقش میانجی هوش هیجانی و روش تحقیق توصیفی- همبستگی بود. جامعه آماری، دانشجویان تحصیلات تکمیلی دانشگاه بوعلی سینا همدان به تعداد 3340 نفر بودند که با استفاده از روش نمونهگیری طبقهای 246 نفر (182 نفر دانشجوی کارشناسی ارشد و 64 نفر دانشجوی دکتری) بهطور تصادفی انتخاب شدند. ابزار گردآوری دادههای پژوهش، پرسشنامه استاندارد بود. برای تعیین روایی پرسشنامهها از روایی محتوایی با استفاده از دیدگاه متخصصان علوم تربیتی بهره گرفته شد و میزان پایایی پرسشنامهها با ضریب آلفای کرونباخ برای پرسشنامه خودکارآمدی پژوهشی 76/0=α، پرسشنامه هوش هیجانی 92/0=α و پرسشنامه انگیزه پیشرفت تحصیلی 81/0=α به دست آمد. دادههای پژوهش با استفاده از آزمون همبستگی پیرسون در نرمافزار SPSS و تحلیل مسیر در نرمافزار LISREL تحلیل شدند. یافتهها نشان داد که اثر مستقیم و غیر مستقیم خود کارآمدی پژوهشی با نقش میانجی هوش هیجانی بر انگیزش پیشرفت تحصیلی مثبت و معنیدار بود. درنتیجه برای اینکه انگیزه پیشرفت تحصیلی دانشجویان افزایش یابد، باید به خودکارآمدی پژوهشی و هوش هیجانی توجه شود.
This study aimed to investigate the relationship between self-efficacyof research and academic achievement motivation with the mediating role of emotional intelligence. The research method is descriptive and correlational. The statistical population consisted of all Bu Ali Sina University graduate students with the size of 3340 people. Using stratified sampling method, 246 students (182 graduate students and 64 PhD students) were randomly selected for the study. Data collection tools were questionnaires and the content reliability was tested by the educational sciences experts and the reliability obtained based on Cronbach's alpha coefficient was 0/76 for self-efficacy questionnaire, 0/92 for the emotional intelligence questionnaire and 0/81 for the academic achievement questionnaire. The collected data were analyzed by using the statistical software, SPSS and Lisrel. The results showed that the direct and indirect effect of self-efficacy of research with the mediating role of emotional intelligence on academic achievement motivation is positive and significant. To increase the academic achievement motivation of students, the self-efficacy of research and emotional intelligence of students should be taken into consideration much more.
https://jresearch.sanjesh.org/article_22152_e7b5730d922974c5dea055f4d0254b42.pdf
خودکارآمدی پژوهشی
هوش هیجانی
انگیزه پیشرفت تحصیلی
دانشجویان تحصیلات تکمیلی
self - efficacy of research
Emotional Intelligence
academic achievement motivation
graduate students
per
سازمان سنجش آموزش کشور
مطالعات اندازه گیری و ارزشیابی آموزشی
2476-2865
2783-0942
2016-10-01
6
14
69
109
22155
Original Article
طراحی و تدوین شاخصهای ارزیابی عملکرد نظام پژوهش در آموزش و پرورش (مورد مطالعه: پژوهشگاه مطالعات وزارت آموزش و پرورش با رویکردی کیفی)
Designing and Codifying Evaluation Indexes of the Performance of Research System in Education;
Case Study: Institue of Ministry of Education Studies, Using a Qualitative Approach
غلامعلی یوسلیانی
youseliani_gh@yahoo.com
1
محمدرضا بهرنگی
behrangimr@yahoo.com
2
حمیدرضا آراسته
arastehhr@yahoo.com
3
بیژن عبدالهی
biabdollahi@yahoo.com
4
دانشجوی دکتری مدیریت آموزشی دانشگاه خوارزمی
استاد گروه مدیریت آموزشی دانشکده مدیریت دانشگاه خوارزمی
استاد گروه مدیریت آموزشی دانشکده مدیریت دانشگاه خوارزمی
دانشیار گروه مدیریت آموزشی دانشکده مدیریت دانشگاه خوارزمی
هدف اصلی مطالعه حاضر، طراحی و تدوین شاخصهای ارزیابی عملکرد پژوهشگاه مطالعات وزارت آموزش و پرورش است. این پژوهش با رویکرد کیفی و با استفاده از روش تحلیل محتوا انجام گرفته است. جامعه آماری پژوهش شامل همه اعضای هیئت علمی و کارشناسان پژوهشگاه و نیز همه اسناد منتشر شده در حوزه پژوهش در آموزش و پرورش بودند. 8 نفر از افراد با روش نمونهگیری هدفمند تا رسیدن به اشباع نظری انتخاب شدند. همچنین همه اسناد مرتبط شناسایی شده (40 سند) نیز، بهعنوان نمونه پژوهش، مطالعه و بررسی شدند. دادههای پژوهش با استفاده از مصاحبه نیمه ساختاریافته و فرم تحلیل محتوای اسناد و مصاحبهها جمعآوری شدند. با توجه به کدهای استخراج شده از تحلیل محتوای مصاحبهها و اسناد، تعداد 111 شاخص تدوین شد. این شاخصها در جلسهای با حضور پنج نفر از مصاحبهشوندگان، بررسی و تعداد 32 شاخص حذف شد. شاخصهای تدوین شده در مقولههای مختلفی دستهبندی شدند. بروندادها و دستاوردها با 19 شاخص، پیامدها با 10 شاخص، منابع و تسهیلات با 6 شاخص و آموزش و توانمندسازی نیز با 5 شاخص؛ ازجمله مقولههای ارزیابی عملکرد پژوهشگاه است.
The purpose of the present study is to design and codify the performance evaluation indexes in the Institute of Ministry of Education studies. The study was conducted through a qualitative approach using content analysis. The population of the study included all professors and experts of the institute and also all the published documents in the research field of Education system. Using smart sampling method to achieve theoretical saturation, 8 people were chosen and interviewed. Moreover, all the identified related documents (40 documents), were studied as research samples. Data collection was performed through semi-structured interviews and content analysis forms of documents and interviews. According to the extracted codes from the content of the documents and interviews, 111 indexes were compiled. The indexes were studied in a meeting with the presence of 5 interviewees and 32 indexes were eliminated. The selected indexes were classified in different categories. Outputs and achievements with 19 indexes, outcomes with 10 indexes, resources and facilities with 6 indexes and instruction and empowerment with 5 indexes are examples of categories of performance evaluation.
https://jresearch.sanjesh.org/article_22155_083fb50765586a78ba9886df6ceea2fd.pdf
ارزیابی عملکرد
پژوهشگاه مطالعات آموزش و پرورش
نظام پژوهش در آموزش و پرورش
شاخصهای ارزیابی عملکرد
evaluation of performance
Institute of Education Studies
research system in education
Performance evaluation indexes
per
سازمان سنجش آموزش کشور
مطالعات اندازه گیری و ارزشیابی آموزشی
2476-2865
2783-0942
2016-10-01
6
14
111
142
22170
Original Article
بررسی تأثیر رویکرد سنجش برای یادگیری بر عملکرد ریاضی دانشآموزان پسر پایه هشتم ناحیه یک شهر همدان در سال تحصیلی 93-94
A Study on the Impact of Assessment Approach to Learning on the Performance of the Eighth Grade Male Students of District One of Hamedan City in Mathematics in 2014-2015
رضا یادگارزاده
h48yadegarzadeh@gmail.com
1
محمود فرهادیان
farhadian@pnu.ac.ir
2
دانشجوی کارشناسی ارشد آموزش ریاضی دانشگاه پیام نور مرکز کرمان
استادیار گروه ریاضی دانشگاه پیام نور مرکز کرمان
این پژوهش با هدف بررسی تأثیر رویکرد سنجش برای یادگیری بر عملکرد تحصیلی درس ریاضی دانشآموزان پسر پایۀ هشتم ناحیه یک شهر همدان انجام گرفت. از روش تحقیق نیمه آزمایشی با گروههای آزمایش و گواه در جامعه آماری دانشآموزان پایه هشتم در سال تحصیلی 94-93 استفاده شد. 150 نفر از دانشآموزان با روش نمونهگیری خوشهای چندمرحلهای انتخاب شدند. ابزار تحقیق شامل دو آزمون معلمساخته و سه آزمون تکوینی بود. در تجزیه و تحلیل دادهها از آزمون t (تی) تکنمونه ای، t (تی) گروههای مستقل، t (تی) زوجی، تحلیل Anova (آنووا) و کودر-ریچادسون 21 استفاده شد. ضریب پایایی پیشآزمون 88/0 و پسآزمون 85/0 بود. تحلیل سؤال اول پژوهش نشان داد بین میانگین نمرههای دانشآموزان دو گروه در پیشآزمون، تفاوت معنیداری وجود نداشت و میانگین نمرههای هردو گروه بالاتر از سطح متوسط بود. بررسی سؤال دوم نشان داد که بهکارگیری مراحل پنجگانه «رویکرد سنجش برای یادگیری» و بازخوردها بر عملکرد تحصیلی ریاضی دانشآموزان تأثیر مثبت داشت و میانگین نمرههای دانشآموزان گروه آزمایش بالاتر بود. در توصیف سؤال سوم میتوان گفت این رویکرد با شرایط مدرسههای استان سازگاری دارد.
The present research aimed to investigate the impact of “the assessment approach to learning” on the academic performance of 8th-grade students in mathematics in district 1, Hamadan. And the research method was quasi-experimental with the experimental and control groups in the statistical population of the 8th-grade students in the academic year 2014-2015; 150 students were selected as the statistical population by using multi-stage cluster sampling. The research tools included two teacher-made and three formative tests. One-sample t test, independent t groups, paired t, (ANOVA) – analysis and Kuder-Richardson 21 were used for analyzing the data. Final coefficient for pre-test and past- test were obtained 0.88 and 0.85, respectively. Analyzing the first question showed that there is no significant difference between the mean scores of pre-test in both groups and the mean scores of two groups were higher than the average. Analyzing the second question showed that using the five stages of the assessment approach to learning and the feedbacks on academic performance of students in mathematics had a positive impact and the mean scores in experimental group were higher, and in describing the third question, it can be said this approach is consistent with the conditions of the schools in this province.
https://jresearch.sanjesh.org/article_22170_c3e165d5d911e79cc796138afdd3b979.pdf
سنجش
سنجش برای یادگیری
تدریس
یادگیری
عملکرد تحصیلی ریاضی
: Assessment
Assessment for learning
teaching
learning
academic math performance
per
سازمان سنجش آموزش کشور
مطالعات اندازه گیری و ارزشیابی آموزشی
2476-2865
2783-0942
2016-10-01
6
14
143
163
22173
Original Article
ارزیابی تأثیر هوش سازمانی بر توانمندسازی اعضای هیئت علمی(مورد مطالعه: دانشگاه علوم و فنون هوایی شهید ستاری)
Evaluating the Impact of Organizational Intelligence on the Empowerment of Faculty Members
Case Study: Shahid Sattari Aeronautical University of Science and Technology
محمد قهرمانی
m_ghahramani@sbu.ac.ir
1
محمود غلامی
m.gholami30@yahoo.com
2
احمدعلی روح الهی
3
داریوش مهری
darushmehri@yahoo.com
4
دانشیار رشته مدیریت آموزشی دانشکده علوم تربیتی و روانشناسی دانشگاه شهید بهشتی
استادیار مدیریت بازرگانی دانشکده مدیریت دانشگاه علوم و فنون هوایی شهید ستاری
مربی گروه آموزشی مراقبت پرواز، دانشکده پرواز دانشگاه علوم و فنون هوایی شهید ستاری
دانشجوی دکتری رشته مدیریت آموزش عالی دانشگاه شهید بهشتی
هدف این تحقیق بررسی تأثیر هوش سازمانی بر توانمندسازی اعضای هیئت علمی است. جامعه آماری پژوهش 140 نفر از اعضای هیئت علمی دانشگاه هوایی شهید ستاری بودند که 103 نفر از آنها بر اساس جدول مورگان و به روش تصادفی ساده انتخاب شدند. بهمنظور جمعآوری دادههای هوش سازمانی از پرسشنامه هوش سازمانی آلبرشت و برای اندازهگیری توانمندسازی اعضای هیئت علمی از پرسشنامه محققساخته استفاده شد. دادههای جمعآوری شده با آزمون همبستگی و رگرسیون، تجزیه و تحلیل شد. یافتههای تحقیق نشان داد که هوش سازمانی بر توانمندسازی اعضای هیئت علمی تأثیر داشته و از بین ابعاد مختلف هوش سازمانی، چشمانداز، سرنوشت مشترک، روحیه، اتحاد و توافق بیشترین تأثیر را بر توانمندسازی هیئت علمی دارند. علاوه بر این، رتبهبندی ابعاد مختلف هوش سازمانی با بهکارگیری آزمون فریدمن نشان داد که چشمانداز، دارای رتبه اول است.
The aim of this study was to evaluate the impact of organizational intelligence on the empowerment of faculty members. The survey population consists of 140 faculty members of Shahid Sattari Aeronautical and Science University. 103 of the members have been selected randomly based on Morgan Table. In order to collect the organizational intelligence data, Albrecht organizational intelligence questionnaire was applied and to measure the empowerment variable, a self-made questionnaire was used. Collected Data was analyzed through the correlation and regression tests. The result showed that organizational intelligence affect the empowerment of faculty members and, among different dimensions of organizational intelligence, strategic vision, common fate, spirit, alliance, and consensus are the most influencing factors on the empowerment of faculty members. In addition, Friedman test indicated that strategic perspective is ranked as the first.
https://jresearch.sanjesh.org/article_22173_5b0876b6dae8410ec5a63b56fdcc9e54.pdf
هوش سازمانی
توانمندسازی
اعضای هیئت علمی
Organizational intelligence
empowerment
faculty members
Shahid Sattari Aeronautical University
per
سازمان سنجش آموزش کشور
مطالعات اندازه گیری و ارزشیابی آموزشی
2476-2865
2783-0942
2016-10-01
6
14
165
201
22176
Original Article
ارزشیابی و تضمین کیفیت در آموزش عالی فرایندی داوطلبانه یا اجباری؟
Evaluation and Quality Assurance in Higher Education:
A Voluntary or Mandatory Process?
رضا محمدی
remohammadi@yahoo.com
1
مریم زمانی فر
mm_zamanifar@yahoo.com
2
فاطمه صادقی مندی
3
استادیار مرکز تحقیقات، ارزشیابی، اعتبارسنجی و تضمین کیفیت آموزش عالی سازمان سنجش آموزش کشور
کارشناس پژوهشی سازمان سنجش آموزش کشور
کارشناس پژوهشی سازمان سنجش آموزش کشور
ارزشیابی نظامهای آموزش عالی از الزامات پویایی و رشد این نظامها بوده و ارتقاء مستمر کیفیت آموزش عالی مستلزم استقرار زیرنظام ارزشیابی و تضمین کیفیت و استفاده از روشهای علمی در این زمینه است. بر اساس تجارب جهانی نحوه جلب مشارکت مؤسسات آموزش عالی در فعالیتهای تضمین کیفیت در طیفی داوطلبانه تا اجباری قرار میگیرد. تفاوت مهم بین نظامهای تضمین کیفیت این است که آیا مشارکت در آنها داوطلبانه یا اجباری است. این پژوهش به بررسی 70 نهاد ارزشیابی و تضمین کیفیت در 60 کشور جهان از نظر اجباری و داوطلبانه بودن فرایندهای تضمین کیفیت پرداخته است. روش پژوهش، روش کیفی با شیوه تحلیل اسنادی است. به این منظور از روش تحلیل اسناد، دادهها و اطلاعات بهدست آمده از پژوهشها و مقالههای علمی-پژوهشی، کتابها، گزارشهای پژوهشی و تجربیات نهادهای متولی اعتبارسنجی و تضمین کیفیت در آموزش عالی کشورهای دارای تجربه بهعنوان جامعه مورد مطالعه استفاده شده است. نتایج بهدست آمده نشان میدهد که فرایندهای تضمین کیفیت در 64 درصد از نهادهای یاد شده، ماهیت اجباری و 27 درصد ماهیت داوطلبانه دارد. همچنین در 9 درصد از نهادها هر دو فرایند داوطلبانه و اجباری اجرا میشود. بر این اساس، با توجه به حساسیت عملکردی آموزش عالی و نقش و تأثیر آن در توسعه پایدار کشور، به نظر میرسد بازنمایی و بهبود کیفیت مستلزم نظام جامع ارزشیابی کیفیت است که دارای ماهیتی از داوطلبانه تا اجباری بر اساس نحوه مشارکت مؤسسات آموزش عالی باشد.
The evaluation of higher education systems is regarded as one major requisite for the growth and development of such systems; hence, the continuous improvement of the quality of higher education needs the establishment of a quality assurance sub-system and the use of scientific methods in this field. According to the global experiences, the way higher education institutes participate in quality assurance activities is in a voluntary-mandatory scale. The major difference among quality assurance systems is whether their participation is voluntary or mandatory. The present research studies 70 evaluation and quality assurance agencies in 60 countries, in terms of the compulsory and voluntary essence of their quality assurance processes. It employs the qualitative methodology based on a documentary analysis. To this end, the documents, data and information obtained from scientific-research articles, books, and research reports have been analyzed together with the experiences of those agencies in charge of accreditation and quality assurance in higher education. The results show that quality assurance processes are mandatory in 64 % of the agencies and 27% of them follow a voluntary approach. Moreover, in 9% of agencies, both the voluntary and mandatory processes are implemented. Accordingly, considering the significance of the performance and role of higher education and its impacts on sustainable development, it seems that quality improvement requires a comprehensive quality evaluation system, involving both voluntary and mandatory approaches, based on the participation of higher education institutions.
https://jresearch.sanjesh.org/article_22176_a5fd641513fea05c1fa04b51a0242093.pdf
آموزش عالی
ارزشیابی
تضمین کیفیت
فرایند داوطلبانه
اجباری
Higher Education
Evaluation
Quality assurance
voluntary process
mandatory process
per
سازمان سنجش آموزش کشور
مطالعات اندازه گیری و ارزشیابی آموزشی
2476-2865
2783-0942
2016-10-01
6
14
203
234
22178
Original Article
تعیین مقایسهپذیری برآورد پارامتر توانایی در سنجش انطباقی کامپیوتری و مداد-کاغذی
Investigating comparability of Ability Parameter Estimation in Computerized Adaptive and Paper-Pencil Tests
نگار شریفی یگانه
nsh-yeganeh@yahoo.com
1
محمدرضا فلسفی نژاد
falsafinejad@yahoo.co.uk
2
علی دلاور
delavarali@yahoo.com
3
نورعلی فرخی
farrokhinorali@yahoo.com
4
احسان جمالی
ehsanjamali@gmail.com
5
دانشجوی دکتری سنجش و اندازهگیری دانشگاه علامه طباطبائی
دانشیار دانشکده روانشناسی و علوم تربیتی دانشگاه علامه طباطبائی
استاد دانشکده روانشناسی و علوم تربیتی دانشگاه علامه طباطبائی
دانشیار دانشکده روانشناسی و علوم تربیتی دانشگاه علامه طباطبائی
استادیار سازمان سنجش آموزش کشور
هدف مطالعه حاضر تعیین مقایسهپذیری برآورد پارامتر توانایی در سنجش انطباقی کامپیوتری و مداد – کاغذی و تعیین الگوریتم بهینه آزمون انطباقی کامپیوتری بر اساس روشهای مختلف برآورد توانایی (بیشینه درستنمایی و پسین مورد انتظار) و ملاک خاتمه آزمون (خطای استاندارد ثابت و طول ثابت آزمون) در آزمونهای خطیر بود. جامعه پژوهش شامل تمامی شرکتکنندگان آزمون سراسری گروه آزمایشی علوم ریاضی و فنی سال 1392 بود که از میان آنها تعداد 1000 آزمودنی با روش نمونهگیری تصادفی انتخاب شدند. تحلیل سؤالهای آزمون ریاضی با استفاده از مدل لجستیک سهپارامتری صورت گرفت. 40 مجموعه داده با حجمی برابر با دادههای واقعی شبیهسازی شد و شبیهسازی پستجربی آزمون انطباقی کامپیوتری انجام شد. یافتههای تحلیل بیانگر همبستگی بالای برآورد توانایی اجرای انطباقی کامپیوتری و مداد-کاغذی خرده آزمون ریاضی بود. همچنین مقادیر سوگیری، میانگین قدر مطلق تفاوت برآوردهای توانایی آزمون انطباقی کامپیوتری و مداد- کاغذی و ریشه میانگین مجذور تفاوت بیانگر آن بود که برآوردهای توانایی آزمون انطباقی کامپیوتری در روش برآورد پسین مورد انتظار در راستای برآورد توانایی آزمون کامل است. نتایج نشان داد که آزمون انطباقی کامپیوتری قادر به بازیابی توانایی در خردهآزمون ریاضی است. به علاوه روش برآورد پسین مورد انتظار و ملاک خاتمه خطای استاندارد ثابت 3/0 الگوریتم بهینه دستیابی به اهداف پایایی مناسب، طول منطقی آزمون و بازیابی برآورد توانایی در اجرای انطباقی کامپیوتری خردهآزمون ریاضی است.
This study aimed to investigate the comparability of ability parameter estimation in computerized adaptive with paper-pencil testing and finding the algorithm for optimal computerized adaptive testing based on different kinds of ability estimation (maximum likelihood and expected a posteriori) and test termination criterion (fixed standard error and fixed length of test) in high stakes tests. The target population consisted of mathematics and engineering subgroup examinees of the Iranian university entrance exam in 2013. One thousand examinees were selected using random sampling method and mathematics questions were analyzed using 3-parameter logistic model. Equal to real numbers, 40 data sets were simulated and post hoc simulation of computerized adaptive testing was applied. The results indicated a strong correlation between ability estimation using computerized adaptive and paper-pencil testing of mathematics subscale. Furthermore, bias values, average absolute difference between ability estimation in computerized adaptive and paper-pencil testing and the mean squared root of the difference showed that the ability estimation in computerized adaptive testing using expected a posteriori is consistent with the ability estimation using the whole exam. The results suggested that computerized adaptive testing is capable of recovering the ability in mathematics subscale. It was concluded that expected a posteriori and test stopping rule of fixed 0.3 standard error was the optimal algorithm for suitable reliability, appropriate test length and the recovery of the ability estimation in computerized adaptive testing of mathematics subscale.
https://jresearch.sanjesh.org/article_22178_3590b6fca8d3e7d96ae2da2779cd5bea.pdf
آزمون انطباقی کامپیوتری
شبیهسازی پستجربی
برآورد بیشینه درستنمایی
برآورد پسین مورد انتظار
ملاک خاتمه آزمون
Computerized adaptive testing
Post hoc simulation
Maximum likelihood estimation
Expected a posteriori estimation
Test termination criterion