واکاوی تجربه زیست شده استادان دانشگاه از ارزشیابی بازده‌های ‌یادگیری دانشجویان

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری برنامه‌ریزی ‌درسی، دانشکده روان‌شناسی و علوم تربیتی، دانشگاه آزاد اسلامی واحد تهران‌مرکز

2 دانشیارگروه برنامه‌ریزی‌درسی وبرنامه‌ریزی‌آموزشی،دانشکده روانشناسی وعلوم تربیتی،دانشگاه آزاداسلامی واحدتهران‌مرکز

3 استادیارگروه روانشناسی وبرنامه‌ریزی‌درسی،دانشکده روانشناسی وعلوم تربیتی،دانشگاه آزاداسلامی واحدتهران‌مرکز

4 استاد گروه برنامه‌ریزی‌درسی وبرنامه‌ریزی‌آموزشی،دانشکده روانشناسی وعلوم تربیتی، دانشگاه تربیت دبیرشهید رجایی، تهران

5 استادیارگروه برنامه‌ریزی‌درسی وبرنامه‌ریزی‌آموزشی،دانشکده روانشناسی وعلوم تربیتی،دانشگاه آزاداسلامی واحدتهران‌مرکز

10.22034/emes.2021.244025

چکیده

در قرن 21، اهمیت نظام آموزش‌عالی در هر جامعه‌ای به‌ جایی رسیده است که به گفته‌ی مالکلم گیلیس امروز بیش ازگذشته ثروتمند و فقیرشدن ملل به کیفیت آموزش‌عالی وابسته است. اما رویکرد شتابناک کمیت‌گرایانه سبب شد تنها درحد بخشنامه‌ها وقوانین باقی بماند و ابعاد کیفی آموزش کمتر مورد توجه قرار گیرد. در این میان توجه به Outputs که معادل پیامد، نتایج وخروجی است وارزشیابی، اهمیت بیشتری پیدا کرد چرا که ارزشیابی بخشی از فرایند یادگیری است وسه جریان آموزش، یادگیری و ارزشیابی درکنار هم معنی پیدا می‌کنند. در این ‌راستا نظریۀ ‌آموزشی که مبتنی بر اصول ‌شناختی است را رابرت‌گانیه در 1985 فرمول‌بندی‌ نمود. که شامل شرایط یادگیری یا اوضاع و احوالی است که‌ یادگیری صورت می‌گیرد. در کاربرد این نظریه دوگام حیاتی است: گام نخست، مشخص‌کردن نوع بازده‌یادگیری است. که گانیه 5‌بازده اصلی را مشخص کرده ‌است. گام دوم، تعیین رویدادهای یادگیری یا عاملی است که در آموزش تفاوت ایجاد می‌کنند.
در نظام‌های آموزشی ناسالم، اصولاً معیار قضاوت رفتار قابل مشاهده و امتحانات کلاسی درمقیاس وسیع با استفاده از آزمون‌های پیشرفت ‌تحصیلی می‌باشد و هدف گذراندن ترم و فارغ‌التحصیلی است و یادگیری صورت نمی‌گیرد. درنتیجه وقتی ارزشیابی در خدمت یادگیری است که فراگیر درک عمیقی از عملکرد خود داشته ویادگیریش را مداوم ارزشیابی کند و تلاشش را عامل موفقیتش بداند نه عوامل تصادفی یا خارجی.
محقق‌های زیادی این موضوع را بررسی نمودند و به اهمیت آن پرداختند بعنوان مثال: (کلین وهمکاران،2018)، (ملگوزو وهمکاران،2017)، (سامبل،2016)، (هاونس وهمکاران،2016)، (کلیموا،2014)، (ناصری،1396) که با بررسی یافته‌های آنها و با توجه به مشکلات، موانع و امکانات موجود در دانشگاه‌ها، از جمله نداشتن ابزار مناسب و متفاوت درارزشیابی ‌بازده‌های ‌یادگیری دانشجویان بخصوص درحیطۀ علوم انسانی که جنبۀ نظری، نمره وبرگۀ امتحان ملاک است این سؤال برای پژوهشگر ایجاد شد که: ابعاد، مؤلفه‌ها وشاخص‌های ارزشیابی بازده‌های ‌یادگیری دانشجویان کدامند؟
روش پژوهش:
پژوهش حاضر به بررسی «واکاوی تجربه زیست شدۀ اساتید دانشگاه از ارزشیابی ‌بازده‌های ‌یادگیری دانشجویان» پرداخته است‌. ‌ازنظر هدف کاربردی است میدان پژوهش شامل کلیۀ اساتید رشتۀ علوم‌تربیتی ‌دانشگاه‌های استان‌تهران می‌باشد. درمرحلۀ ‌کیفی ازروش نمونه‌گیری‌ گلوله‌برفی استفاده شد همچنین با مقایسۀ مداوم‌ داده‌ها تا رسیدن به‌ اشباع‌نظری، با10نفر از اساتید مصاحبه ‌نیمه ‌ساختاریافته صورت گرفت. در مرحلۀکمی از بین جامعۀ 387 نفری ‌اساتید مذکور، به وسیلۀ فرمول ‌کوکران، از 193نفر به روش ‌نمونه‌گیری تصادفی‌ساده نظرسنجی شد.
ابزار جمع‌آوری ‌اطلاعات‌ درمرحلۀ‌کیفی، مصاحبه ‌نیمه ‌ساختاریافته، مطالعات ‌‌میدانی‌ و کتابخانه‌ای است و در مرحلۀ‌کمی به منظور بررسی دادههای بخش کیفی، پرسشنامه‌ محقق ساخته‌ای براساس طیف ‌پنج‌گزینه‌ای ‌لیکرت، طراحی شد.
جهت بررسی روایی‌محتوایی از روشهای: مثلث‌سازی منابع داده‌ها و نظرسنجی از اساتیدی که با آنها مصاحبه شد. همچنین اساتید راهنما و مشاور بهره‌ گرفته ‌شد و برای سنجش ‌پایایی از نظر سایر اساتید به کمک ابزار ‌پرسشنامه که با ابزار آلفای‌کرونباخ اندازه‌گیری شد، استفاده گردید.
‌از نظر نحوه ‌اجراء، پژوهش ‌روش‌آمیخته(اکتشافی) است. در مرحلۀ کیفی‌ روش‌ پدیدارشناسی مبتنی برالگوی هفت ‌مرحله‌ای ون‌منن و در مرحلۀکمی به منظور اعتباریابی‌الگو از تحلیل‌عاملی‌تأییدی و مدل معادلات‌ ساختاری استفاده شد. نرمال‌بودن داده‌ها ازطریق آزمونK-S و‌سنجش ‌مؤلفه‌ها از راه آزمون Tتک‌نمونه‌ بررسی گردید. تجزیه و تحلیل‌های ‌آماری نیز توسط نرم‌افزارهای Spss وLisrel انجام ‌شد‌ و الگوی نهایی استخراج گردید.
یافته‌های پژوهش:
در اینجا به سؤال های پژوهش در دو مرحلۀ کیفی وکمی پاسخ داده می‌شود.
سؤال کلی: ابعاد، مؤلفه‌ها وشاخص‌های ارزشیابی بازده‌های‌یادگیری دانشجویان کدامند؟
ابتدا مجموع متن 10مصاحبه و سندکاوی بین سالهای (2020-2012) برای تحلیل به 1405کد اولیه تقسیم‌بندی شدند وپس از چندبار غربالگری ومقایسۀ مداوم 320کد باز ثبت شد. برای طی‌کردن مسیر استقرایی، کدهای اولیه به تعداد 87 مقوله فرعی و17مقولۀ اصلی (بُعد) دسته‌بندی شدند و زیر مجموعۀ 5 سازه قرار گرفتند.
سؤال 1-الگوی ارزشیابی بازده‌های‌یادگیری چه ویژگی‌هایی دارد؟
سازه‌ها، ابعاد، مقوله‌ها و شاخص‌ها پس از بررسی توسط اساتید به صورت ذیل دسته‌بندی شدند.
جدول(1): 5 سازه و زیر مجموعه‌های استخراج شده





سازه‌ها


تعداد
ابعاد


تعداد مقوله‌ها


تعداد
شاخص‌ها


تعداد شاخص‌هایی که بعد از سنجش نظر اساتید
در اولویت بالاتری قرار گرفتند




ماهیت ارزشیابی


6


38


134


60 شاخص




ماهیت برنامه‌درسی


3


9


28


10 شاخص




ارزشیابی‌کننده (استاد)


3


17


70


45 شاخص




ماهیت بازده‌های یادگیری


3


14


51


28 شاخص




ارزشیابی‌شونده (دانشجو)


2


8


37


26 شاخص





 
سؤال 2- الگوی ارزشیابی بازده‌های‌یادگیری کدام است؟
از نتایج بخش کیفی الگویی استخراج شد که ارزشیابی بازده‌های یادگیری در احاطه  5سازه قرار گرفته و هر سازه به تعدادی بُعد، مقوله و شاخص متصل شده است.
 
سؤال 3- الگوی مذکور تا چه حد از اعتبار لازم برخوردار است؟
در مرحلۀ کمی برای سنجش اعتبار الگوی استخراج شده در بخش کیفی، ابتدا با استفاده از شاخص‌های‌ مرکزی، پراکندگی متغیرها توصیف ‌شدند نرمال بودن داده‌ها بررسی و ماتریس همبستگی 5سازه به عنوان ورودی برای نرم‌افزارLisrel تعریف شد. آزمون تحلیل‌عاملی بر روی (مؤلفه‌های) هر سازه انجام شد. در نتیجه برآوردهای پارامتر استاندارد، شاخص‌های خی-دو و Rmsea نشان داد که خروجی ‌‌شاخص‌های برازش الگو از لحاظ آماری در هر سازه معنادار هستند و همه بارهای ‌عاملی چون در سطح بالایی قرار دارند پذیرفته و اولویت‌بندی شدند. مقدار کای‌اسکوئر بردرجه ‌آزادی مدل‌ها و مقادیر آزمون Tتک‌نمونه‌ بین عوامل نشان داد که روابط مستقیم وجود دارد. بنابراین فرض صفر با 95 درصد اطمینان برای این مؤلفه‌ها رد و فرض پژوهش تأیید شد.
 
نتیجه‌گیری:
در نهایت با توجه به شرایط حاکم بر نظام آموزش‌عالی کشورمان و تجربۀ زیست شدۀ اساتید دانشگاه، سعی در طراحی الگویی شد که نشان می‌دهد ارزشیابی بازده‌های‌یادگیری در احاطه 5سازه، 17بُعد، 87مقوله و320شاخص است که همه با هم ارتباط دارند. از نظر اساتید نیز توجه ‌به همۀ آنها در ارزشیابی ‌بازده‌های ‌یادگیری تأثیر مثبت خواهد گذاشت زیرا درفرایند ارزشیابی؛ نقش دانشجو، استاد و برنامه‌درسی مؤثر است و در نظر نگرفتن هرکدام می‌تواند نتیجۀ را تغییر دهد. این یافته‌ها با نتایج مطالعات: (کلین وهمکاران، 2018)، (ملگوزووهمکاران، 2017)، (کواتز، 2016)، (پائولینی، 2015)، (الکوران، 2012)، (صوفی‌زاده، 1394)همسو می‌باشد. بنابراین امیدواریم با بهره‌گیری از نتایج این پژوهش وسایر تحقیق‌های مرتبط، شاهد ارتقاء کیفیت واثربخشی نظام آموزش‌عالی کشور باشیم.

کلیدواژه‌ها


آقازاده، محرم (1394). تکنولوژی آموزشی بر پایه رویکرد ساخت‌گرایی. نشر آییژ.
آقازاده، محرم (1395). راهنمای سنجش و ارزشیابی آغازین ابزارهای کمی و کیفی. مرکز نوآوری‌های آموزشی مرآت.
بازرگان هرندی، عباس (1396). ارزشیابی آموزشی: مفاهیم، الگوها و فرایند عملیاتی. انتشارات سازمان مطالعه و تدوین کتب علوم انسانی دانشگاه‌ها (سمت).
بازرگان هرندی، عباس (1394). ارزشیابی آموزشی. انتشارات سمت.
براری، نوری؛ خراسانی، اباصلت؛ رضایی‌زاده، مرتضی؛ اعلامی، فرنوش (1398). ارزشیابی از اهداف سطوح عالی یادگیری در محیط‌های یادگیری الکترونیکی. نشریه علمی آموزش و ارزشیابی، ۱۲(۴۵)، ۱۱۱- 132.
رحیمی، سیامک (1398). استفاده از چارچوب ارزیابی یادگیری‌گرا برای طرح معیارهایی در محاسبه مشارکت کلاسی دانشجویان، پنجمین همایش ملی پژوهش‌های نوین در حوزه زبان و ادبیات ایران (با رویکرد فرهنگ مشارکتی). خانه فرهنگ مشارکتی ایران.
سرمدی، محمدرضا؛ ویسی‌تبار، سلام (1391). طراحی یادگیری مبتنی بر وب با تأکید بر معرفت‌شناسی سازنده‌گرایی. پژوهش‌های آموزش و یادگیری (دانشور رفتار)، ۲۱(۴)، 129- 147.
سعیدی رضوانی، محمود؛ محمدزاده، لیلا (1394). یادگیری مادام‌العمر؛ هوش هیجانی و ارزشیابی توصیفی، همایش ملی کتابخانه‌های آموزشگاهی پویاسازی نظام آموزشی و مشارکت در فرایند یاددهی-یادگیری، مشهد، انجمن کتابداری و اطلاع‌رسانی، دانشگاه فردوسی مشهد.
سلیمی، جمال؛ امینی، بهنام (1397). مطالعه تجارب دانشجویان ارشد از روش‌های ارزشیابی اساتید؛ ارائه مدلی مفهومی. نخستین همایش بین‌المللی و دوازدهمین همایش ملی ارزیابی کیفیت در نظام‌های دانشگاهی.
شفیع‌پور مطلق، فرهاد؛ نظری، حسین (1392). ارائه ‌مدلی جهت ‌ارزیابی راهبردهای ‌یادگیری ‌الکترونیکی مؤثر بر پیشرفت تحصیلی دانشجویان، فصلنامه فناوری آموزش، 7(4)، 253- 259.
شکورزاده، رضا؛ ملکی، حسن؛ قصابی‌ چورسی، مهدی (1393). کیفیت‌سنجی برنامه‌های درسی‌ تحصیلات ‌تکمیلی گروه مدیریت و برنامه‌ریزی آموزشی. فصلنامه روان‌شناسی تربیتی، 10(34)، 67- 92.
صالحی، وحید؛ فیض‌آبادی، نرگس؛ مؤمنی راد، اکبر (1395). مدل رابطه‌ای یادگیری مشارکتی برخط و راهبردهای آموزشی مبتنی بر آن. همایش ملی آموزش.
صوفی‌زاده، پروانه (1394). پدیدارشناسی تجربیات اساتید دانشگاه تبریز در خصوص عوامل مؤثر بر بهبود فرایند یادگیری دانشجویان. پایان‌نامه کارشناسی ارشد، دانشکده روان‌شناسی و علوم تربیتی دانشگاه تبریز.
عالی، آمنه؛ مبارک قمصری، ریحانه (1395). فراتحلیل اثربخشی ارزشیابی توصیفی بر ارتقای بازده‌های یادگیری. فصلنامهتعلیم‌وتربیت، 34(133)، 139- 156.
عباس‌زاده، عباس؛ برهانی، فریبا؛ سبزواری، سکینه؛ افتخاری، زهره (1392). بررسی شیوه‌های متداول ارزشیابی و ارتباط آن با رویکردهای یادگیری در دانشجویان پرستاری دانشگاه علوم پزشکی کرمان. گام‌های توسعه در آموزش پزشکی، 10(2)، 142- 152.
عشرت‌آبادی، حسن؛ قرونه، داود (1393). بررسی معیارهای ارزیابی کیفیت یادگیری الکترونیکی در آموزش ‌عالی و ارائه چارچوبی ارزیابی آن. اولین کنفرانس ملی ارزیابی کیفیت در نظام‌های دانشگاهی تهران.
عطارپور، محمدرضا؛ کزازی، ابوالفضل؛ الیاسی، مهدی؛ بامداد صوفی، جهانیار (1397). مدل ارتقای یادگیری فناورانه برای توسعه نوآوری دوسوتوان؛ مطالعه موردی صنعت فولاد کشور. فصلنامهبهبودمدیریت، ۱۲(3)، 45 – 69.
فراستخواه، مقصود (1388). دانشگاه ایرانی و مسئلۀ کیفیت. نشر آگاه.
فراهانی، مهدی (1393). بررسی برخی عوامل مؤثر بر دستاوردهای یادگیری دورۀ کارشناسی آموزش مهندسی برق. رسالۀ دکتری سنجش آموزش، دانشکدۀ روان‌شناسی و علوم تربیتی دانشگاه تهران.
فراهانی، فرهاد؛ معصومی، لیلا؛ رستمی ‌معز، معصومه؛ خاموردی، زهرا؛ خطیبان، مهناز (1398). بررسی تطبیقی الگوهای مشارکت بخش دولتی و خصوصی در آموزش‌ عالی علوم پزشکی در پنج قاره. طب و تزکیه، 28(2)، 70- 81.
قناعتیان جهرمی، فاطمه (1398). تأثیر بیان آموزشی حمایت‌کننده استقلال بر یادگیری یک مهارت ورزشی: نقش واسطه‌ای حق انتخاب ادراک شده، پنجمین همایش ملی تازه‌های روان‌شناسی مثبت‌نگر، بندرعباس، دانشگاه فرهنگیان. ص69-78.
کلباسی، افسانه؛ نصر، احمدرضا؛ خروشی، پوران؛ اطهری اصفهانی، زینب‌السادات (1394). بررسی مؤلفه‌های ‌ارزشیابی واحد درسی و اجرای موردی آن توسط دانشجو معلمان مرکز شهید رجایی دانشگاه فرهنگیان اصفهان.
گانیه، رابرت میلز (1394). شرایط یادگیری و نظریه آموزشی؛ ترجمه جعفر نجفی زند. انتشارات رشد.
ماکولاتی، زهره؛ نقدی، مجید؛ نقی‌زاده، محمدمهدی؛ بهار، محبوبه (1392).ارزیابی نقش عوامل مؤثر در طراحی الگوی منظم آموزشی بر یادگیری از دیدگاه دانشجویان علوم پایه دانشگاه علوم پزشکی فسا. مجله ایرانی آموزش در علوم پزشکی،  13(3)، 190 - 200.
مالکی، مائده؛ فردانش، هاشم؛ طلایی، ابراهیم؛ حاتمی، جواد (1397). طراحی و اجرای الگوی یادگیری مبتنی بر نمونه‌سازی و تأثیر آن بر یادگیری مفاهیم و کنش‌های نمونه‌سازی. فصلنامه تعلیم و تربیت، 34(4)، 11 – 34.
معروفی، یحیی (1386). تبیین عوامل مؤثر بر کیفیت آموزش در دانشگاه‌ها و طراحی الگوی مناسب برای ارزشیابی آن. پایان‌نامه کارشناسی ‌ارشد در رشتۀ علوم تربیتی، برنامه‌ریزی درسی.
مقدم، آرش؛ عباس‌پور، عباس (1390). طراحی مدل مفهومی یکپارچۀ سازمان یادگیرنده. فصلنامۀرهیافتینودرمدیریتآموزشی، ۲(۴)، ۲۱-۵۴.
ملکی، حسن (1396). برنامه‌ریزی درسی (راهنمای عمل). انتشارات پیام اندیشه.
میثاقیان، عسکر (1398). خانواده و اختلالات یادگیری فرزندان، چهارمین کنفرانس ملی توانمندسازی جامعه در حوزه علوم انسانی و مطالعات روان‌شناسی، تهران، مرکز توانمندسازی مهارت‌های فرهنگی و اجتماعی جامعه.
میرزایی، علیرضا؛ کاوری‌زاده، فروزان؛ لهرابیان، وحید؛ یگانه، زیبا (۱۳۹4). روش‌های ارزشیابی پیشرفت تحصیلی دانشجویان؛ دانشگاه علوم پزشکی ایلام. دوماهنامه راهبردهای آموزش در علوم پزشکی، ۸(۲)، ۹۱-۹۷.
ناصری، دلبر؛ نوریان‌فر، سیدکرم؛ شجاعت‌پور، جواد (1394). تأثیر ارزشیابی تدریس اساتید بر فرایند یادگیری دانشجویان، سومین همایش ملی مدرسه فردا، چالوس، دانشکده فنی و حرفه‌ای سما واحد چالوس.
ناصری، فاطمه (1396). بررسی تجربه زیسته اساتید گروه علوم انسانی از شیوه‌های ‌ارزشیابی ‌دانشجویان ‌و پیامدهای ‌روان‌شناختی آن. پایان‌نامه کارشناسی ‌ارشد دانشگاه فردوسی مشهد.
ناظم‌نژاد، ندا (1390). بررسی رابطۀ بین مدل برنامه‌ریزی درسی مرجح اعضای هیئت علمی دانشگاه شیراز با راهبردهای تدریس، روش‌های تدریس و فنون ارزشیابی مورد استفاده آنان در فرایند یاددهییادگیری. پایان‌نامه کارشناسی ارشد در رشتۀ علوم تربیتی- مدیریت آموزشی.
یوسفی ‌افراشته، مهدی (1393). ساخت‌ و اعتباریابی ‌آزمون ‌‎سنجش ‌دستاوردهای ‌یادگیری دوره‌ کارشناسی ‌علوم ‌آزمایشگاهی. رسالۀ دکتری سنجش آموزش، دانشکدۀ روان‌شناسی و علوم تربیتی، دانشگاه تهران.
Alkin, M. C. & Christie, A. C. (2012). An Evaluation Theory Tree, In. M. C. Alkin. (Ed. ). Evaluation Roots: Tracing theorists ‘Views and influences, (pp. 12-65)
Alkuran (2012). Evaluation Methods for Student Learning in Higher Education. Journal of Instructional Pedagogies, 21.
Aziz, S., Mahmood, M., & Rehman, Z. (2018). Implementation of CIPP Model for quality evaluation at school level: A case study. Journal of Education & Educational Development, 5(1),189-206.
Berggren, B., Fili, A. ,& Nordberg, J. S. (2015). The assessment of school engagement: Examining dimensionality and measurement invariance by gender and race/ethnicity. Journal of School Psychology, 49, 465-480.
Berett, D. (2016). The next great hope for measuring learning.Chronicle of Higher Educatio. Retrieved from http: //chronicle. Com/article/The-Next-Great - Hope- for/238075.
Brooker, A., Corrin, L., De Barba, P., Lodge, J., & Kennedy, G. (2018). A tale of two MOOCs: How student motivation and participation predict learning outcomes in different MOOCs. Australasian Journal of Educational Technology, 34(1).
Buil, I., Catalán, S., & Martínez, E. (2020). The influence of flow on learning outcomes: An empirical study on the use of clickers. British Journal of  Educational Technology,50(1), 428-439.
Candra, R., Rahayu, E. S., & Putra, N. M. D. (2020). Development of Science Module SETS Approach to Strengthen Cognitive Learning outcomes of Elementary School Students. Journal of Primary Education, 9(3), 20-29.
Chan, C. K. Y., & Prosser, M. T. (2015). Evidence of Student Learning outcomes–Why and How?. In International Conference: Assessment For Learning In Higher Education: Pre-conference Workshop.
Cheng, R. & Lam, S. (2018). The interaction between social goals and self-construal on achievement motivation. Contemporary Educational Psychology, 38(2), 136-14.
Coates, H. (2016). Assessing student learning outcomes internationally:Insights and frontiers. Assessment & Evaluation in Higher Education, 41(5), 662-676.
DaCosta-Marques, & Mano, L. (2011). Scholarly productivity redefined in counselor education. Counselor Education & Supervision, 42, 40-57.
Edwards, M., Kerevel, Y., & Hultquist, P. (2020). Do simulations improve higher-order learning outcomes? Evaluating student learning through a simulated regional trade agreement negotiation. APSA Preprints. doi: 10.33774/apsa-2020-ppzwd. This content is a preprint and has not been peer-reviewed.
Fadilah et al. (2017). The Impact of Using Textured Learning and Learning. (CTL). Model Based on Textbook Study Using Mind Mapping Media to Evaluate Student Learning outcomes on Chemistry. The Journal of Finance, 64(5), 1985-2021.
Hadullo, K., Oboko, R., & Omwenga, E. (2017). A model for evaluating e-learning systems quality in higher education in developing countries. International Journal of Education and Development using ICT, 13(2).
Hall (2013). The impact of assessment methods on the learning of nursing students. Nurse Educ. Today.
Havnes, A., & Prøitz, T. S. (2016). Why use learning outcomes in higher education? Exploring the grounds for academic resistance and reclaiming the value of unexpected learning. Educational Assessment, Evaluation & Accountability, 28(3), 205-223.
Heaton, J. B. (2010). Classroom testing. Longman.
Hou, F. (2011). An In- Depth Analysis of the Learning and Study Strategies Inventory. Educational & Psychological Measurement, 66(6), 58-90.
Huizenga, J., Admiraal, W., ten Dam, G., & Voogt, J. (2019). Mobile game-based learning in secondary education: Students’ immersion, game activities, team performance and learning outcomes. Computers in Human Behavior, 99, 137-143.  
Klein, C., & Hess, R. M. (2018). Using learning analytics to improve student learning outcomes assessment: Benefits, constraints, & possibilities. In Learning analytics in higher education (pp.140-159). Routledge.
Klimova, B. F. (2014). Evaluation methods as an effective tool for the development of students’ learning. Procedia-Social & Behavioral Sciences, 152, 112-115.
Lau, K. W., Lee, P. Y., & Chung, Y. Y. (2019). A collective organizational learning model for organizational development. Leadership & Organization Development Journal, 40(1), 107-123.
Liu, M. H. (2016). Blending a class video blog to optimize student learning outcomes in higher education. The Internet & Higher Education, 30, 44-53.
Malmia, W., Makatita, S. H., Lisaholit, S., Azwan, A., Magfirah, I., Tinggapi, H., ... & Umanailo, B. (2019). Problem-Based Learning as an Effort to Improve Student Learning outcomes. Int. J. Sci. Technol. Res, 8(9), 1140-1143.
Marriot, D. (2009). Conceptualizing student engagement: Doing education not doing time. Teaching & Teacher Education, 24, 1765– 1776.
McDowell, L. Sambell, K., & Montgomery, C. (2012). Assessment for learning in higher education. Routledge.
Melgozzo et al. (2017). The Value of Evaluating the Learning outcomes of Higher Education Students.
Mentkowski, M., Abromeit, J., Mernitz, H., Talley, K., Knuteson, C., Rickards, W. H., ... & Mente, S. (2016). Assessing Student Learning outcomes Across a Curriculum. In Assessing Competence in Professional Performance across Disciplines and Professions.(pp.141-157).Springer, Cham.
Merchant, Z., Guetz, E., Cifuentesc, L., Keeney-Kennicuttd, W., Davis, T. (2014). The Effectiveness of Virtual Reality Education on Student Learning outcomes in K-12 and Higher Education: A Meta-Analysis. Computers & Education, 70, 29-40.
Moldovana, V. O., & Bocoş-Binţinţan, M. D. (2016). The Influence of Scouting Activities upon the Behaviour of the Young Pupil.
Pastarff et al. (2012). Evaluation in the field of higher education is a subject that has different perspectives. Specifically, researchers look at how evaluation affects students' learning strategies and processes.
Paulini, A. (2015). Improving Student Learning Performance and Learning outcomes. The Journal ofEffective Teaching, 15(1), 20-33.
Pereira, D., Flores, M. A., & Niklasson, L. (2016). Assessment revisited:a review of research in Assessment and Evaluation in Higher Education. Assessment & Evaluation in Higher Education,41(7), 1008-1032.
Richards, J. C., & Lockhart, C. (2009). Reflecting teaching in second language classrooms. Cambridge University Press.
Rockman, I. F. (2019). Integrating information literacy into the learning outcomes of academic disciplines:A critical 21st-century issue. College & Research Libraries News, 64(9), 612-615.
Rupp, M. A., Odette, K. L., Kozachuk, J., Michaelis, J. R., Smither, J. A., & McConnell, D. S. (2019). Investigating learning outcomes and subjective experiences in 360-degree videos. Computers & Education, 128, 256-268.
Soto, X., Seven, Y., McKenna, M., Madsen, K., Peters-Sanders, L., Kelley, E. S., & Goldstein, H. (2020). Iterative Development of a Home Review Program to Promote Preschoolers' Vocabulary Skills:Social Validity and Learning outcomes. Language, Speech, & Hearing Services in Schools, 1-19.
Sambell, K. (2016). Evaluation and Feedback in Higher Education. Student Engagement in Higher Education Journal, 1(1).
Vaira, P. M. (2004). Comparative fit indices in structural equation models. Psychological Bulletin, 604, 622–642.
vander Meij, H., Veldkamp, S., & Leemkuil, H. (2020). Effects of scripting on dialogues, motivation and learning outcomes in serious games. British Journal of Educational technology, 51(2), 459-472.
Marsick, V. J., & Watkins, K. E. (2003). Demonstrating the value of an organization’s learning culture: the dimensions of the learning organization questionnaire. Advances in Developing Human Resources, 5(2), 132–151.
Zineldin, Akdag & Vasicheva, V. (2011). Dropout from higher education: a theoretical synthesis of recent research. Review of Educational Research, 45(1), 89-125.