Analysis of the Lived Experience of University Professors from Evaluating the Students' Learning Outputs

Document Type : Original Article


1 PhD student

2 ---


In the 21st century, the importance of the higher education system in any society has become so critical that, according to Malcolm Gillis, today the fact that a nation be rich or poor greatly depends on the quality of higher education. But the hasty quantitative-oriented approach caused it to remain only within the limits of directives and regulations, and the qualitative dimensions of education were considered less. In the meantime, paying attention to outputs- which is equivalent to outcome, yield and results- and evaluation became more important because evaluation is part of the learning process, and the three streams of training, learning, and evaluation work together. Accodingly in 1985, Rabart Gagne formulated the theory of education based on cognitive principles which includes the learning conditions or the circumstances in which learning takes place. There are two crucial steps in applying this theory: The first step is to determine the type of learning output. Gagne has determined the five main outputs. The second step is to identify learning events or factors that make a difference in learning.
In defective educational systems, the appraisal criterion is basically observable behavior and large-scale classroom exams with the use of achievement tests,and the goal is passing semesters and graduation,and learning actually does not take place.Consequently, when evaluation is in the service of learning, the learner has a deep understanding of his/her performance and evaluates his/her learning continuously and considers his/her effort-and not random or external factors-as the factor of his/her success.
This issue and its importance is studied and discussed by many researchers, e.g.(Klein et al.,2018); (Melgozzo et al.,2017); (Sumble,2016); (Havnes et al.,2016); (Klimova,2014); and (Naseri ,2017). By examining their findings and considering the problems and obstacles, and insufficiancy of facilities in universities, including lack of appropriate and different tools in evaluating the learning outputs of students, especially in the field of humanities, in which the theoretical aspect, score and exam sheet is the criterion for evaluation, the researcher faced this question: What are the dimensions, components and evaluation indicators of the students’ learning outputs?
Research Method:
The present study examined the "analysis of the lived experience of university professors from evaluating the students' learning outputs".The research purpose is practical and research field includes all professors in the field of educational science in universities of Tehran province. In the qualitative stage, the snowball sampling method was used. Also, by continuously comparing the data until reaching the theoretical saturation, a semi-structured interview was conducted with 10professors.In the quantitative stage, using the Cochran's formula,193 out of 387of these professors were surveyed by simple random sampling.
The tools for collecting data at qualitative stage are semi-structured interviews, field studies and library studies, and in the quantitave stage, a researcher-made questionnaire based on the five-scale Likert was designed to evaluate qualitative data.
To examine the content validity, triangulation of data sources was used and professors who were interviewed as well as advisors and readers were also surveyed, and with the help of a questionnaire measured with Cronbach's alpha tool, the idea of other professors was applied to assess the reliability.
In terms of method and manner of implementation, the research is a mixed (exploratory) method. In the qualitative stage, the phenomenological method based on Van Manen’s seven-scale model was used, and in the quantitative stage, to validate the model, the Confirmatory Factor Analysis and the Structural Equation Model were used. Data normality was assessed by K-S test and components were assessed by one-sample T-test. Statistical analyzes were performed by SPSS and Lisrel softwares, and the final model was extracted.
Research Findings:
Here, the research questions are answered in two stages, qualitatively and quantitatively.
General Question: What are the dimensions, components, and evaluation indicators of students’ learning outputs?
First, to do the analysis, the whole transcripts of 10 interviews and document surveys between 2012 and 2020 were divided into 1405 initial codes, and after several screenings and continuous comparisons, 320 open codes were recorded.To follow the inductive path, the initial codes were classified into 87 sub-categories and 17 main categories (dimensions) and were subdivided into 5 constructs.
Question 1-What are the characteristics of a learning output evaluation model?
Constructs, dimensions, categories and indicators after review by professors were categorized as follows.
Table (1):5 extracted constructs and subdivisions

No. of Indicators with Higher Priority According to Professors' Survey

No. of Dimenstions

No. of Catatories

No. of Indicators


60 indicators




The nature of evaluation

10 indicators




The nature of the curriculum

45 indicators




Evaluator (professor)

28 indicators




The nature of learning outcomes

26 indicators




Evaluatee (student)

Question 2-What is the model for evaluating learning outputs?
From the results of the qualitative part, a model was extracted indicating the evaluation of learning outputs is surrounded by 5 constructs, and each construct is connected to a number of dimensions, categories and indicators.
Question 3-To what extent is the mentioned model valid?
In the quantitative step to assess the validity of the model extracted in the qualitative part,at first by using central indicators, the scattering of variables were described, the normality of the data was checked, and the correlation matrix with 5constructs was defined as the input for Lisrel software. Factor Analysis Test was performed on (components of) each construct. As a result of standard parameter estimates, Chi-Square and RMSEA indices showed that the output of pattern fitting indices is statistically significant in each construct and all factor loads were accepted and prioritized due to being at a high level.The amount of Chi-Square in the degree of freedom of the models and the values of one-sample T-test showed that direct relationships exist. Therefore, the null hypothesis was rejected with 95% confidence for these components, and the research hypothesis was confirmed.
Finally,according to the prevalent conditions of Iranian higher education system and the lived experience of university professors, there was an attempt to design a model that depicts the evaluation of learning outputs in 5 constructs, 17 dimensions, 87 categories and 320 indicators that are all related. According to the professors, paying attention to all of them will have a positive effect on the evaluation of learning outputs since in the evaluation process, the role of the student, the professor, and the curriculum are influential, and disregarding each of them can change the output.These findings are consistent with the results of studies by (Klein et al., 2018); (Melgozzo et al., 2017); (Coates, 2016); (Paulini, 2015); (Alkuran,2012); and (Sufizadeh,2015). Therefore, we hope to see the improvement of the quality and effectiveness of the national higher education system by using the results of this study and other related researches.


آقازاده، محرم (1394). تکنولوژی آموزشی بر پایه رویکرد ساخت‌گرایی. نشر آییژ.
آقازاده، محرم (1395). راهنمای سنجش و ارزشیابی آغازین ابزارهای کمی و کیفی. مرکز نوآوری‌های آموزشی مرآت.
بازرگان هرندی، عباس (1396). ارزشیابی آموزشی: مفاهیم، الگوها و فرایند عملیاتی. انتشارات سازمان مطالعه و تدوین کتب علوم انسانی دانشگاه‌ها (سمت).
بازرگان هرندی، عباس (1394). ارزشیابی آموزشی. انتشارات سمت.
براری، نوری؛ خراسانی، اباصلت؛ رضایی‌زاده، مرتضی؛ اعلامی، فرنوش (1398). ارزشیابی از اهداف سطوح عالی یادگیری در محیط‌های یادگیری الکترونیکی. نشریه علمی آموزش و ارزشیابی، ۱۲(۴۵)، ۱۱۱- 132.
رحیمی، سیامک (1398). استفاده از چارچوب ارزیابی یادگیری‌گرا برای طرح معیارهایی در محاسبه مشارکت کلاسی دانشجویان، پنجمین همایش ملی پژوهش‌های نوین در حوزه زبان و ادبیات ایران (با رویکرد فرهنگ مشارکتی). خانه فرهنگ مشارکتی ایران.
سرمدی، محمدرضا؛ ویسی‌تبار، سلام (1391). طراحی یادگیری مبتنی بر وب با تأکید بر معرفت‌شناسی سازنده‌گرایی. پژوهش‌های آموزش و یادگیری (دانشور رفتار)، ۲۱(۴)، 129- 147.
سعیدی رضوانی، محمود؛ محمدزاده، لیلا (1394). یادگیری مادام‌العمر؛ هوش هیجانی و ارزشیابی توصیفی، همایش ملی کتابخانه‌های آموزشگاهی پویاسازی نظام آموزشی و مشارکت در فرایند یاددهی-یادگیری، مشهد، انجمن کتابداری و اطلاع‌رسانی، دانشگاه فردوسی مشهد.
سلیمی، جمال؛ امینی، بهنام (1397). مطالعه تجارب دانشجویان ارشد از روش‌های ارزشیابی اساتید؛ ارائه مدلی مفهومی. نخستین همایش بین‌المللی و دوازدهمین همایش ملی ارزیابی کیفیت در نظام‌های دانشگاهی.
شفیع‌پور مطلق، فرهاد؛ نظری، حسین (1392). ارائه ‌مدلی جهت ‌ارزیابی راهبردهای ‌یادگیری ‌الکترونیکی مؤثر بر پیشرفت تحصیلی دانشجویان، فصلنامه فناوری آموزش، 7(4)، 253- 259.
شکورزاده، رضا؛ ملکی، حسن؛ قصابی‌ چورسی، مهدی (1393). کیفیت‌سنجی برنامه‌های درسی‌ تحصیلات ‌تکمیلی گروه مدیریت و برنامه‌ریزی آموزشی. فصلنامه روان‌شناسی تربیتی، 10(34)، 67- 92.
صالحی، وحید؛ فیض‌آبادی، نرگس؛ مؤمنی راد، اکبر (1395). مدل رابطه‌ای یادگیری مشارکتی برخط و راهبردهای آموزشی مبتنی بر آن. همایش ملی آموزش.
صوفی‌زاده، پروانه (1394). پدیدارشناسی تجربیات اساتید دانشگاه تبریز در خصوص عوامل مؤثر بر بهبود فرایند یادگیری دانشجویان. پایان‌نامه کارشناسی ارشد، دانشکده روان‌شناسی و علوم تربیتی دانشگاه تبریز.
عالی، آمنه؛ مبارک قمصری، ریحانه (1395). فراتحلیل اثربخشی ارزشیابی توصیفی بر ارتقای بازده‌های یادگیری. فصلنامهتعلیم‌وتربیت، 34(133)، 139- 156.
عباس‌زاده، عباس؛ برهانی، فریبا؛ سبزواری، سکینه؛ افتخاری، زهره (1392). بررسی شیوه‌های متداول ارزشیابی و ارتباط آن با رویکردهای یادگیری در دانشجویان پرستاری دانشگاه علوم پزشکی کرمان. گام‌های توسعه در آموزش پزشکی، 10(2)، 142- 152.
عشرت‌آبادی، حسن؛ قرونه، داود (1393). بررسی معیارهای ارزیابی کیفیت یادگیری الکترونیکی در آموزش ‌عالی و ارائه چارچوبی ارزیابی آن. اولین کنفرانس ملی ارزیابی کیفیت در نظام‌های دانشگاهی تهران.
عطارپور، محمدرضا؛ کزازی، ابوالفضل؛ الیاسی، مهدی؛ بامداد صوفی، جهانیار (1397). مدل ارتقای یادگیری فناورانه برای توسعه نوآوری دوسوتوان؛ مطالعه موردی صنعت فولاد کشور. فصلنامهبهبودمدیریت، ۱۲(3)، 45 – 69.
فراستخواه، مقصود (1388). دانشگاه ایرانی و مسئلۀ کیفیت. نشر آگاه.
فراهانی، مهدی (1393). بررسی برخی عوامل مؤثر بر دستاوردهای یادگیری دورۀ کارشناسی آموزش مهندسی برق. رسالۀ دکتری سنجش آموزش، دانشکدۀ روان‌شناسی و علوم تربیتی دانشگاه تهران.
فراهانی، فرهاد؛ معصومی، لیلا؛ رستمی ‌معز، معصومه؛ خاموردی، زهرا؛ خطیبان، مهناز (1398). بررسی تطبیقی الگوهای مشارکت بخش دولتی و خصوصی در آموزش‌ عالی علوم پزشکی در پنج قاره. طب و تزکیه، 28(2)، 70- 81.
قناعتیان جهرمی، فاطمه (1398). تأثیر بیان آموزشی حمایت‌کننده استقلال بر یادگیری یک مهارت ورزشی: نقش واسطه‌ای حق انتخاب ادراک شده، پنجمین همایش ملی تازه‌های روان‌شناسی مثبت‌نگر، بندرعباس، دانشگاه فرهنگیان. ص69-78.
کلباسی، افسانه؛ نصر، احمدرضا؛ خروشی، پوران؛ اطهری اصفهانی، زینب‌السادات (1394). بررسی مؤلفه‌های ‌ارزشیابی واحد درسی و اجرای موردی آن توسط دانشجو معلمان مرکز شهید رجایی دانشگاه فرهنگیان اصفهان.
گانیه، رابرت میلز (1394). شرایط یادگیری و نظریه آموزشی؛ ترجمه جعفر نجفی زند. انتشارات رشد.
ماکولاتی، زهره؛ نقدی، مجید؛ نقی‌زاده، محمدمهدی؛ بهار، محبوبه (1392).ارزیابی نقش عوامل مؤثر در طراحی الگوی منظم آموزشی بر یادگیری از دیدگاه دانشجویان علوم پایه دانشگاه علوم پزشکی فسا. مجله ایرانی آموزش در علوم پزشکی،  13(3)، 190 - 200.
مالکی، مائده؛ فردانش، هاشم؛ طلایی، ابراهیم؛ حاتمی، جواد (1397). طراحی و اجرای الگوی یادگیری مبتنی بر نمونه‌سازی و تأثیر آن بر یادگیری مفاهیم و کنش‌های نمونه‌سازی. فصلنامه تعلیم و تربیت، 34(4)، 11 – 34.
معروفی، یحیی (1386). تبیین عوامل مؤثر بر کیفیت آموزش در دانشگاه‌ها و طراحی الگوی مناسب برای ارزشیابی آن. پایان‌نامه کارشناسی ‌ارشد در رشتۀ علوم تربیتی، برنامه‌ریزی درسی.
مقدم، آرش؛ عباس‌پور، عباس (1390). طراحی مدل مفهومی یکپارچۀ سازمان یادگیرنده. فصلنامۀرهیافتینودرمدیریتآموزشی، ۲(۴)، ۲۱-۵۴.
ملکی، حسن (1396). برنامه‌ریزی درسی (راهنمای عمل). انتشارات پیام اندیشه.
میثاقیان، عسکر (1398). خانواده و اختلالات یادگیری فرزندان، چهارمین کنفرانس ملی توانمندسازی جامعه در حوزه علوم انسانی و مطالعات روان‌شناسی، تهران، مرکز توانمندسازی مهارت‌های فرهنگی و اجتماعی جامعه.
میرزایی، علیرضا؛ کاوری‌زاده، فروزان؛ لهرابیان، وحید؛ یگانه، زیبا (۱۳۹4). روش‌های ارزشیابی پیشرفت تحصیلی دانشجویان؛ دانشگاه علوم پزشکی ایلام. دوماهنامه راهبردهای آموزش در علوم پزشکی، ۸(۲)، ۹۱-۹۷.
ناصری، دلبر؛ نوریان‌فر، سیدکرم؛ شجاعت‌پور، جواد (1394). تأثیر ارزشیابی تدریس اساتید بر فرایند یادگیری دانشجویان، سومین همایش ملی مدرسه فردا، چالوس، دانشکده فنی و حرفه‌ای سما واحد چالوس.
ناصری، فاطمه (1396). بررسی تجربه زیسته اساتید گروه علوم انسانی از شیوه‌های ‌ارزشیابی ‌دانشجویان ‌و پیامدهای ‌روان‌شناختی آن. پایان‌نامه کارشناسی ‌ارشد دانشگاه فردوسی مشهد.
ناظم‌نژاد، ندا (1390). بررسی رابطۀ بین مدل برنامه‌ریزی درسی مرجح اعضای هیئت علمی دانشگاه شیراز با راهبردهای تدریس، روش‌های تدریس و فنون ارزشیابی مورد استفاده آنان در فرایند یاددهییادگیری. پایان‌نامه کارشناسی ارشد در رشتۀ علوم تربیتی- مدیریت آموزشی.
یوسفی ‌افراشته، مهدی (1393). ساخت‌ و اعتباریابی ‌آزمون ‌‎سنجش ‌دستاوردهای ‌یادگیری دوره‌ کارشناسی ‌علوم ‌آزمایشگاهی. رسالۀ دکتری سنجش آموزش، دانشکدۀ روان‌شناسی و علوم تربیتی، دانشگاه تهران.
Alkin, M. C. & Christie, A. C. (2012). An Evaluation Theory Tree, In. M. C. Alkin. (Ed. ). Evaluation Roots: Tracing theorists ‘Views and influences, (pp. 12-65)
Alkuran (2012). Evaluation Methods for Student Learning in Higher Education. Journal of Instructional Pedagogies, 21.
Aziz, S., Mahmood, M., & Rehman, Z. (2018). Implementation of CIPP Model for quality evaluation at school level: A case study. Journal of Education & Educational Development, 5(1),189-206.
Berggren, B., Fili, A. ,& Nordberg, J. S. (2015). The assessment of school engagement: Examining dimensionality and measurement invariance by gender and race/ethnicity. Journal of School Psychology, 49, 465-480.
Berett, D. (2016). The next great hope for measuring learning.Chronicle of Higher Educatio. Retrieved from http: //chronicle. Com/article/The-Next-Great - Hope- for/238075.
Brooker, A., Corrin, L., De Barba, P., Lodge, J., & Kennedy, G. (2018). A tale of two MOOCs: How student motivation and participation predict learning outcomes in different MOOCs. Australasian Journal of Educational Technology, 34(1).
Buil, I., Catalán, S., & Martínez, E. (2020). The influence of flow on learning outcomes: An empirical study on the use of clickers. British Journal of  Educational Technology,50(1), 428-439.
Candra, R., Rahayu, E. S., & Putra, N. M. D. (2020). Development of Science Module SETS Approach to Strengthen Cognitive Learning outcomes of Elementary School Students. Journal of Primary Education, 9(3), 20-29.
Chan, C. K. Y., & Prosser, M. T. (2015). Evidence of Student Learning outcomes–Why and How?. In International Conference: Assessment For Learning In Higher Education: Pre-conference Workshop.
Cheng, R. & Lam, S. (2018). The interaction between social goals and self-construal on achievement motivation. Contemporary Educational Psychology, 38(2), 136-14.
Coates, H. (2016). Assessing student learning outcomes internationally:Insights and frontiers. Assessment & Evaluation in Higher Education, 41(5), 662-676.
DaCosta-Marques, & Mano, L. (2011). Scholarly productivity redefined in counselor education. Counselor Education & Supervision, 42, 40-57.
Edwards, M., Kerevel, Y., & Hultquist, P. (2020). Do simulations improve higher-order learning outcomes? Evaluating student learning through a simulated regional trade agreement negotiation. APSA Preprints. doi: 10.33774/apsa-2020-ppzwd. This content is a preprint and has not been peer-reviewed.
Fadilah et al. (2017). The Impact of Using Textured Learning and Learning. (CTL). Model Based on Textbook Study Using Mind Mapping Media to Evaluate Student Learning outcomes on Chemistry. The Journal of Finance, 64(5), 1985-2021.
Hadullo, K., Oboko, R., & Omwenga, E. (2017). A model for evaluating e-learning systems quality in higher education in developing countries. International Journal of Education and Development using ICT, 13(2).
Hall (2013). The impact of assessment methods on the learning of nursing students. Nurse Educ. Today.
Havnes, A., & Prøitz, T. S. (2016). Why use learning outcomes in higher education? Exploring the grounds for academic resistance and reclaiming the value of unexpected learning. Educational Assessment, Evaluation & Accountability, 28(3), 205-223.
Heaton, J. B. (2010). Classroom testing. Longman.
Hou, F. (2011). An In- Depth Analysis of the Learning and Study Strategies Inventory. Educational & Psychological Measurement, 66(6), 58-90.
Huizenga, J., Admiraal, W., ten Dam, G., & Voogt, J. (2019). Mobile game-based learning in secondary education: Students’ immersion, game activities, team performance and learning outcomes. Computers in Human Behavior, 99, 137-143.  
Klein, C., & Hess, R. M. (2018). Using learning analytics to improve student learning outcomes assessment: Benefits, constraints, & possibilities. In Learning analytics in higher education (pp.140-159). Routledge.
Klimova, B. F. (2014). Evaluation methods as an effective tool for the development of students’ learning. Procedia-Social & Behavioral Sciences, 152, 112-115.
Lau, K. W., Lee, P. Y., & Chung, Y. Y. (2019). A collective organizational learning model for organizational development. Leadership & Organization Development Journal, 40(1), 107-123.
Liu, M. H. (2016). Blending a class video blog to optimize student learning outcomes in higher education. The Internet & Higher Education, 30, 44-53.
Malmia, W., Makatita, S. H., Lisaholit, S., Azwan, A., Magfirah, I., Tinggapi, H., ... & Umanailo, B. (2019). Problem-Based Learning as an Effort to Improve Student Learning outcomes. Int. J. Sci. Technol. Res, 8(9), 1140-1143.
Marriot, D. (2009). Conceptualizing student engagement: Doing education not doing time. Teaching & Teacher Education, 24, 1765– 1776.
McDowell, L. Sambell, K., & Montgomery, C. (2012). Assessment for learning in higher education. Routledge.
Melgozzo et al. (2017). The Value of Evaluating the Learning outcomes of Higher Education Students.
Mentkowski, M., Abromeit, J., Mernitz, H., Talley, K., Knuteson, C., Rickards, W. H., ... & Mente, S. (2016). Assessing Student Learning outcomes Across a Curriculum. In Assessing Competence in Professional Performance across Disciplines and Professions.(pp.141-157).Springer, Cham.
Merchant, Z., Guetz, E., Cifuentesc, L., Keeney-Kennicuttd, W., Davis, T. (2014). The Effectiveness of Virtual Reality Education on Student Learning outcomes in K-12 and Higher Education: A Meta-Analysis. Computers & Education, 70, 29-40.
Moldovana, V. O., & Bocoş-Binţinţan, M. D. (2016). The Influence of Scouting Activities upon the Behaviour of the Young Pupil.
Pastarff et al. (2012). Evaluation in the field of higher education is a subject that has different perspectives. Specifically, researchers look at how evaluation affects students' learning strategies and processes.
Paulini, A. (2015). Improving Student Learning Performance and Learning outcomes. The Journal ofEffective Teaching, 15(1), 20-33.
Pereira, D., Flores, M. A., & Niklasson, L. (2016). Assessment revisited:a review of research in Assessment and Evaluation in Higher Education. Assessment & Evaluation in Higher Education,41(7), 1008-1032.
Richards, J. C., & Lockhart, C. (2009). Reflecting teaching in second language classrooms. Cambridge University Press.
Rockman, I. F. (2019). Integrating information literacy into the learning outcomes of academic disciplines:A critical 21st-century issue. College & Research Libraries News, 64(9), 612-615.
Rupp, M. A., Odette, K. L., Kozachuk, J., Michaelis, J. R., Smither, J. A., & McConnell, D. S. (2019). Investigating learning outcomes and subjective experiences in 360-degree videos. Computers & Education, 128, 256-268.
Soto, X., Seven, Y., McKenna, M., Madsen, K., Peters-Sanders, L., Kelley, E. S., & Goldstein, H. (2020). Iterative Development of a Home Review Program to Promote Preschoolers' Vocabulary Skills:Social Validity and Learning outcomes. Language, Speech, & Hearing Services in Schools, 1-19.
Sambell, K. (2016). Evaluation and Feedback in Higher Education. Student Engagement in Higher Education Journal, 1(1).
Vaira, P. M. (2004). Comparative fit indices in structural equation models. Psychological Bulletin, 604, 622–642.
vander Meij, H., Veldkamp, S., & Leemkuil, H. (2020). Effects of scripting on dialogues, motivation and learning outcomes in serious games. British Journal of Educational technology, 51(2), 459-472.
Marsick, V. J., & Watkins, K. E. (2003). Demonstrating the value of an organization’s learning culture: the dimensions of the learning organization questionnaire. Advances in Developing Human Resources, 5(2), 132–151.
Zineldin, Akdag & Vasicheva, V. (2011). Dropout from higher education: a theoretical synthesis of recent research. Review of Educational Research, 45(1), 89-125.