Development & Validation of a Framework for Quality Assessment of Massive Open Online Courses (MOOC)

Document Type : Original Article

Authors

10.22034/emes.2020.44375

Abstract

The purpose of this study was to develop and validate the quality assessment framework of massive open online courses. To achieve the purpose, the factors affecting the quality of MOOCs were extracted, classified and formulated as a framework. The research population comprised of educational technology experts across the country. The sample (200 n) were selected by convenience sampling technique due to the dispersion of the population. A researcher-made questionnaire was designed, validity and reliability of which was confirmed by the educational technology experts. The research data analyzed using confirmatory factor analysis method and SmartPLS software. The results indicate the MOOC quality assessment framework based on the Cronbach's alpha measures (composite reliability, convergent validity, and divergent validity) is desirable, suitable and robust. This framework is also robust in terms of the structural model measured by the R2 and Q2 indexes.

Keywords


جعفری، اسماعیل؛ فتحی واجارگاه، کوروش؛ عارفی، محبوبه؛ رضایی‌زاده، مرتضی (1396). فراتحلیلی کیفی بر پژوهش‌های انجام شده در زمینه موک (دوره‌های فراگیر گسترده آنلاین و باز). پژوهش در برنامه‌ریزی درسی، 14(2)، 27-41.

درتاج، فریبا؛ زارعی زوارکی، اسماعیل؛ علی‌آبادی، خدیجه (1396). طراحی و اعتباریابی الگوی آموزش از راه دور مبتنی بر موک برای دانشجویان. فصلنامه روان‌شناسی تربیتی دانشگاه علامه طباطبائی، 13(44)، 83-108.

رضایی، عیسی؛ زارعی زوارکی، اسماعیل؛ حاتمی، جواد؛ علی‌آبادی، خدیجه؛ دلاور، علی (1396). تدوین الگوی طراحی آموزشی دوره‌های بر خط آزاد انبوه مبتنی بر نظریه یادگیری ارتباط‌گرایی. مجله مرکز مطالعات و توسعه آموزش علوم پزشکی یزد، 12(1-2)، 65-86.

زین‌آبادی، حسن‌رضا؛ موسوی امیری، سیده طیبه (1396). تأملی بر دوره‌های موک در نظام آموزش عالی ایران: چالش‌ها و راهکارها. فصلنامه نوآوری و ارزش‌آفرینی، 6(12)، 55-41.

شاهعلی‌زاده، محمد (1395). طراحی و پیاده‌سازی دوره‌های برخط آزاد انبوه (موک): راهکاری برای جذب دانشجویان خارجی برای دانشگاه‌های ایران. کنگره ملی آموزش عالی ایران.

قاضی میرسعید، سید جواد؛ امتی، الهه (1395). بررسی مقایسه‌ای موک‌های ارائه شده در سایت مکتبخانه بر اساس شاخص‌های چهارگانه با تأکید بر حوزه پزشکی. مجله دانشکده پیراپزشکی دانشگاه علوم پزشکی تهران (پیاورد سلامت)، 10(5)، 393-401.

لهمان، رز ماری؛ کانسیسائو، سایمون (2010). ایجاد حس حضور در تدریس بر خط: چگونگی با هم بودن برای یادگیرندگان آموزش از راه دور؛ ترجمه اعظم اسفیجانی، روح‌الله خدابنده‌لو و آذر خزائی (1395). اصفهان: انتشارات دانشگاه اصفهان.

مطور، معصومه؛ علی‌آبادی، خدیجه؛ مزینی، ناصر (1396). ﻣﻮکﻫﺎ بودن یا ﻧﺒﻮدن. دوازدهمین کنفرانس سالانه یادگیری الکترونیکی، تهران، دانشگاه تهران - انجمن یادگیری الکترونیکی ایران (یادا).

معینی‌کیا، مهدی؛ آریانی، ابراهیم؛ زاهدبابلان، عادل؛ موسوی، طیبه و کاظمی، سلیم (1395). مطالعه عوامل مؤثر بر اجرای دوره‌های همگانی آموزش آزاد درون خطی (موک) در آموزش عالی. مجله راهبردهای آموزش در علوم پزشکی، 9(6)، 458-470.

Affouneh, A., Wimpenny, K., Ghodieh, A., Abu Alsaud, L., & Abu Obaid, A. (2018). Reflection on MOOC Design in Palestine. International Review of Research in Open and Distributed Learning, 19(2), 22-36.

Akhavan, P. & Arefi, M. F. (2014). Developing a conceptual framework for evaluation of e-content of virtual courses: E-learning center of an Iranian university case study. Interdisciplinary Journal of E-Learning and Learning Objects, 10, 53-73.

Aleman, L. Y., Sancho-Vinuesa, T., & Zermeno, M. G. (2015). Indicators of pedagogical quality for the design of a massive open online course for teacher training. Universities & Knowledge Society Journal, 12(1), 104-118.

Barclay, D., Higgins, C., & Thompson, R. (1995). The partial least squares (PLS) approach to causal modeling: personal computer adoption and use as an illustration. Technology Studies, 2(2), 285-309.

Calvo Salvador, A., & Rodríguez-Hoyos, C. (2016). Analizying MOOCs from an educational perspective in Spain. International Journal of Educational Technology in Higher Education, 12(13), 1-10.

Chang, D., Dooley, L., & Tuovinen, J. E. (2002). Gestalt Theory in Visual Screen Design - A New Look at an Old Subject. Seventh World Conference on Computers in Education, Copenhagen, 5-12.

Conole, G. (2013). MOOCs as disruptive technologies: strategies for enhancing the learner experience and quality of MOOCs.Revista de Educación a Distancia, 39, 1-17.

Dabbagh, N., Benson, A. D., Denham, A., Joseph, R., Al-Freih, M., Zgheib, G., ... & Guo, Z. (2015). Learning Technologies and Globalization-Pedagogical Frameworks and Applications. Cham, Switzerland: Springer International Publishing.

Daradoumis, Th., Bassi, R., Xhafa, F., & Caballe, S. (2013). A review on massive e-learning (MOOC) design, delivery and assessment. Eighth International Conference on P2P, Parallel, Grid, Cloud and Internet Computing, 208-213.

Dela Cruz, L. (2015). Massive Open Online Courses: A Primer for Philippine State Universities and Colleges (No. DP 2015-47). Retrieved from: https://dirp4.pids.gov.ph/websitecms/CDN/PUBLICATIONS/pidsdps1547_rev.pdf

Downes, S. (2015). The quality of Massive Open Online courses. In: Khan, B. H. & Ally, M. International handbook of E-Learning. (pp. 93-106). New York: Routledge.

Esfijani, A. (2018). Measuring Quality in Online Education: A Met synthesis. American Journal of Distance Education, 32(1), 57-73.

Fahmy yousef, A. M., Chatti, M. A., & Schroeder, U. (2014). What Drives a Successful MOOC? An Empirical Examination of Criteria to Assure Design Quality of MOOCs. International Conference on Advanced Learning Technologies, 44-48.

Fahmy yousef, A. M., Chatti, M. A., Schroeder, U., & Wosnitza, M. (2015). A Usability Evaluation of a Blended MOOC Environment: An Experimental Case Study. International Review of Research in Open and Distributed Learning, 16(2), 69-93.

Fernández-Díaz, E., Rodríguez-Hoyos, C., & Calvo Salvador, A. (2017). The Pedagogic Architecture of MOOC: A Research Project on Educational Courses in Spanish. International Review of Research in Open & Distributed Learning, 18(6).

Fernández, M, B, R. Silvera, J, L, S., & Meneses, E, L. (2015). Comparative between quality assessment tools for MOOCs: ADECUR vs Standard UNE 66181: 2012. International Journal of Educational Technology in Higher Education, 12(1), 131–144.

Guardia, L., Maina, M., & Sangra, A. (2013). MOOC Design Principles: A Pedagogical Approach from the Learner’s Perspective. ELearning Papers.

Jansen, D. Jon Rosewell, J., & Kear, K. (2017). Quality frameworks for MOOCs. In: Jemni, M. Kinshuk., & Khribi M. K. Open Education: from OERs to MOOCs. Berlin: Springer

Karsenti, Th. (2013). The MOOC what the research says. International Journal of Technologies in Higher Education, 10(2), 23-37.

Kumar, K. R. A. Ravi, S. Srivatsa, S. K. (2011). Effective e-learning approach for Students with Learning Disabilities. International Journal of Scientific & Engineering Research, 2(11), 1-5.

LeCounte, J. F., Nafukho, F., Valentin, M., Johnson, D., & Valentin, C. (2014). The MOOCs: Characteristics, Benefits and Challenges. Department of Education and Human Development. 1-17.

Margaryan, A., Bianco, M., & Littlejohn, A. (2015). Instructional quality of Massive Open Online Courses (MOOCs).Computers & Education, 80(1), 77-83.

Nkuyubwatsi, B. (2013). Evaluation of Massive Open Online Courses (MOOCs) From the Learner’s Perspective. Institute of Learning Innovation. Retrieved from: https://lra.le.ac.uk/bitstream/2381/28553/1/Evaluation%20of%20MOOCs%20from%20the%20Learner%27s%20perspective.pdf

Parr, C. (2013). Mooc creators criticize courses' lack of creativity. Times Higher Education. Retrieved from http://www.timeshighereducation.co.uk/news/mooc-creators-criticise-courses-lack-of-creativity/2008180.fullarticle.

QM. (2014). Introduction to the Quality Matters Program.Quality Matters. 1-8.

Shneiderman, B. & Plaisant, C. (2005). Design the user interface: strategies for effective human-computer interaction. Pearson Education.

Stracke, C. (2017). The Quality of MOOCs: How to Improve the Design of Open Education and Online Courses for Learners. Zaphiris and A. Ioannou (Eds.). 285- 293.

University of Copenhagen´s MOOC Unit. (2015). Massive Open Online Courses at the University of Copenhagen: Experiences from the first two years. University of Copenhagen