Dependability of Undergraduate Students Evaluation from Educational Practice of Faculty Members

Document Type : Original Article

Author

Abstract

The aim of this study was to estimate the dependability coefficient of undergraduate students' evaluation scores of teaching performance within a generalizability theory framework. To this purpose, assessment data of professors in the first semester of academic year 2014-2015, recorded in educational system of Allameh Tabataba'i University, were defined as statistical society. Then, performance assessments scores of 12 professors were selected as statistical sample using multistage random sampling. Data were analyzed using multi-facet nested design to evaluate dependability coefficient of data. Findings suggest that dependability coefficient of students' views on teaching performance of professors is not the same for all departments. In addition, mean evaluation scores of eight professors from 12 samples should not be regarded as the basis for decision-making, since their dependability coefficient is lower than expected. According to the results, it is suggested to evaluate dependability coefficient of students' views first for promotion of guest or adjunct professors or renewal of their contracts. If this dependability coefficient was lower than expected, their views should not be considered as a basis for decision making.

Keywords


بیگدلی، ایمان‌الله (1379). بررسی اعتبار پرسشنامه ارزیابی دانشجویان از اساتید. فصلنامه روانشناسی، 16 (4)، 405- 416.
رئوفی، شهین؛ شیخیان، علی؛ ابراهیم‌زاده، فرزاد؛ طراحی، محمد جواد و احمدی، پروانه (1389). طراحی فرم جدید ارزیابی کیفیت تدریس نظری اساتید بر اساس دیدگاه­های ذینفعان و اصول شش گانه دانش پژوهی کلاسیک. فصلنامه پزشکی هرمزگان،  14(3)،167-176.
امینی، میترا و هنردار، مرضیه (1387). ارزیابی استاد از دیدگاه اساتید و دانشجویان دانشگاه علوم پزشکی جهرم. فصلنامه دانشگاه علوم پزشکی سمنان، 9 (3)، 171-177.
امدادی، شهره؛ امانی، فیروز؛ سلطانیان، علیرضا؛ ایمنی، بهزاد؛ مقصود، امیرحسین؛ شجاعی، ستاره و دیگران (1392). مطالعه روایی و پایایی فرم ارزیابی استاد توسط دانشجو در درس تئوری و برخی عوامل مؤثر بر ارزیابی دانشجو. فصلنامه گام­های توسعه در آموزش پزشکی، 10 (1)،87-94.
باستانی، پیوند؛ روح‌اللهی، نیره‌سادات و طاهرنژاد، علی (1393). بررسی روایی و پایایی فرم­های ارزیابی اساتید از دیدگاه دانشجویان دانشگاه علوم پزشکی تهران. دو فصلنامه آموزش پزشکی، 3 (1)، 7-14.
عبداللهی، حسین (1392). تحلیل سازوکار ارزیابی عملکرد آموزشی اعضای هیئت علمی: مطالعه موردی دانشگاه علامه طباطبائی. فصلنامه مطالعات و ارزیابی آموزشی، 3 (3)، 101-126.
دهقانی، مسعود و نخعی، نوذر (1391). ارزیابی استاد توسط دانشجو: مروری بر نقدها. فصلنامه گام­های توسعه در آموزش پزشکی، 9 (2)، 102-109.
 
Barnes, L. L. B., & Barnes, M. W. (1993). Academic discipline and generalizability of student evaluations of instruction. Research in Higher Education, 34 (2), 135-149.
Brennan, R. L. (2011). Generalizability­ Theory and classical test theory.Applied Measurement in Education, 24, 1–21.
Brennan, R. L. (2001a). Generalizability Theory. New York: Springer-Verlag.
Brennan, R. L. (2001b). Manual for urGENOVA.  Iowa City, IA: Iowa Testing Programs, University of Iowa.
Cardinet, J., Johnson, S., & Pini, G. (2010). Applying generalizability theory using EduG. New York, NY: Routledge.
Cronbach, L. J., Gleser, G. C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. New York: Wiley.
Cronbach, L. J., Raj aratnam, N., & Gleser, G. C. (1963). Theory of generalizability: A liberalization­ of reliability theory. British Journal of Statistical Psychology, 16, 137-163.
Ibrahim, A. M. (2011). Using generalizability theory to estimate the relative effect of class size and number of items on the dependability of student ratings of instruction. Psychological reports, 109 (1), 252-258.
Kane, M. T., Gillmore, G. M., & Crooks, T. J. (1976). Student evaluations of teaching: The generalizability of class means. Journal of Educational Measurement, 13, 171-183.
Keeley, J., Furr, R. M., & Buskist, W. (2010). Differentiating psychology student's perceptions of teachers using the teacher behavior checklist. Journal of Teaching of Psychology, 37, 16–20.
Morgeson, F. P., Campion, M. A. (2000). Accuracy in job analysis: toward an inference-based model. Journal of Organizational Behavior, 21, 819-827.
Shavelson, R. J., & Webb, N. M. (1991). Generalizability Theory: A Primer: A Primer (Vol. 1). Sage Publications.
Shavelson,R.J .,Webb,N.M .,Rowley.G.L.(1989). Generalizability Theory. American Psychological Association, 44(6), 922-932.
Sun, A., Valiga, M. J., & Gao, X. (1997). Using generalizability theory to assess the reliability of student ratings of academic advising. The Journal of experimental education, 65 (4), 367-379.
VanLeeuwen, D.M., Dormody, T.J., Seevers, B.S.)1999). Assessing the Reliability of Student Evaluations of Teaching (SETS) with Generalizability Theory. Journal of Agricultural Education, 40 (4), 1-9.