A generalizability Analysis: The reliability of measurements: “Let’s circuit electric”<p>Bir genellenebilirlik kuramı analizi: Değerlendirmede kullanılan ölçme araçlarının güvenirliği “Haydi Elektriği İletelim”
Keywords:
Measurement, evaluation, measurement instruments, generalizability, Ölçme, değerlendirme, ölçme araçları, genellenebilirlik kuramı, güvenirlikAbstract
The study’s purpose was to compare the results of G&K studies of some measurement instruments, used in the current study and also check their reliability. These are a multiple-choice test, a structured grid, and a performance task applied for measuring students’ performance. It is based on Generalizability Theory (GT). The population was the 6th grade students in Antalya, a city in the Mediterranian area in Turkey. During the 2014-2015 school years, forty students (23 girls and 17 boys) from two 6th grade classes randomly selected from two middle schools. The first author was the instructor and it took a month to teach “Let’s Circuit Electricity” unit in a regular classroom environment. For the study’s purpose, a multiple-choice test, a structured grid, and a performance task, developed by the researchers, were utilized to measure students’ achievement in each. The structured grids and performance tasks were graded by three teachers. According to the findings, KR-20 reliability coefficient of the multiple-choice test was .68; while G coefficient .68 and Phi (Φ) coefficients was .64. The Cronbach’s Alpha coefficients for structured grid and G coefficient were .96 and .91, respectively whereas Phi (Φ) coefficient was as .83. Cronbach’s Alpha coefficient for performance task was found as .89; G coefficient as .89, and Phi (Φ) coefficient as .86. According to the results of decision studies, variation of G and Phi coefficient for all three measurements were in line. We also found that three graders’ results were consistent with each other for the structured grid and performance tasks’ grading results.
Extended English summary is in the end of Full Text PDF (TURKISH) file.
Özet
Araştırmanın amacı; Genellenebilirlik Kuramını kullanarak öğrenci performansının ölçülmesi amacıyla kullanılan çoktan seçmeli test, yapılandırılmış grid ve performans görevinin Genellenebilirlik (G) ve Karar (K) çalışmalarının yapılarak, sonuçların karşılaştırılmasıdır. Araştırma evrenimiz 2014-2015 eğitim-öğretim yılında Antalya’da öğrenim görmekte olan ortaokul altıncı sınıf öğrencilerini kapsamaktadır. Araştırma çalışma grubu ise Antalya’da iki farklı okuldan rastgele seçilen birer altıncı sınıf şubesinde öğrenim gören 23’ü kız 17’si erkek toplam 40 öğrenciden oluşmaktadır. Elektriği İletelim ünitesi üç haftada araştırmanın birinci yazarı tarafından normal sınıf ortamında işlenmiş; veri toplama aracı olarak araştırmacılar tarafından geliştirilen çoktan seçmeli test, yapılandırılmış grid ve bir performans görevi çalışma grubundaki öğrencilere uygulanmıştır. Bunların değerlendirilmesinde üç puanlayıcının görüşüne başvurulmuştur. Sonuçlara göre çoktan seçmeli testin, G katsayısı .68, Phi (Φ) katsayısı ise .64 bulunmuştur. Yapılandırılmış gridin G katsayısı .91, Phi (Φ) katsayısı ise .83 bulunmuştur. Performans görevi sonuçlarına bakıldığında, G katsayısı .89, Phi (Φ) katsayısının ise .86 şeklinde olduğu görülmüştür. Karar çalışmaları sonucuna göre, üç araç için de elde edilen G ve Phi katsayılarının değişiminin paralellik göstermektedir. Ek olarak yapılandırılmış grid ve performans görevinin değerlendirme sonuçlarının üç puanlayıcı için paralellik gösterdiği de bulgularımız arasındadır.
Downloads
Metrics
References
Alharby, E. R. (2006). A comparison between two scoring methods, holistic vs. Analytic using two measurement models, the Generalizability Theory and the many facet Rasch measurement within the context of performance assessment. Unpublished doctoral dissertation. The Pennsylvania State University Faculty of Education, Pennsylvania.
Aktaş, M. (2013). Aynı performans görevinin farklı sayıda puanlayıcılar tarafından üç farklı teknikle puanlanmasından elde edilen puanların güvenirliklerinin Genellenebilirlik Kuramına göre incelenmesi. Yayımlanmamış Yüksek Lisans Tezi, Mersin Üniversitesi, Mersin.
Başol, G. (2008). Bilimsel araştırma süreci ve yöntem. İçinde Kılıç, O. veCinoğlu M. (Ed.), Bilimsel araştırma yöntemleri, Bölüm 5, İstanbul: LisansYayıncılık.
Başol, G. (2016). Eğitimde ölçme ve değerlendirme. Genişletilmiş 4. Baskı, Ankara: Pegem Yayıncılık.
Bottema-Beutel, K., Lloyd, B., Carter, E. W. & Asmus, J. M. (2014). Generalizability and decision studies to inform observational and experimental research in classroom settings. American Journal on Intellectual and Developmental Disabilitie, 119(6),589–605.
Brennan, R. L. (2001). Generalizability Theory. USA: Springer-Verlag New York Inc.
Brown, J.D. (2005). Generalizability and decision studies. JALT Testing & Evaluation SIG Newsletter, 9,12-16.
Büyükturan, E., Demirtaşlı N.(2012). Çoktan seçmeli testler ile yapılandırılmış gridlerin, psikometrik özellikler açısından karşılaştırılması., Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 4588(1), 395-415.
Crocker, L., &Algina, J. (1986). Introduction to Classical and Modern Test Theory. Harcourt Brace Javanovich College Publishers, USA.
Doğan, S. (2012). Kavram haritası ve yapılandırılmış grid tekniğinin çoktan seçmeli testlerle karşılaştırılması. Yayımlanmamış Yüksek Lisans Tezi. Mersin Üniversitesi, Mersin.
Eason, S. H. (1989). Why Generalizability Theory yields better results than Classical Test Theory. Mid- South Educational Research Association Annual Meeting: 8-10 November 1989- Little Rock, AR.
EduG 2012 software. EduG version 6.1-e, Generalizability Study. Société Suisse pour la Rechercheen Education, Groupe de travail Edumétrie – Qualité de l’évaluation en éducation; software prepared by Maurice Dalois and LéoLaroche, Educan Inc., Longueuil, Quebec, Canada.
Eroğlu, M. G. (2010). Kavram haritası ve yapılandırılmış grid ile elde edilen puanların geçerlilik ve güvenirliklerinin incelenmesi. Yayımlanmamış Yüksek Lisans Tezi, Hacettepe Üniversitesi, Ankara.
Güler, N. (2008). Klasik Test Kuramı, Genellenebilirlik Kuramı ve Rasch Modeli üzerine bir araştırma. Doktora Tezi, Hacettepe Üniversitesi, Ankara.
Güler, N., Kaya Uyanık, G., veTaşdelenTeker, G. (2012). Genellenebilirlik Kuramı. Ankara: Pegem Yayıncılık.
Karasar, N. (1998). Araştırmalarda rapor hazırlama yöntemi. Ankara: Pars Matbaacılık.
Kieffer, K. M. (1998). Why Generalizability Theory is essential and Classical Test Theory often inadequate? Paper presented at the annual meeting of the Southwestern Psychological Association. New Orleans, LA. USA.
Lord, F. M. &Novick, M. R. (1968). Statistical theories of mental test scores. Reading MA: Addison-Welsley Publishing Company.
McMillian, J. H. (1997). Classroom assessment: Principles and practice for effective instruction. Needham Heights, MA: Allyn and Bacon.
Nalbantoğlu, F. Gelbal S. (2011). Iletişim becerileri istasyonu örneğinde Genellenebilirlik Kuramıyla farklı desenlerin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 41:509-518.
Oosterhof, A. (1999). Developing and using classroom assessments. Upper Saddle River, NJ: Prentice Hall.
Rentz, J. O. (1987). Generalizability Theory: A comprehensive method for assessing and improving the dependability of marketing measures. Journal of Marketing Research, 24(1), 19-28.
Shavelson, J. R., Webb, N., & M., Rowley, G. (1989). Generalizability Theory. American Psychologist, 44(6), 922-932.
Shavelson, R. J., & Webb, N. M. (1991). Generalizability Theory: A primer. Sage Publications, USA.
Shavelson, R. J., & Webb, N. M. (2005). Generalizability theory. Web: http://web.stanford.edu/dept/SUSE/SEAL/Reports_Papers/methods_papers/G%20Theory%20AERA.pdfadresindenalınmıştır.
IBM Corp. Released 2013. IBM SPSS Statistics for Windows, Version 22.0. Armonk, NY: IBM Corp.
Thompson, B. (2003). Score reliability: Contemporary thinking on reliability issues. Sage Publications.
Downloads
Published
How to Cite
Issue
Section
License
Authors can retain copyright, while granting the journal right of first publication. Alternatively, authors can transfer copyright to the journal, which then permits authors non-commercial use of the work, including the right to place it in an open access archive. In addition, Creative Commons can be consulted for flexible copyright licenses.
©1999 Creative Commons Attribution-ShareAlike 4.0 International License.
