An analysis of the differential item function through Mantel-Haenszel, SIBTEST and Logistic Regression Methods<p>Mantel-Haenszel, SIBTEST ve Lojistik Regresyon Yöntemleri ile değişen madde fonksiyonunu analizi
Keywords:
differential item functioning, PISA, Mantel-Haenszel, logistic regression, SIBTESTAbstract
This study performs a Differential Item Function (DIF) analysis in terms of gender and culture on the items available in the PISA 2009 mathematics literacy sub-test. The DIF analyses were done through the Mantel Haenszel, Logistic Regression and the SIBTEST methods. The data for the gender variable were collected from the responses given by 332 students to the items in the mathematics literacy sub-test during the administration of the 5th booklet in the PISA 2009 application whereas the data for the culture variable were collected through the application of the 5th booklet in Turkey, Germany, Finland and the United States in the PISA 2009 application. As a result of DIF analysis according to gender, 4 items carried out in favor of men, only one item can be said to be advantageous in favor of girls. As a result of DIF analysis according to culture, 16 items for Turkish and German students, 14 items for Turkish and Finn students, 18 items for Turkish and United States students were determined.
Özet
Bu çalışmada, PISA 2009 uygulaması Matematik okuryazarlığı alttestinde, cinsiyete ve kültüre göre değişen madde fonksiyonu (DMF) içeren madde bulunup bulunmadığı incelenmiştir. DMF analizleri Mantel Haenszel, Lojistik Regresyon ve SIBTEST yöntemleriyle gerçekleştirilmiştir. Çalışmanın veri setini, cinsiyet değişkeni için PISA 2009 uygulamasında Türkiye’de 5. kitapçığındaki matematik okuryazarlığı alt testindeki maddelere 332 öğrencinin verdikleri cevaplar, kültür değişkeni için ise PISA 2009 uygulamasında Türkiye, Almanya, Finlandiya ve ABD’deki öğrencilerin 5. kitaptaki matematik testine verdikleri cevaplar oluşturmaktadır. Cinsiyet değişkenine göre 5 maddenin 4’ü erkekler lehine, bir maddenin kızlar lehine avantajlı olduğu söylenebilir. DMF analizi sonucunda Türkiye ile Almanya’dan katılan öğrencilerden elde edilen veri setlerinde 16, Türkiye ile Finlandiya’dan katılan öğrencilerden elde edilen veri setlerinde 14, Türkiye ile ABD’den katılan öğrencilerden elde edilen veri setlerinde 18 maddede DMF bulunduğu görülmüştür.
Downloads
Metrics
References
Asil, M. (2010). Uluslararası Öğrenci Değerlendirme Programı (PISA) 2006 Öğrenci Anketinin Kültürler Arası Eşdeğerliğinin İncelenmesi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, yayınlanmamış doktora tezi.
Asil M. ve Gelbal S. (2012). PISA Öğrenci Anketinin Kültürler Arası Eşdeğerliği. Eğitim ve Bilim 37 (166), 236-249.
Atalay, K. (2010) PISA 2006 Öğrenci Anketinde Yer Alan Tutum Maddelerinin Değişen Madde Fonksiyonu Açısından İncelenmesi, Yayınlanmamış Yüksek Lisans Tezi, Ankara: Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü.
Ayan, C. (2011). PISA 2009 Fen Okuryazarlığı Alt Testinin Değişen Madde Fonksiyonu Açısından İncelenmesi, Yayınlanmamış Yüksek Lisans Tezi, Ankara: Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü.
Bakan Kalaycıoğlu, D. ve Kelecioğlu, H. (2011). Öğrenci Seçme Sınavı'nın madde yanlılığı açısından incelenmesi. Eğitim ve Bilim, 36 (161), 3-12.
Bekçi, B. (2007). Ortaöğretim Kurumları Öğrenci Seçme Sınavının Değişen Madde Fonksiyonlarının Cinsiyete ve Okul Türüne Göre İncelenmesi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü.
Camilli, G. ve Shepard, L. A. (1994). Methods for Identifying Biased Test Items. Hollywood: Sage Publications.
Clauser, B. ve Mazor, K. (1998). Using statistical procedures to identify differential item functioning test items. Educational Measurement: Issue and Practice, 17, 31-44.
Cleary, T. A. (1968). Test bias: Prediction of grades of Negro and White students in integrated colleges. Journal of Educational Measurement, 5, 115-124.
Dorans, N. J., ve Holland, P. W. (1993). DIF detection and description: Mantel-Haenszel and standardization. P. W. Holland ve H. Wainer (ed.), Differential İtem Functioning (ss. 35-66). Lawrence Erlbaum: Hillsdale, NJ.
EARGED, (2010) PISA 2009 Uluslararası Öğrenci Değerlendirme Programı Ulusal Ön Rapor, Ankara, MEB.
EARGED, (2011) TIMSS 2007 Ulusal Matematik ve Fen Raporu 8. SınıflarAnkara, MEB.
Güler, N. (2011). Eğitimde Ölçme ve Değerlendirme. Ankara: Pegem Akademi Yayınevi.
Holland, P.W., ve Thayer, D.T. (1986). Differential item performance and the MantelHaenszel procedure (Technical Report No. 86–69). Princeton, NJ: Educational Testing Service.
Holland, P. W. ( 1985). On the study of differential item performance without IRT. In Proceedings of the 27th Annual Conference of the Military Testing Association (Vol. 1, pp. 282-287). San Diego, CA: Navy Personnel Research and Development Center.
Mantel, N. ve Haenszel, W. (1959) Statistical aspects of the analysis of data from retrospective studies of disease. Journel Natural Cancer Insttitue, 22 (4), 719–748.
OECD, (2009) Organization for Economic Cooperation and Development 2009. PISA 2009 Assessment Framework: Key Competencies in Reading, Mathematics and Science. Paris: OECD. H. Wainer (ed.) Differential item functioning (ss. 337-347). Erlbaum: Hillsdale, NJ.
Osterlind, S. ve H. Everson (2009). Differential item functioning. Londra: Sage Publications.
Penfield, R. ve Camilli, G. (2007). Test fairness and differential item functioning. C.R. Rao (ed.) Handbook of statistics: Psychometrics, volume 26 (ss. 125-167). Amsterdam: Elsevier.
Roussos, L. ve Stout, W. (1996) A multidimensionality-based DIF analysis paradigm. Applied Psychological Measurement 20, 355-371.
Shealy, R., ve Stout, W. F. (1993b). A model-based standardization approach that separates true bias/DIF from group differences and detects test bias/DTF as well as item bias/DIF. Psychometrika, 58, 159-194.
Swaminathan, H. ve Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27, 361-370.
Turgut, F. (1997). Eğitimde Ölçme ve Değerlendirme Metotları. Ankara: Yargıcı Matbaası.
Yıldırım, D. (2008). Farklı İşleyen Maddelerin Belirlenmesinde Sınırlandırılmış Faktör Çözümlemesinin Olabilirlik-Oranı ve Mantel-Haenszel Yöntemleriyle Karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi,34, 297-307.
Yurdugül, H. (2003). Ortaöğretim kurumları seçme ve yerleştirme sınavının madde yanlılığı açısından incelenmesi. Yayımlanmamış doktora tezi, Hacettepe Üniversitesi.
Zieky, M. (1993). Practical questions in the use of DIF statistics in test development. P. W. Holland ve H. Wainer (ed.) Differential item functioning (ss. 337-347). Erlbaum: Hillsdale, NJ.
Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF): Logistic regression modeling as a unitary framework for binary and Likert-type (ordinal) item scores. Directorate of Human Resources Research and Evaluation, Department of National Defense. Ottawa: Canada.
Downloads
Published
How to Cite
Issue
Section
License
Authors can retain copyright, while granting the journal right of first publication. Alternatively, authors can transfer copyright to the journal, which then permits authors non-commercial use of the work, including the right to place it in an open access archive. In addition, Creative Commons can be consulted for flexible copyright licenses.
©1999 Creative Commons Attribution-ShareAlike 4.0 International License.
