Determination of cutting score in performance tasks<p>Performans görevlerinde kesme puanının belirlenmesi
Keywords:
Performance task, standard setting, cutoff score, Angoff method, Performans görevi, standart belirleme, kesme puanı, Angoff YöntemiAbstract
Performance tasks are important in terms of meaningful learning since they enable students to use the information they have learned in their daily lives. Performance task is also the most commonly used method that our teachers use apart from written exams. While evaluating performance tasks, it is necessary to determine whether the tasks that students have prepared are adequate or not. In order to determine the measure of this decision, standard-setting studies have been carried out. In this study, passing score of a prepared performance task was determined through one of the standard-setting methods, Angoff method. 26 mathematics teachers who are working in various high schools in different cities participated in the study as experts. Data collection tool is a five-question performance project that is called ‘As the Crow Flies’ and includes coordinate plane and Pythagoras theorem. In the process of data collection, each expert was shown the questions in the performance task, and asked about the possibility of giving correct answers for the students who were on the border of failing. The consistency of points among experts were determined through Kendall’s W coefficient of concordance ( =137.872, sd=9, p<0.00). According to the points acquired from experts, it was concluded that although there was not a high level of consistency among experts, there was a moderate level of consistency. As a result of the calculations, final cutoff score was found to be 45.10.
Extended English summary is in the end of Full Text PDF (TURKISH) file.Özet
Performans görevleri, öğrencilerin kavradıkları bilgileri günlük hayatla bağdaştırmaları ve anlamlı öğrenmeler açısından önemlidir. Ayrıca öğretmenlerin yazılı sınavlar dışında en çok kullandıkları yöntemlerden biridir. Performans görevlerini değerlendirirken öğrencilerin ortaya koydukları performans görevlerinde yeterli olup olmadıkları hakkında karar verilmesi gerekmektedir. Bu kararın hangi ölçüte göre verileceğini belirlemek için standart belirleme çalışmaları yapılmaktadır. Bu araştırmada, hazırlanan bir performans görevine ilişkin geçme puanı, standart belirleme yöntemlerinden biri olan Angoff yöntemi ile belirlenmiştir. Çalışmaya farklı illerdeki liselerde çalışan 26 matematik öğretmeni uzman olarak katılmıştır. Veri toplama aracı ‘Kuş Uçuşu’ olarak adlandırılan, koordinat düzlemi ve Pisagor teoremini içerenbeş soruluk bir performans görevi kullanılmıştır. Veri toplama sürecinde her bir uzmana performans görevindeki sorular gösterilerek, bu soruları geçme-kalma sınırındaki bir öğrencinin doğru cevaplama olasılığı sorulmuştur. Puanlamada uzmanlar arası uyumun olup olmadığı Kendall’ın W uyum katsayısı ile belirlenmiştir
( =137.872, sd=9, p<0.00). Elde edilen sonuca göre, uzmanlar arasında orta düzeyde anlamlı bir uyum olduğu sonucuna varılmıştır. Yapılan hesaplamalar ile nihai kesme puanı45.10 olarak bulunmuştur.
Downloads
Metrics
References
Acar, M, Anıl, D.( 2009). Sınıf Öğretmenlerinin Performans Değerlendirme Sürecindeki Değerlendirme Yöntemlerini Kullanabilme Yeterlikleri. TÜBAV Bilim, 2(3) ,354-363.
American Educational Research Association, American Psycholgical Association, & National Council on Measurement in Education. (1999). Standards for educational and psychological testing. Washington DC: American Educational Research Association.
Akdağ, H. ve Çoklar, A. N. (2009). İlköğretim 6. ve 7. Sınıf öğrencilerinin Sosyal Bilgiler Dersi Proje ve Performans Görevlerini Hazırlarken Yararlandıkları Kaynaklar, İnternetin’in yeri ve Karşılaştıkları problemler. Adıyaman Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 2(2)
Altun, A. ve Gelbal, S. (2014). Öğretmenlerinin Kullandıkları Ölçme ve Değerlendirme Yöntem veya Araçlarının İkili Karşılaştırma Yöntemiyle Belirlenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 1-11.
Arı, A. (2010). Öğretmenlere Göre Performans Görevlerinin Uygulanmasında karşılaşılan Sorunlar. Elektronik Sosyal Bilimler Dergisi, 9(34), 32-55.
Angoff,W.H. (1971). Scales, norms, and equivalent scores In R.L. Thorndike (Ed.), Educational Measurement, Washington D.C: American Council on Education.
Bal, A.P. (2012). İlköğretim Öğrencilerinin Matematik Dersi Performans Görevi Hazırlama Sürecine İlişkin Görüşleri ve Yaşadıkları Sorunlar. Pegem Eğitim ve Öğretim Dergisi 2(1).
Berberoğlu, G. (2007).Sınıf içi Ölçme ve Değerlendirme Teknikleri. Morpa, Ankara.
Bozkurt, S., Aslanargun, E., Akın, S. ve Kılıç, A. (2014). İlköğretimde Uygulanan Performans Ödevlerine İlişkin Sınıf Öğretmenlerinin Görüşleri. Pamukkale Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 18, 157-173
Cizek, G.J., (2001). Setting Performance Standards Concepts, Methods, and Perspectives. Lawrence Erlbaum Ass., Publishers, Mahwah, NJ
Cronbach, Lee. J. (1990). Essentials of Psychological Testing. Fifth edition, Harper Collins Publishers
Çetin, M.O. ve Çakan, M. (2010). Fen ve Teknoloji Dersi Başarılarının Farklı Yaklaşımlarla Ölçülmesi ve Bu Yaklaşımlara İlişkin Öğrenci Görüşleri. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(2), 93-99
Çetin, S. (2011). İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması. Yayınlanmamış Doktora tezi, Hacettepe Üniversitesi, Ankara.
Çetin,S., ve Gelbal, S. (2010). Farklı standart belirleme yöntemlerinin geçme puanları üzerine etkisi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 43 (1), 79-95.
Çetin, S. & Gelbal, S. (2013). İşaretleme ve Angoff standart belirleme yöntemlerinin karşılaştırılması. Kuram ve Uygulamada Eğitim Bilimleri, 13(4), 2159-2175
Çiftçi, S. (2010). İlköğretim birinci kademe 4. ve 5. Sınıf öğretmenlerinin performans görevlerine ilişkin görüşleri. İlköğretim Online, 9(3), 934-951.
Ebel, R. L. (1972). Essentials of Educational Measurement. New Jersey: Prentice Hall.
Ersoy, A. ve Anagün, Ş.S. (2009).Sınıf Öğretmenlerinin Fen ve Teknoloji Dersi Ödev Sürecine İlişkin Görüşleri. Necatibey Eğitim Fakültesi Elektronik Fen ve Matematik Eğitimi Dergisi (EFMED), 3(1), 58-79.
Gündeğer, C. ve Doğan, N. (2014). Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 53-60.
Hambleton, R. K., & Pitoniak, M. (2006). Setting performance standards. In R. L. Brennan (Ed.), Educational measurement (4th ed., pp. 433-470). Westport, CT: Praeger.
Howell, D.C. (2012). Statistical methods for psychology (8th ed.). Belmont, CA: Wadsworth Publishing ; 2012.
Kane, M. T. (2001). So much remains the same: Conception and validation in setting
standards. In G. J. Cizek (Ed.), Setting performance standards: Concepts, methods and perspectives (pp. 53-88). Mahwah, NJ: Lawrence Erlbaum Associates.
Kumandaş, H. ve Kutlu, Ö. (2010). İlköğretim 5. Sınıf Öğrencilerinin Performans Görevine ilişkin Tutumlarını Etkileyen Faktörler. İlköğretim Online. 9(2), 714-722
Livingston, S.A., Zieky J. M., (1982). Passing Scores: A Manual for Setting Standards
of Performance on Educational and Occupational Tests, ETS
MEB (2016). Millî Eğitim Bakanlığı Ortaöğretim Kurumları Yönetmeliği 10 Eylül 2017 tarihinde https://ogm.meb.gov.tr/meb_iys_dosyalar/2016_11/03111224_ooky.pdf adresinden erişildi.
Mills, C. N., & Melican, G. J. (1988). Estimating and adjusting cutoff scores: Features of selected methods. Applied Measurement in Education, 1(3), 261–275.
Nedelsky, L. (1954). Absolute grading standards for objective
tests. Educational and Psycohological Measurement,14, 3-19
NCTM (2011). As the crow Flies . 15 Nisan 2016 tarihinde http://www.nctm.org/Standards-and-Positions/Focus-in-High-School-Mathematics/Reasoning-and-Sense-Making-Task-Library/Crow/ adresinden erişildi.
Pawar, M. (Ed.). (2004). Data collecting methods and experiences: a guide for social researchers. New Delhi: Sterling Publishers Pvt. Ltd.
Shephard,L.A, Flexer, R.J., Heibert, E.H., Marion, S.F., Myfield, V., ve
Tüysüz, C. , Karakuyu, Y. ve Tatar, E. (2010).Fen ve Teknoloji Dersindeki Performans Görevlerine Yönelik Veli Tutumlarının Belirlenmesi. Necatibey Eğitim Fakültesi Elektronik Fen ve Matematik Eğitimi Dergisi (EFMED) 4(1), 108-122.
Taşdelen, G. (2009). Nedelsky ve angoff standart belirleme yöntemlerinin genellenebilirlik kuramı ile karşılaştırılmasına ilişkin bir araştırma. Yayımlanmamış Yüksek Lisans Tezi. Hacettepe Üniversitesi, Ankara.
Taşdemir, F. (2013). Angoff (1-0), nedelsky ve sınır değerleri saptama yöntemleri ile bir testin sınıflama doğruluklarının incelenmesi. Yayımlanmamış Doktora Tezi. Ankara Üniversitesi, Ankara
Tülübaş, G. (2009). Psikolojik testlerde angoff ve sınır grup yöntemleri ile kesme puanlarının
belirlenmesi. Yayımlanmamış Yüksek Lisans Tezi. Hacettepe Üniversitesi, Ankara.
Weston, T.J.(1995). Effects of Introducing Classroom Performance Assessment on Student Learning. Annual Meeting of the American Educational Research Association and the National Council on Measurement in Education, New Orleans, April, 1994.
Yiğit, F. ve Kırımlı, B. (2014). Türkçe Öğretmenlerinin Alternatif Ölçme ve Değerlendirme Yöntemlerini Uygulama Biçimleri ve Uygulamada Karşılaştıkları Sorunlar. Turkish Studies - International Periodical For The Languages, Literature and History of Turkish or Turkic 9(3) 1621-1639.
Downloads
Additional Files
Published
How to Cite
Issue
Section
License
Authors can retain copyright, while granting the journal right of first publication. Alternatively, authors can transfer copyright to the journal, which then permits authors non-commercial use of the work, including the right to place it in an open access archive. In addition, Creative Commons can be consulted for flexible copyright licenses.
©1999 Creative Commons Attribution-ShareAlike 4.0 International License.
