Utilization focused evaluation of an ELT prep program: A longitudinal approach


İlerten F. , Efeoğlu G.

Pegem Journal of Education and Instruction, no.11, pp.27-31, 2021 (Journal Indexed in ESCI)

  • Publication Type: Article / Article
  • Publication Date: 2021
  • Doi Number: 10.14527/pegegog.2021.03
  • Title of Journal : Pegem Journal of Education and Instruction
  • Page Numbers: pp.27-31

Abstract

The aim of the current study is to evaluate a preparatory program of a foreign language teaching department longitudinally via Patton’s Utilization Focused Program Evaluation. More specifically, the study scrutinizes the pros, cons and aspects to be improved in the program, and whether the program contributes to overall English proficiency in two subsequent years. As for the aims of the study 77 students (38 in the first and 39 in the second year) and five instructors were recruited. Data were collected via interviews, English Proficiency tests (i.e., CAE) as pre and posttests in each year and lastly Nominal Group Technique. At the end of the study, both students and instructors confirmed that the program contributed to students’ overall English proficiency, which was also supported by the statistically significant difference in comparison of İÖYS results in two years. Moreover, it was found out that some aspects need modifications such as teaching four skills in an isolated way, lacking individualized learning, and technical inadequacies. Some agreed remedies for the program as follow: process evaluation instead of İÖYS exams, up-to-date and content relevant teaching materials and a fully equipped listening lab. All in all, in addition to many other positive aspects, the study reveals that evaluation that was carried out in the first year involving both students and instructors contributed to students’ overall gain in the program in the second year.  

Bu çalışmanın amacı yabancı dil eğitimi bölümü hazırlık programını Patton’ın Yararlanma Odaklı Program değerlendirme modeli kapsamında incelemektir. Özellikle, programın olumlu, olumsuz ve geliştirmeye açık yönleri ve programın öğrencilerin genel İngilizce yeterliliklerine katkı sağlayıp sağlamadığı araştırılmıştır. Bu kapsamda, çalışmaya 77 hazırlık öğrencisi (38 ilk yıl 39 ikinci yıl olmak üzere) ve beş öğretim elemanı katılmıştır. Veri yüz yüze görüşme, İngilizce yeterlilik sınavı ve Nominal grup tekniği ile toplanmıştır. Çalışmanın sonunda hem öğrenciler hem de öğretim elemanları programın genel İngilizce yeterliliğine katkı sağladığını belirtmiştir. Ayrıca bu sonuç iki ardışık yılda yapılan İngilizce yeterlilik sınavının (CAE) karşılaştırılarak istatistiki olarak anlamlı farklar vermesi ile de doğrulanmıştır. Ek olarak, dört dil becerisinin ayrı ayrı öğretilmesi, bireyselleştirilmiş eğitim eksikliği ve teknik yetersizlikler geliştirilmesi gereken alanlar olarak belirtilmiştir. İÖYS yerine süreç odaklı bir değerlendirme sisteminin getirilmesi, güncel ve içerik olarak öğretmenlik mesleğiyle ilgili materyallerin kullanılması ve tam donanımlı dinleme laboratuvarı gibi iyileştirici öneriler sunulmuştur. Sonuç olarak, diğer birçok olumlu etkinin yanında bu çalışma ilk yıl öğretim elemanı ve öğrencilerin birlikte katkı sağladıkları program ile ilgili yapılan değerlendirmelerinin ikinci yılda öğrencilerin akademik başarılarına pozitif bir şekilde yansıdığını göstermektedir.