Issues of practicality and impact in checklist-based scoring of writing
In 2016, Euroexam International launched an extensive research campaign with the aims of increasing transparency and accountability while preserving our professional values and achievements. Reviewing and renewing our scoring methodology was uppermost on the agenda, especially as the diverse potential in checklist-based scoring was particularly appealing in our context. Research and development had to conform to the administrative frameworks including time and financial constraints, as well as recognise stakeholder needs. In the present study, we report on the issues we had to tackle when introducing checklist-based scoring into practice. The participants of this mixed-methods research were 12 examiners, six EFL teachers and 28 language learners in four study groups. We used a total of 600 scripts by stratified random sampling from live examinations at levels B2 and C1. In the quantitative study, two division schemes were trialled to decide how to share the workload between examiner pairs. In the qualitative inquiry, teachers and language learners were invited to share their views on checklist-based feedback for formative purposes. With mutually beneficial compromises that enabled the successful introduction of our checklists for writing, the most important implication of this study is that evolving stakeholder needs can be fulfilled with adequate flexibility.
- KEYWORDS:
- practicality
- checklist-based scoring
- writing
- scoring methodology
- practical implementation
- English as a foreign language
Вопросы практичности и результативности при оценке письма на основе чек-листов
В 2016 году Euroexam International запустил обширную исследовательскую кампанию с целью повышения прозрачности и подотчетности при сохранении профессиональных ценностей и достижений организации. Самым важным вопросом повестки стал пересмотр и обновление методологии оценки, особенно с учетом многогранного потенциала оценки на основе чек-листов в контексте деятельности организации. Исследования и разработки должны были соответствовать административным рамкам, включая временные и финансовые ограничения, а также учитывать потребности заинтересованных сторон. В настоящем исследовании сообщается о проблемах, сопутствующих практическому внедрению оценки на основе чек-листов. Участниками смешанного исследования стали 12 экзаменаторов, шесть преподавателей английского языка как иностранного, а также 28 студентов, изучающих языки в четырех учебных группах. С применением стратифицированной случайной выборки в ходе очных экзаменов на уровнях B2 и C1 в рамках исследования было использовано в общей сложности 600 сценариев. В количественном исследовании были опробованы две схемы дробления, определившие способы распределения рабочей нагрузки между парами экзаменаторов. В рамках качественного опроса преподавателям и студентам было предложено поделиться своим мнением о процедуре оценки с использованием чек-листов. Учитывая взаимовыгодные компромиссы, которые позволили успешно внедрить чек-листы в процесс оценки письма, наиболее важным выводом данного исследования стал вывод о растущих потребностях заинтересованных сторон, которые могут быть удовлетворены с достаточной гибкостью.
More articles in this issue
Volume 7 Issue 1