FLP SIG: Student ability, self-assessment, and teacher assessment on the CEFR-J’s can-do statements

Abstract

The Common European Framework of Reference-Japan (CEFR-J), like its original counterpart, the CEFR, uses illustrative descriptors (can-do statements) that describe communicative competencies to measure learner proficiency and progress. Language learners are leveled in a CEFR-J category according to achievement on can-do statements gauged by self-assessment, an external rater (such as a teacher), or from external test scores. The CEFR-J, unlike the CEFR, currently lacks widely-available benchmarked performance samples for measuring student language proficiency, leaving administrations or teachers to estimate CEFR-J ability from test scores or from interactions with students. The current analysis measured ability scores from students and teachers on CEFR-J can-do statement achievement, comparing them to scores on an in-house designed placement test. Students’ self-assessment ratings did not correlate with their test scores, teachers varied in severity when making ability estimates for the same students, and no consistent response patterning between students and teachers was found. The results highlight that norming raters, controlling for severity, and training students on self-assessment are likely all required if the CEFR-J is to be used for measuring language learning progress, especially until established guidelines for estimating ability are available for the CEFR-J. The limitations of using the CEFR-J as an assessment tool and the assumption that teachers can accurately estimate student ability are discussed.ヨーロッパ言語共通参照枠（CEFR）をベースに構築されたCEFR-Japan(CEFR-J)は、学習者の到達度と伸びを測ることを目的に日本の教育機関で最近採用されるようになったシステムである。CEFR-Jは、その基となった枠組みと同様に、段階的に上がる難易度を基にしたコミュニケーション能力を説明するdescriptor（can-doという能力記述文：can-do statements）により構成されている。言語学習者はこのdescriptorの到達度によってレベル分けされる。この評価は、学習者の自己評価、教師などの他の評価者による評価、外部試験の結果から導き出されるものである。これらの評価により、学習者のCEFR-Jにおけるレベルが分かり、標準的にできるであろうとされる能力が示されることになるが、それを使用する人や教師次第になっている部分もある。そこで、もしこのようなシステムを利用する目的が評価レベルの標準化ということであるなら、学習者、教師、そしてテスト評価の判断の間に高い一貫性が保たれなければならない。本論での分析は、CEFR-Jのdescriptorについての学生と教師の能力判断の一貫性、そしてその判断が学内作成のプレイスメントテストの点数と一致するかを検証することを目的としている。学生と教師の判断には顕著な関係はみられず、学生の自己評価の結果はテストの点数と相関性がなかった。この結果により、もしCEFR-J が評価の標準化を目的に使用されるのであれば、規範的な評価者と自己評価についての学生指導の必要性が重要になるといえる。評価のツールとしてCEFR-Jを使うことの限界、及び説明的なdescriptorのシステムに本来備わるcan-do熟達度という概念に関する問題を議論する。