A review of ETS's Criterion online writing program for student compositions

Abstract

This study will report on the findings of first-year Japanese university students using ETS's Criterion© Online Writing Evaluation Service. The study focused on two research questions: (1) were there important differences in ETS's computerized feedback and teacher feedback, and (2) was there any improvement in student writing over the school year? For the 2012-2013 academic year, students wrote six compositions. Results indicate that teachers tended to focus on meaning, whereas computerized feedback centered on grammatical and stylistic issues. As for student progress, only four specific areas showed any marginal improvement: confused words, spelling, missing commas, and too many short sentences, indicating that students became slightly better at expressing meaning and in using punctuation more effectively. The data indicate there were some drawbacks with ETS's computerized feedback evaluating meaning and organization of ideas, but that it was helpful in evaluating some aspects of grammar, mechanics, usage, and style. 本論は日本の大学1年生を対象にETSのCriterionオンライン作文ソフトを使用した結果をまとめ、次の2つの問いについて論じたものである。すなわち、（1）ETSのコンピュータによるフィードバックと教員によるフィードバックに重大な差が存在するか、（2）1年を通して学生の作文に改善がみられたか、である。（1）については、2012年度に6回の作文を分析した結果、教員のフィードバックが意味に注目しがちなのに対して、コンピュータのフィードバックは文法的、文体的問題を主に扱っていることが判明した。（2）については、4つの領域（語の混同、スペリング、コンマの欠如、頻出する短文）においてのみ、わずかな改善がみられた。ここから考えられるのは、学生が意味表現でわずかながら改善し、句読点をより効果的に使用できるようになったということである。結論として、使用したデータによると、ＥＴＳのコンピュータによるフィードバックは、意味や概念の整理について評価する際に欠点を露呈している。ただ、文法、構造、用法、文体のいくつかの面を評価するのには役立つものであると言える。