Pencocokan Berbasis Kata Kunci pada Penilaian Esai Pendek Otomatis Berbahasa Indonesia

Abstract

Evaluasi dalam pengajaran dapat dilakukan melalui ujian. Ujian berupa esai dapat digunakan untuk mengevaluasi pemahaman sesuai konteks dan memiliki jawaban referensi. Sayangnya, jawaban dari esai ini membutuhkan waktu yang lebih banyak untuk dievaluasi dan dapat terjadi inkonsistensi dalam melakukan penilaian. Penelitian ini dilakukan untuk menganalisis performa untuk penilaian esai pendek otomatis berbahasa Indonesia untuk mengevaluasi jawaban yang berbentuk esai pendek. Sehingga, penilaian terhadap jawaban esai lebih konsisten dan dapat digunakan sebagai alternatif untuk penilaian dalam ujian online. Penilaian esai dilakukan dengan menghitung kecocokan antara jawaban uji dengan jawaban referensi, yakni dengan meilhat kata kunci dari masing-masing jawaban. Kata kunci diperoleh dengan melakukan praproses pada teks yakni dengan case folding, pembuangan stopword, stemming, dan tokenisasi. Setelah mendapatkan kata kunci untuk jawaban uji dan jawaban referensi, pada tahap keyword matching dilakukan pencocokan jawaban uji terhadap jawaban referensi. Hasil kecocokan antara jawaban uji dan referensi selanjutnya dihitung menjadi nilai pada tahapan grading. Nilai yang diperoleh dari grading selanjutnya dibandingkan dengan nilai uji sebagai evaluasi performa dengan menghitung Mean Absolute Error (MAE) dan Pearson Correlation. Hasil dari penelitian ini menunjukkan MAE untuk keseluruhan jawaban uji sebesar 0.25 dan korelasi antara nilai uji dengan nilai hasil grading sebesar 0.79.