Sistem Penilaian Jawaban Singkat Otomatis pada Ujian Online Berbasis Komputer Menggunakan Algoritma Cosine Similarity

Abstract

Penggunaan teknologi di bidang pendidikan sekarang ini sedang trending ke arah penilaian secara otomatis, namun penilaian secara otomatis ini memiliki permasalahan yaitu belum bisa mengkoreksi jawaban teks singkat secara otomatis, selain itu pada saat ini juga belum tersedia platform yang bisa mengkoreksi jawaban singkat secara otomatis, penilaian jawaban teks singkat ini membutuhkan waktu koreksi yang lama dan hasil penilaian yang tidak konsisten jika koreksi dilakukan oleh manusia, pada penelitian ini diusulkan sistem yang mampu mengkoreksi ujian peserta didik pada bagian jawaban singkat secara otomatis atau disebut dengan Automated Short Answer Grading (ASAG) dengan menggunakan metode cosine similarity, tahapan yang dilakukan adalah melakukan ekstraksi pada dua variabel inputan yaitu teks pada jawaban peserta didik dan teks pada kunci jawaban yang dilakukan dengan ekstraksi teks casefolding, tokenizing, stopword removal, setelah tahapan tersebut dilakukan kemudian dihitung nilai similarity antara kunci jawaban ujian dengan jawaban peserta didik apakah jawaban peserta didik sama dengan kunci jawaban atau tidak, dengan menggunakan skor yang dinilai otomatis menggunakan sistem, dihasilkan similarity antara jawaban peserta didik dengan kunci jawaban rata-rata sebesar 85,4%, untuk menguji korelasi koreksi jawaban peserta didik dengan sistem dan koreksi yang dilakukan oleh manusia maka dilakukan uji korelasi antara hasil penilian yang dilakukan oleh sistem dengan hasil penilaian yang dilakukan oleh manusia (instruktur) dengan menggunakan kendall’s w value menghasilkan nilai w antara instruktur 1 dengan sistem sebesar 0,885 dan instruktur 2 dengan sistem sebesar 0,883 dengan nilai chi square sebesar 135,4 dan 133,8 dengan p sebesar 0,0001, hasil tersebut menunjukkan ASAG memiliki korelasi yang tinggi dan sistem ASAG ini bisa melakukan penilaian secara otomatis.