Penggunaan Dual Sensor Leap Motion Controller untuk Sistem Isyarat Bahasa Indonesia (SIBI)

Abstract

Bahasa isyarat adalah bahasa yang dibentuk dengan kombinasi gerakan jari, tangan, tubuh serta ekspresi wajah yang digunakan oleh para penyandang disabilitas seperti tunarungu dan tunawicara. Salah satu pengenalan bahasa isyarat tersebut adalah pengenalan dengan menggunakan teknologi sensor Leap Motion Controller (LMC). Akan tetapi pada penerapannya, sensor LMC tidak selalu dapat mengenali semua jari dengan baik. Hal ini dikarenakan pembentukan dari bahasa isyarat yang saling bersentuhan antar jari, jari yang dilipat, tersembunyi ataupun terhalang oleh jari lainnya. Sehingga pada penelitian ini diusulkan penggunaan dual sensor LMC yang bertujuan untuk mencegah dan meminimalisir adanya kesalahan dalam mengenal bahasa isyarat dari jari yang dibentuk. Tahapan proses yang dilakukan adalah mendesain tata letak sensor LMC dan mengkombinasikan data fitur dari masing-masing sensor LMC baik yang bersifat statis dan dinamis yang kemudian diklasifikasikan menggunakan metode L-GCNN. Dari hasil pengujian yang dilakukan, penggunaan dual sensor LMC ini dapat mengenal isyarat SIBI yang diberikan. Skema yang terbaik adalah dengan mengacu pada tata letak multi sensor yang saling berhadapan membentuk sudut 120 derajat dengan tingkat akurasi sebesar 86,42%, dengan rata-rata akurasi dari keseluruhan skenario sebesar 84,36%. Adanya desain tata letak sensor LMC dan kombinasi penggabungan data fitur masing-masing sensor dapat meningkatkan akurasi pengenalan dengan rata-rata peningkatan mencapai 5,35%.