Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia Menggunakan Metode YOLO Dan CNN

Abstract

Bahasa merupakan alat atau wahana untuk menyampaikan antar manusia satu dengan yang lainnya. Bagaimanapun, tidak setiap orang dapat menggunakan bahasa verbal dengan sempurna. Seperti orang yang tuli dan bisu, mereka tidak bisa menyampaikan apa yang ingin di sampaikan dengan baik. Tuli atau tunarungu adalah kekurangan kemampuan mendengar dari satu atau dua telinga. Dalam berkomunikasi tunarungu cenderung menggunakan bahasa isyarat. Salah satu bahasa isyarat yang sering digunakan ialah berupa angka, satu, dua, tiga, empat, dan lima. Dalam penelitian ini di gunakan metode You Only Look Once (YOLO) dan Convolutional Neural Network (CNN) untuk membantu sistem agar bisa membaca setiap gerakan yang dilakukan oleh tangan dan menghasilkan output berupa teks seperti tangan berisyarat satu bertuliskan satu atau tangan berisyarat dua bertuliskan dua dan seterusnya. Adapun tahapan yang dilakukan pada penelitian ini yaitu pengumpulan data , pengolahan gambar atau proses pre-processing data dalam pengimplementasian YOLO dan CNN. Setelah itu dilakukan uji coba dengan menggunakan  Gambar dan video dari data BISINDO. Untuk hasil uji coba  yang telah dilakukan menghasilkan akurasi sebesar 89 %.