APLIKASI PENERJEMAH SEBAGAI MEDIA KOMUNIKASI BAGI PENYANDANG DISABILITAS MENGGUNAKAN KOMBINASI METODE SKIN DETECTION-ANFIS, KNN DAN TTS

Abstract

Bahasa isyarat merupakan media komunikasi yang digunakan penyandang disabilitas dalam bertukar pesan.  Bahasa isyarat berupa gerakan tangan dimana setiap gerakan memiliki pola dan arti yang berbeda. Bahasa isyarat hanya dapat dipahami oleh para penyandang disabilitas dan volunteer , sedangkan jumlah volunteer menjadi semakin sedikit. Dalam memahami pola dan arti dari gerakan tangan tersebut dibangun aplikasi penerjemah bahasa isyarat. Tujuan dari penelitian ini adalah membantu penyandang disabilitas secara leluasa berinteraksi dengan masyarakat umum. Aplikasi menerjemahkan gerakan tangan pengguna menjadi hasil pengenalan berupa teks dan suara. Langkah – langkah yang diterapkan dalam pembangunan diantaranya menangkap gerakan tangan menggunakan webcam , pengenalan, dan terjemahan suara. Pada tahap pengenalan, terdapat beberapa sub proses yakni melakukan segmentasi hasil tangkapan gambar dengan menerapkan skin detection sebagai metode untuk mendapatkan objek tangan dan metode ANFIS sebagai penentuan grup gerakan tangan . Sub proses lainnya, melakukan proses klasifikasi menggunakan metode K-NN dengan masukan berupa fitur area yang menghasilkan teks alfabet. TTS diterapkan  untuk menciptakan suara pada aplikasi. Metode ini mengolah teks hasil klasifikasi dengan mengkomparasikan fonem teks dan file wav untuk medapatkan suara terjamahan. Aplikasi secara real time dapat menerjemahkan gerakan tangan dari webcam menjadi teks dan suara.