Pengenalan Gestur Angka Pada Tangan Menggunakan Arsitektur AlexNet Dan LeNet Pada Metode Convolutional Neural Network

Abstract

Gesture is one type of communication by forming an object such as letters or numbers on the hand to convey a message or information, one of which is the number gesture on the hand which has many types with a different patterns for each movement of the numbers formed. One solution that can be done to perform numeric gesture recognition on a computer is to use the Convolutional Neural Network (CNN) method with AlexNet and LeNet architectures. This study uses a numeric gesture image dataset that was previously carried out in the pre-processing stage consisting of threshold and resize. The research was conducted using 2 pooling layers, namely Average Pooling and Max Pooling and then using an optimizer, namely SGD, RMSprop, and Adam. Based on the test results obtained in this study, the use of the AlexNet architecture with Average Pooling and the RMSprop optimizer resulted in an overall accuracy and f1-score of 99.45% and the use of the LeNet architecture with Average Pooling and the RMSprop optimizer resulted in an overall accuracy and f1-score of 99.49%. Overall the use of Average Pooling with the RMSprop optimizer gets the best level of accuracy compared to other tests.Gestur merupakan salah satu jenis komunikasi dengan membentuk suatu objek seperti huruf atau angka pada tangan untuk menyampaikan pesan ataupun sebuah informasi, salah satunya gestur angka pada tangan yang memiliki banyak jenisnya dengan pola yang berbeda untuk setiap pergerakan angka yang terbentuk. Salah satu solusi yang dapat dilakukan untuk melakukan pengenalan gestur angka pada tangan kepada komputer adalah menggunakan metode Convolutional Neural Network (CNN) dengan arsitektur AlexNet maupun LeNet. Penelitian ini menggunakan dataset citra gestur angka yang sebelumnya dilakukan tahap pre-processing yang terdiri dari threshold dan resize. Penelitian dilakukan menggunakan 2 pooling layer, yaitu Average Pooling dan Max Pooling kemudian menggunakan optimizer, yaitu SGD, RMSprop, dan Adam. Berdasarkan hasil pengujian yang didapatkan pada penelitian ini, yaitu penggunaan arsitektur AlexNet dengan Average Pooling dan optimizer RMSprop menghasilkan akuras dan f1-score keseluruhan 99,45% serta penggunaan arsitektur LeNet dengan Average Pooling dan optimizer RMSprop menghasilkan akurasi dan f1-score keseluruhan 99,49%. Secara keseluruhan penggunaan Average Pooling dengan optimizer RMSprop mendapatkan tingkat akurasi yang paling baik dibandingkan dengan pengujian yang lainnya.