Klasifikasi Nyeri pada Video Ekspresi Wajah Bayi Menggunakan DCNN Autoencoder dan LSTM

Abstract

Babies are still unable to inform the pain they experience, therefore, babies cry when experiencing pain. With the rapid development of computer vision technologies, in the last few years, many researchers have tried to recognize pain from babies expressions using machine learning and image processing. In this paper, a research using Deep Convolution Neural Network (DCNN) Autoencoder and Long-Short Term Memory (LSTM) Network is conducted to detect cry and pain level from baby facial expression on video. DCNN Autoencoder is used to extract latent features from a single frame of baby face. Sequences of extracted latent features are then fed to LSTM so the pain level and cry can be recognized. Face detection and face landmark detection is also used to frontalize baby facial image before it is processed by DCNN Autoencoder. From the testing on DCNN autoencoder, the result shows that the best architecture used three convolutional layers and three transposed convolutional layers. As for the LSTM classifier, the best model is using four frame sequences. Intisari-Bayi belum dapat menginformasikan rasa nyeri yang dialami, karena itu bayi menangis saat mengalami nyeri. Dengan semakin berkembangnya teknologi visi komputer, beberapa tahun terakhir muncul beberapa penelitian yang mencoba mengenali nyeri pada tangis bayi memanfaatkan machine learning dan pengolahan citra. Dalam makalah ini diteliti pemanfaatan Deep Convolution Neural Network (DCNN) Autoencoder dan Long-Short Term Memory (LSTM) Network untuk deteksi tangis dan tingkat nyeri pada video wajah bayi. DCNN Autoencoder berguna untuk melakukan ekstraksi latent feature dari satu frame wajah bayi. Deretan latent feature ini kemudian diumpankan ke LSTM untuk dikenali tangis dan tingkat nyerinya. Selain itu, digunakan juga teknik face detection dan face landmark detection untuk meluruskan/menegakkan wajah bayi sebelum diproses oleh DCNN autoencoder. Dari pengujian DCNN autoencoder, didapatkan hasil terbaik dengan menggunakan tiga convolutional layer dan tiga transposed convolutional layer. Sedangkan untuk LSTM classifier, model terbaik didapatkan dalam percobaan dengan empat runtun frame. Kata Kunci-Neural network, DCNN, LSTM, autoencoder, klasifikasi nyeri, ekspresi wajah bayi.