Optimasi Hyperparameter pada Neural Network (Studi Kasus: Identifikasi Komentar Cyberbullying Instagram)

Abstract

Instagram adalah salah satu media sosial yang populer di Indonesia dan memiliki resiko terjadinya cyberbullying, sehingga klasifikasi komentar cyberbullying perlu dilakukan menggunakan text mining. Model klasifikasi yang dibangun pada penelitian ini menggunakan Neural Network dengan arsitektur Multilayer Perceptron dan dilatih dengan algoritma Backpropagation. Bayesian Optimization digunakan untuk melakukan optimasi hyperparameter, dengan hyperparameter yang dioptimasi adalah hidden layer, learning rate, dan momentum. Dilihat dari hasil evaluasi, performa dari model Neural Network dengan optimasi hyperparameter lebih baik daripada Neural Network yang hanya menggunakan default hyperparameter. Dimana model Neural Network dengan default hyperparameter mengalami overfitting dan menghasilkan nilai akurasi sebesar 81,38%, sedangkan model dengan optimasi hyperparameter tidak mengalami overfitting dan mengalami kenaikan akurasi dibandingkan dengan model Neural Network tanpa optimasi hyperparameter dengan model dengan tiga hyperparameter yang dioptimasi yaitu hidden layer, learning rate, dan momentum mengalami kenaikan akurasi sebesar 2,5%, model dengan optimasi hyperparameter pada hidden layer dan pada learning rate masing-masing mengalami kenaikan akurasi yang sama, yaitu sebesar 2,37%, dan model dengan optimasi hyperparameter pada momentum mengalami kenaikan akurasi sebesar 2%. Hasil penelitian ini menunjukkan bahwa hidden layer, learning rate, dan momentum ketika di optimasi secara bersamaan memiliki pengaruh besar dalam mencegah overfitting, menaikan akurasi, dan memiliki waktu eksekusi yang baik daripada dioptimasi secara terpisah.