Model Deteksi Berita Palsu Menggunakan BERT dan Bi-LSTM Berbasis Discriminative Approach

Abstract

Penelitian ini bertujuan untuk mengembangkan model klasifikasi teks dalam mendeteksi hoaks dengan menggunakan pendekatan berbasis pembelajaran mendalam dan representasi teks. Data teks yang telah melalui tahap pra- pemrosesan kemudian diekstraksi fiturnya dengan menggunakan tiga pendekatan, yaitu Word2Vec, Doc2Vec, dan Bidirectional Encoder Representations from Transformers (BERT). Dataset penelitian terdiri atas berita asli (label 0) yaitu 2.325 data dan berita palsu (label 1) sebanyak 2.287 data. Dalam penelitian ini, vektor fitur BERT dengan dimensi 768 dikombinasikan dengan algoritma Bidirectional Long Short-Term Memory (Bi-LSTM) untuk menangkap ketergantungan sekuensial dalam teks serta algoritma Support Vector Machine (SVM) sebagai klasifikator akhir. Proses pelatihan dilakukan pada perangkat keras Dell Precision 7750 menggunakan parameter dimensi embedding sebesar 128, jumlah hidden unit sebanyak 64, tingkat dropout 0,3, serta learning rate sebesar 0,001. Pengujian dan pelatihan dilakukan selama 10 epoch dengan ukuran batch 32. Hasil penelitian menunjukkan bahwa model Word2Vec dan Bi-LSTM menghasilkan akurasi 87,4% dengan F1-Score 87,0%, sedangkan Doc2Vec dan Bi-LSTM sedikit lebih rendah dengan akurasi 85,6% dan F1-Score 85,4%. Model terbaik diperoleh dari BERT, Bi-LSTM dan SVM dengan akurasi 93,8%, precision 94,1%, recall 93,5%, dan F1-Score 93,7%.