IMPLEMENTASI TRANSFER LEARNING DENGAN INDOBERT PADA QUESTION ANSWERING BAHASA INDONESIA

Abstract

Penelitian ini membahas pengembangan sistem Question Answering (QA) berbasis teks yang mampu menjawab pertanyaan secara otomatis dengan mengandalkan konteks yang diberikan oleh pengguna. Sistem dirancang menggunakan model pretrained BERT (Bidirectional Encoder Representations from Transformers), yang mampu memahami hubungan antara pertanyaan dan konteks untuk menentukan jawaban secara tepat. Proses kerja sistem meliputi tokenisasi, penerapan multi-head self-attention melalui arsitektur Transformer, serta perhitungan nilai start logit dan end logit untuk menentukan rentang teks yang paling mungkin sebagai jawaban. Sistem tidak hanya menampilkan satu jawaban terbaik, tetapi juga menyajikan sejumlah kemungkinan jawaban lain yang disusun berdasarkan skor akurasi. Evaluasi dilakukan menggunakan metrik Exact Match (EM) dan F1 Score untuk mengukur kesesuaian antara jawaban sistem dan jawaban referensi. Hasil penelitian menunjukkan bahwa pendekatan ini efektif dalam mengidentifikasi jawaban yang relevan dari konteks panjang dengan efisiensi dan tingkat ketepatan yang tinggi. Sistem ini berpotensi diterapkan dalam berbagai kebutuhan pencarian informasi otomatis, seperti layanan bantuan digital, chatbot, dan aplikasi pendidikan.