Penerapan Web Scraping Sebagai Media Pencarian dan Menyimpan Artikel Ilmiah Secara Otomatis Berdasarkan Keyword

Abstract

Artikel ilmiah adalah sebuah referensi yang biasanya digunakan oleh seorang mahasiswa atau peneliti untuk membuat sebuah penelitian. Artikel Ilmiah dapat dicari melalui Internet secara bebas, namun proses pencarian ini seringkali memakan waktu dikarenakan banyaknya artikel ilmiah yang ada di Internet. Pencarian ini dapat dilakukan secara otomatis dengan memanfaatkan Teknik Web Scraping sebagai teknik pengambilan data pada suatu situs web di Internet. Metode   Depth First Search (DFS) adalah metode pencarian yang dapat dimanfaatkan untuk melakukan web Scraping data di Internet. Sistem ini bekerja dengan mengolah Keyword berupa kata kunci dari topik artikel ilmiah yang akan dicari yang diberikan oleh pengguna. Kemudian sistem akan mengirimkan request kepada server untuk mencari tautan yang berhubungan dengan Keyword tersebut. Setelah hasil pencarian sudah ditemukan, sistem akan secara otomatis mengunduh dan menyimpan artikel yang berformat .pdf ke komputer pengguna. Hasil uji coba dari 134 artikel yang berhasil diunduh menggunakan sistem ini menunjukkan bahwa sistem ini dapat bekerja dengan sangat baik untuk melakukan pencarian artikel ilmiah dengan tingkat relevansi antara artikel yang dicari dengan artikel yang diunduh sebesar 99%.