IMPLEMENTASI TEKNIK WEB SCRAPING DAN FITUR DATA EKSTERNAL PADA SISTEM INFORMASI DOSEN PENELITIAN DAN PENGABDIAN DOSEN FAKULTAS TEKNIK UNIVERSITAS DIPONEGORO

Abstract

Dalam rangka mengoptimalkan hasil pelaksanaan penelitian dan pengabdian di lingkungan fakultas Teknik Universitas Diponegoro, dosen dan mahasiswa membutuhkan peran publikasi ilmiah. Publikasi ilmiah dapat menjadi sebuah panduan yang dapat digunakan sebagai referensi untuk penelitian dan pengabdian serupa atau di wilayah yang sama. Oleh karena itu, pada tugas akhir ini dibuat sebuah fitur data eksternal yang memanfaatkan teknik web scraping untuk diimplementasikan pada Sistem informasi penelitian dan pengabdian dosen Fakultas Teknik Universitas Diponegoro, yang akan memfasilitasi kebutuhan publikasi ilmiah yang terkait dengan penelitian atau pengabdian dosen. Pada pengujian validasi data hasil scraping, informasi-informasi yang berhasil di scrap telah sesuai dengan hasil yang diharapkan. Pada pengujian performa aplikasi web scraping, akan dibandingkan kinerja lama eksekusi dan penggunaan memori antara library scraping yang dipakai saat ini, yaitu BeautifulSoup, dengan library scraping lainnya, yaitu Scrapy dan Selenium. Hasil pengujian ini menyatakan bahwa BeautifulSoup menjadi library scraping tercepat sekaligus terhemat, dengan Scrapy diurutan kedua dan Selenium diurutan ketiga. Pada pengujian fitur data eksternal dengan menggunakan metode black box testing, hasil yang didapat telah sesuai dengan hasil yang di harapkan