Implementasi Web Scraping untuk Pengambilan Data Pada Website E-Commerce

Abstract

Data is new mind; data adalah emas; data adalah tambang baru; merupakan perumpamaan yang sudah tidak asing di era digitalisasi seperti saat ini. Data dapat dimanfaatkan di antaranya untuk meningkatkan efisiensi operasional, memacu inovasi dalam suatu bisnis, memahami kebutuhan pengguna, dan mendorong pengambilan keputusan. Pengambilan data dari e-commerce dapat dilakukan, salah satunya melalui teknik web scraping dengan menggunakan Python dan library seperti Selenium, Beautifulsoup, dan Time. Metode web scraping pada Shopee dan Tokopedia yang digunakan pada penelitian ini adalah HTML Parsing dan CSS Selector. Penelitian ini menemukan bahwa metode HTML Parsing dan CSS Selector tidak dapat digunakan untuk web scraping pada Shopee dikarenakan adanya mekanisme deteksi bot dan CAPTCHA. Namun, metode ini berhasil digunakan pada Tokopedia. Dilakukan sebanyak 10 kali percobaan web scraping pada dua halaman produk yang menghasilkan sekitar 160-166 data pada setiap kali percobaannya, dengan duplikasi sebanyak 3-18 data. Waktu eksekusi program rata-rata adalah 1 menit 0,5 detik.