Analisis Big Data Berbasis Stream Processing Menggunakan Apache Spark

Abstract

Teknologi big data memiliki 3 ciri utama yaitu volume, kecepatan tinggi dan kompleks. Pengolahan big data bukanlah hal yang mudah karena harus diolah secara real-time. Banyak perusahaan mengalami kendala dalam mengolah big data. Kendala tersebut berupa penyimpanan data yang tidak terstruktur, tidak lengkap, dan sulit diakses. Oleh karena itu, ada beberapa metode untuk mengolah big data, yaitu Tupel, Micro Batching, dan Widowed Real-Time Stream Processing. Metode yang digunakan dalam penelitian ini adalah windowed real-time stream processing. Penerapan stream processing membutuhkan perangkat lunak tertentu, yaitu Apache Spark. Apache Spark merupakan salah satu open-source software yang digunakan untuk menganalisis dan mengolah streaming data. Penerapan Apache Spark untuk big data dimulai dengan tahap pengintegrasian yang bertujuan agar Apache Spark dapat memperoleh data-data yang akan dianalisis. Hasil akhir dari penerapan metode ini berupa suatu sistem yang dapat membantu perusahaan untuk mengolah big data.