Optimalisasi Pengelompokkan Konsumen dengan Multi Internal Metric Validation dan Boxplot Analysis

Abstract

Penggunaan metrik-metrik validasi internal secara bersamaan untuk menentukan jumlah klaster optimal pada algoritma K-Means Clustering berpotensi memberikan nilai K yang berbeda-beda dan membingungkan bagi pengguna data untuk mengekstraksi informasi seperti untuk identifikasi karakteristik pelanggan. Penelitian ini bertujuan mengembangkan framework evaluasi untuk mengatasi ambiguitas nilai K dari beberapa metrik validasi internal. Framework evaluasi nilai K terdiri dari 2 tahap, dengan tahap pertama menggunakan lima metrik validasi, DBI, Silhouette Score, Elbow Method, Dunn Index dan Calinski-Harabasz Index sebagai filter untuk menghasilkan maksimal 5 nilai K terbaik. Evaluasi tahap kedua menggunakan analisis boxplot, inter quartile range dan elbow untuk mengeksplorasi tingkat kohesifitas dan stabilitas klaster yang terbentuk. Hasil yang diperoleh dari evaluasi tahap 1 terdapat 4 opsi jumlah klaster, K=2, 5, 7 dan 10. Evaluasi tahap kedua menunjukkan dari grafik elbow nilai rata-rata inter quartile range, K=5 menjadi jumlah klaster yang optimal dibanding 3 nilai K lainnya. Hasil ini menunjukkan bahwa semakin banyak metrik validasi internal yang digunakan, berpotensi menghasilkan banyak nilai K. Semakin banyak jumlah klaster tidak menjamin semakin baik kualitasnya. Implikasi dari penelitian ini menunjukkan pentingnya pendekatan evaluasi berlapis dalam menentukan jumlah klaster optimal, terutama saat menggunakan banyak metrik validasi internal secara bersamaan. Framework yang dikembangkan dapat membantu praktisi data dalam membuat keputusan yang lebih terinformasi dan mengurangi ambiguitas dalam proses klasterisasi. Ke depan, framework ini dapat dikembangkan lebih lanjut dengan mengintegrasikan metrik eksternal atau diadaptasi untuk algoritma klasterisasi lainnya.The simultaneous use of multiple internal validation metrics to determine the optimal number of clusters in K-Means Clustering often results in differing K values, which can confuse data practitioners when extracting insights, such as identifying customer characteristics. This study aims to develop an evaluation framework to address the ambiguity arising from varying K values produced by different internal validation metrics. The proposed K evaluation framework consists of two stages. In the first stage, five internal validation metrics—Davies-Bouldin Index (DBI), Silhouette Score, Elbow Method, Dunn Index, and Calinski-Harabasz Index—are used as filters to generate up to five top K candidates. The second stage involves boxplot analysis, interquartile range (IQR), and elbow visualization to explore the cohesiveness and stability of the resulting clusters. The first-stage evaluation yielded four potential cluster counts: K = 2, 5, 7, and 10. In the second stage, based on the elbow graph of the average interquartile range, K = 5 was identified as the most optimal number of clusters compared to the other candidates. These results indicate that using a larger number of internal validation metrics may increase the likelihood of producing multiple K values. However, a higher number of clusters does not necessarily guarantee better quality. The implications of this research highlight the importance of a layered evaluation approach in determining the optimal number of clusters, especially when employing multiple internal validation metrics. The proposed framework can assist data practitioners in making more informed decisions and reducing ambiguity in the clustering process. In the future, this framework can be extended by incorporating external validation metrics or adapted to other clustering algorithms.