Evaluating Public Policy in Practice: A Critical Systematic Literature Review of Methods, Trends, and Gaps, from 2015 to 2023

Abstract

This study conducts a systematic literature review of recent developments in policy and program evaluation from 2015 to 2023, examining methods, approaches, challenges, and future research directions. Following PRISMA guidelines, a search of the Scopus and Science Direct databases yielded 58 relevant articles. Key findings indicate a shift towards mixed-methods approaches, agent-based simulation, and stated preference techniques, although studies predominantly originate from developed countries and focus on social, environmental, and health issues. Bibliometric analysis shows that 62.9% of the articles appeared in Scopus Q1 journals. Evaluation effectiveness is significantly influenced by internal factors (e.g., program design, data quality) and external factors (e.g., political context, financial support). While evaluations impact decision-making and policy improvement, challenges remain in utilizing and generalizing results. Crucially, this review identifies gaps, including methodological limitations, a scarcity of studies on vulnerable groups, and a lack of standardized indicators. This study contributes to the advancement of policy evaluation methodologies by, for example, highlighting the need for strategic integration of qualitative and quantitative data within mixed-methods designs, going beyond mere combination to achieve nuanced understanding. It also emphasizes the critical importance of adapting systems thinking approaches, using for example, process tracing and agent-based modelling to specific developing country contexts, providing a pathway for more relevant and impactful evaluations. This research underscores the need for participatory, adaptive, and evidence-focused evaluation approaches that explicitly consider causal mechanisms, and recommends a concerted effort to develop comprehensive mixed-methods research, prioritize studies in developing countries, and build capacity for implementing these advanced methodologies.Evaluasi kebijakan publik adalah elemen penting dalam siklus kebijakan yang berfungsi untuk menilai efektivitas dan dampak dari intervensi pemerintah. Penelitian ini melakukan tinjauan literatur sistematis mengenai perkembangan terbaru dalam evaluasi kebijakan dan program, dengan fokus pada metode, pendekatan, tantangan, dan arah penelitian masa depan. Dengan menggunakan panduan PRISMA, pencarian literatur di basis data Scopus dan Science Direct menghasilkan 58 artikel jurnal yang relevan untuk dianalisis. Temuan utama menunjukkan peningkatan penggunaan metode campuran (mixed-methods), simulasi berbasis agen (agent-based simulation), dan pendekatan preferensi yang dinyatakan (stated preference) dalam studi evaluasi. Pola geografis publikasi didominasi oleh studi dari negara maju, dengan fokus utama pada isu-isu sosial, lingkungan, dan kesehatan. Analisis bibliometrik menunjukkan bahwa sebagian besar artikel (62,9%) diterbitkan di jurnal yang terindeks Scopus Quartile 1 (Q1). Faktor internal seperti desain program dan kualitas data, serta faktor eksternal seperti konteks politik dan dukungan finansial, diidentifikasi sebagai determinan signifikan dari efektivitas evaluasi. Analisis juga menyoroti dampak evaluasi terhadap pengambilan keputusan dan peningkatan kebijakan secara berkelanjutan, meskipun terdapat tantangan dalam pemanfaatan dan generalisasi hasil. Kesenjangan dalam literatur meliputi keterbatasan metodologi, terutama kurangnya evaluasi realis dalam konteks negara berkembang, studi terbatas pada kelompok rentan, dan minimnya indikator yang terstandarisasi. Arah penelitian masa depan mencakup pengembangan metodologi yang lebih inovatif, peningkatan fokus pada keragaman konteks, serta pendekatan evaluasi yang multi-dimensi dan integratif. Penelitian ini menyiratkan perlunya pendekatan evaluasi yang partisipatif, adaptif, dan berfokus pada bukti dengan mempertimbangkan mekanisme kausal, serta merekomendasikan pengembangan metode campuran yang lebih komprehensif dan fokus studi pada konteks negara berkembang.