Evaluation of Learning in AI Integration Training for Learning Assessment Among MTs Teachers

Abstract

This study evaluates learning in training activities on applying Artificial Intelligence (AI) in formative assessment for Madrasah Tsanawiyah (MTs) teachers, especially at MTs NU Trate Gresik. The training evaluation used the CIPP (Context, Input, Process, Product) model approach to identify the learning effectiveness at each training stage. The findings show that in the context aspect, there is a significant gap between conventional evaluation practices and the need for technology-based assessments. The input aspect shows that the training has been designed contextually with expert support and technology such as Quizizz AI Generator and adaptive Google Forms. The interactive training process involved high participation despite facing technical obstacles that were successfully overcome through intensive mentoring. The product aspect shows a fundamental transformation in learning evaluation in the classroom, marked by increased teachers’ abilities in designing and implementing AI-based assessments. The results of the paired sample t-test showed a significant increase in teacher evaluation competency, from an average score of 60.98 to 83.98 in the post-test (p=0.000). This finding indicates that the training improves conceptual knowledge and facilitates changes in assessment practices towards a more diagnostic, adaptive, and reflective approach. Thus, this training strengthens teacher capacity in supporting the digital transformation of education in the madrasah.Penelitian ini mengevaluasi pembelajaran dalam kegiatan pelatihan penerapan Kecerdasan Buatan (AI) dalam asesmen formatif bagi guru Madrasah Tsanawiyah (MTs) khususnya di MTs NU Trate Gresik. Pelatihan dilaksanakan dalam tiga tahap yaitu penyampaian materi konseptual, praktik pembuatan instrumen asesmen berbasis AI, dan implementasi langsung oleh guru di kelas masing-masing. Evaluasi pelatihan menggunakan pendekatan model CIPP (Context, Input, Process, Product) untuk mengidentifikasi efektivitas pembelajaran pada setiap tahapan pelatihan. Hasil temuan menunjukkan bahwa pada aspek konteks terdapat kesenjangan yang signifikan antara praktik evaluasi konvensional dengan kebutuhan asesmen berbasis teknologi. Aspek input menunjukkan bahwa pelatihan telah dirancang secara kontekstual dengan dukungan pakar dan teknologi seperti Quizizz AI Generator dan Google Forms adaptif. Proses pelatihan yang interaktif melibatkan partisipasi yang tinggi meskipun menghadapi kendala teknis yang berhasil diatasi melalui pendampingan intensif. Aspek produk menunjukkan adanya transformasi mendasar dalam evaluasi pembelajaran di kelas, ditandai dengan meningkatnya kemampuan guru dalam merancang dan mengimplementasikan asesmen berbasis AI. Hasil uji paired sample t-test menunjukkan adanya peningkatan kompetensi evaluasi guru yang signifikan, dari rata-rata skor pre-test sebesar 60,98 menjadi 83,98 pada post-test (p = 0,000). Temuan ini menunjukkan bahwa pelatihan ini meningkatkan pengetahuan konseptual dan memfasilitasi perubahan praktik penilaian ke arah pendekatan yang lebih diagnostik, adaptif, dan reflektif. Dengan demikian, pelatihan ini memperkuat kapasitas guru dalam mendukung transformasi digital pendidikan di madrasah.