Analisis Konseptual Fusi Multimodal Wajah dan Visual Speech untuk Autentikasi Biometrik Non-Vokal terhadap Deepfake

Abstract

Sistem autentikasi biometrik masih menghadapi keterbatasan mendasar, khususnya pada pendekatan unimodal yang rentan terhadap variasi lingkungan dan serangan pemalsuan visual. Untuk mengatasi permasalahan tersebut, biometrik multimodal yang mengintegrasikan ciri fisiologis dan perilaku menjadi pendekatan yang semakin relevan. Penelitian ini menyajikan kajian analitis terhadap riset-riset terkini di bidang biometrik multimodal visual dengan fokus pada strategi fusi level skor serta integrasi pengenalan wajah statis dan gerakan bibir dinamis sebagai mekanisme autentikasi non-vokal. Hasil sintesis literatur menunjukkan bahwa fusi level skor merupakan pendekatan yang paling fleksibel dan stabil dalam menggabungkan modalitas biometrik yang heterogen, terutama pada kombinasi ciri spasial statis dan pola temporal dinamis. Selain itu, arsitektur deep learning berbasis Transformer diidentifikasi memiliki potensi signifikan dalam memodelkan dependensi temporal pada gerakan bibir. Kajian ini juga menyoroti tantangan keamanan utama, khususnya serangan presentasi dan visual-only deepfake, serta menekankan pentingnya deteksi keaslian berbasis dinamika visual sebagai bagian integral dari sistem autentikasi. Berdasarkan analisis tersebut, penelitian ini merumuskan kerangka konseptual autentikasi biometrik visual multimodal yang mengintegrasikan verifikasi identitas dan liveness detection dalam satu alur proses, sekaligus mengidentifikasi peluang riset lanjutan meliputi pemanfaatan self-supervised learning, optimasi model untuk perangkat dengan sumber daya terbatas, dan perancangan frasa sandi visual yang lebih diskriminatif.Biometric authentication systems still face fundamental limitations, particularly in unimodal approaches that are vulnerable to environmental variations and visual spoofing attacks. To address these challenges, multimodal biometrics integrating physiological and behavioral traits have become an increasingly relevant approach. This study presents an analytical review of recent research in visual multimodal biometrics, with a focus on score-level fusion strategies and the integration of static face recognition and dynamic lip movement analysis as a non-vocal authentication mechanism. The literature synthesis indicates that score-level fusion is the most flexible and stable approach for combining heterogeneous biometric modalities, especially when integrating static spatial features and dynamic temporal patterns. Furthermore, Transformer-based deep learning architectures are identified as having significant potential for modeling the temporal dependencies of lip movements. This study also highlights key security challenges, particularly presentation attacks and visual-only deepfakes, and emphasizes the importance of visual dynamics–based liveness detection as an integral component of biometric authentication systems. Based on these findings, the study formulates a conceptual framework for visual multimodal biometric authentication that integrates identity verification and liveness detection within a unified process, while also identifying future research opportunities, including self-supervised learning, model optimization for resource-constrained devices, and the design of more discriminative visual passphrases.