Yüz Nirengi Noktalarının Zamansal Öz-benzerliğine ve Kelime
Çantasına Dayalı Yüz İfadesi ve Kafa Hareketi Tanıma
Facial Expression and Head Gesture Recognition Using
Temporal Self-similarity and Bag of Words of Facial Landmarks
İsmail Arı1, Hua Gao2, Hazım K. Ekenel2, Lale Akarun1
1. Bilgisayar Mühendisliği Bölümü
Boğaziçi Üniversitesi, İstanbul, Türkiye
{ismailar,akarun}@boun.edu.tr
2. Bilgisayar Bilimleri Bölümü
Karlsruhe Teknoloji Enstitüsü, Karlsruhe, Almanya
{hua.gao, ekenel}@ira.uka.de
Özetçe
Yüz ifadeleri ve kafa hareketleriyle yapılan jestlerin otomatik
tanınması, işaret dili tanıma ve insan bilgisayar etkileşimi
gibi birçok alanda önemli bir değere sahiptir. Bu çalışmada,
hareket tanımada başarısı gösterilen, takip noktalarının öz-
benzerliğine dayalı yöntem, yüz ifadesi ve kafa hareketi
jestlerini sınıflandırmak için adapte edilmiştir. Ayrıca, takip
edilen yüz nirengi noktalarının histogramına dayalı, daha
başarılı yeni bir yöntem önerilmiştir. Sunulan yöntemler Saklı
Markov Modeli tabanlı çalışmamızla [1] birleştirilmiş ve
sınıflandırma başarısında %15 artış sağlanmıştır.
Abstract
Automatic recognition of facial expressions and head gestures
plays an important role in a wide range of research area
including sign language recognition and human-computer
interaction. In this work, we adopt the well-performing self-
similarity based action recognition method to classify facial
expressions and head gestures. Additionally, we propose a
novel approach for facial gesture recognition based on the
histogram of tracked facial landmarks. We fuse the presented
techniques with our previous Hidden Markov Model based
approach [1] and get 15% increase in classification results.
1. Giriş
Yüz ifadesi ve kafa hareketlerinden oluşan jestlerin otomatik
tanınması, bu jestlerin önemli rol oynadığı işaret dillerini
tanıma [2] ve insan bilgisayar etkileşimi gibi birçok alanda
merak edilen bir araştırma konusudur. Bu konuyu farklı
açılardan irdeleyen birçok çalışma yürütülmüştür. Morency ve
diğerleri, sağa-sola ve aşağı-yukarı kafa sallama hareketlerini
tanıyan bir sistem geliştirmişlerdir [3]. Kafa pozu takibiyle
bulunan kafa rotasyon hızının frekans bilgilerini çıkarmışlar
ve Destek Vektör Makineleri (DVM) ile sınıflandırma
yapmışlardır. Zelinsky ve Heinzmann, özel donanım ve
Kalman süzgeci yardımıyla 9 yüz noktasını takip etmiş,
olasılıksal bir yöntemle kafanın belli yön hareketlerini, göz
kırpmayı ve ağız kapama/açmayı tanımışlardır [4]. Kişinin
konuşup konuşmadığını ayırt etmeyi amaçlayan Pantic ve
Rothkrantz ise yüzlerden 22 adet hareket birimi çıkararak
yapay sinir ağları ile sınıflandırma yapmışlardır [5]. Fakat
ilgili çalışmalar, yalnızca belli kafa hareketlerini kapsamakta,
yüz ifadelerini hesaba katmamakta ve daha karmaşık jestleri
içermemektedir. Öte yandan, yürütülen birçok yüz ifadesi
tanıma araştırması ise kafa hareketi algılamayı içermemekte,
özellikle duygusal ifadeleri tanımaya yoğunlaşmaktadır [6].
Kafa hareketi ve yüz ifadesi tanımak için kullanılan
yöntemler, vücut hareketi tanıma yöntemleri ile benzerlik
gösterir. Her iki yöntem de, videolardan ilgili öznitelikleri
çıkarıp problemi zaman serisi analizi problemine çevirmeyi
amaçlar. Öz Benzerlik Haritası (ÖBH - Self Similarity Map),
zaman serisindeki benzerlikleri gösteren bir matris olarak
kullanılır ve ekonomi, psikoloji, sinirbilim, astrofizik ve
mühendislik gibi birçok dalda yaygın kullanım alanlarına
sahiptir [7]. Vücut hareketlerini sınıflandırmayı amaçlayan
Junejo ve diğerleri de KLT takipçisi ve optik akış ile ayrı ayrı
elde ettikleri bilgiden ÖBH elde etmişler ve farklı kişilerin
yaptığı aynı sınıfa ait hareketlerin kamera açısı değişse dahi
ÖBH’lerinin benzer olduğunu raporlamışlardır [8].
ÖBH’lerden betimleyiciler çıkarmışlar ve bu betimleyicilerin
histogramı olarak elde ettikleri Kelime Çantalarını (KÇ - Bag
of Words) en yakın komşu (EYK - Nearest Neighbour) veya
çok sınıflı DVM ile sınıflandırılmışlardır. Daha sonra bu
yöntemi hareket eşleme için iyileştirmişlerdir [9]. Bir başka
başarılı yöntem ise Saklı Markov Modellerine (SMM –
Hidden Markov Models) dayalı jest tanımadır. SMM,
gözlemlenen veriyi kullanarak bir Markov sisteminin
parametrelerini bulmayı ve bu parametreleri sınıflandırmada
kullanabilmeyi amaçlar [10]. Bu yaklaşımı Aktif Şekil
Modeline dayalı takipçimizden elde ettiğimiz yüz nirengi
noktalarının konumlarını modellemede kullanmış ve işaret
dillerinde yaygın olarak kullanılan kafa hareketi ve yüz
ifadesi jestlerinin sınıflandırılmasını sunmuştuk [1].
Bu çalışmada; ÖBH ve KÇ’ye dayalı yöntem [8,9] kafa
hareketi ve yüz ifadesi sınıflandırmaya adapte edilmiş, SMM-
tabanlı yöntemle karşılaştırılıp birleştirilmiştir. Ek olarak,
takip edilen nirengi noktalarının histogramına dayalı yeni bir
yöntem geliştirilmiş ve deneysel sonuçlarla başarısı
gösterilmiştir. Hem ifade, hem de kafa hareketini içeren
kapsamlı bir çalışma sunulmuştur.
836
SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir
978-1-4244-9671-6/10/$26.00 ©2010 IEEE