Görü-tabanlı Gerçek-zamanlı Duygu Tanıma
Vision-based Real-time Emotion Recognition
İsmail Arı, F. Onur Alsaran, Lale Akarun
Bilgisayar Mühendisliği Bölümü
Boğaziçi Üniversitesi, İstanbul, Türkiye
{ismailar,onur.alsaran,akarun}@boun.edu.tr



Özetçe
Duygusal ifadelerin otomatik olarak tanınması, insan-
bilgisayar etkileşimi, sözlü-sözsüz iletişim, veriye-dayalı yüz
animasyonu, otistik çocukların yüzlerinin incelenmesi gibi
birçok alanda çalışan araştırmacıların ilgisini çeken zorlu bir
problemdir. Bu çalışmada duygu tanıma problemi
irdelenmekte, video üstünde gerçek-zamanlı olarak
çalışabilen ve şaşkınlık, kızgınlık, mutluluk, üzülme, korku,
iğrenme ve yalın ifadeyi tanıyabilen yeni bir yöntem
önerilmektedir. Önerilen yöntemde çok-çözünürlüklü aktif
şekil modeline dayalı takipçi ile nirengi noktaları takip
edilmekte ve ardından nokta konumlarından ve yüzün belli
bölgelerindeki değişimlerden çıkarılan üst seviye öznitelik
vektörlerinin duygusal ifadelere ait öznitelik vektörlerine olan
uzaklıkları kullanılarak sınıflandırma yapılmaktadır. Toplam
5 özne üzerinde yapılan deneylerde bahsedilen yedi sınıf için
%75.23 başarı elde edilirken şaşkınlık, kızgınlık, mutluluk ve
yalın ifadeden oluşan dört sınıf için %100 başarı elde
sağlanmaktadır. Yüzün kısmî kapatılması durumunda da
başarılı sonuçlar veren sistem, gerçek-zamanlı çalışan ve
kişiye ve ortama uyarlanabilen bir uygulama ile
gerçeklenmiştir.
Abstract
Automatic recognition of emotional states is a challenging
problem which takes the attention of researchers studying in
many areas such as human-computer interaction, verbal-
nonverbal communication, data-driven facial animation and
analysis of the faces of autistic children. In this work, emotion
recognition problem is investigated; a novel approach is
proposed that works in real-time and recognizes surprise,
anger, happiness, sadness, fear, disgust and neutral
expression. In the proposed system, facial landmarks are
tracked using the tracker based on the multi-resolution active
shape models. Afterwards, the classification is done using the
differences among the feature vectors belonging to emotional
expressions to the feature vector involving high level features
extracted from the locations of the landmarks and the
gradients of specific facial regions. In experiments conducted
on 5 subjects, success rate of 75.23% is achieved for the
seven classes mentioned whereas a success rate of 100% is
found when four classes (surprise, anger, happiness and
neutral expression) are used. The system gives promising
results also on partially occluded faces. The implementation
works in real-time and includes modules for person and
environment adaptation.
1. Giriş
Yüz ifadelerinin incelenmesi psikolojik araştırmalar, sözlü ve
sözsüz iletişim, insan-bilgisayar etkileşimi gibi birçok alanda
önemli bir yer tutar. Yüzümüz duygularımızın penceresi
olduğu için duygu tanıma ile yüz ifadesi tanıma ifadeleri
farklı çalışmalarda birbirlerinin yerine kullanılabilmektedir.
Görü-tabanlı otomatik yüz ifadesi tanıma üstüne son yıllarda
birçok yöntem geliştirilmiştir. Fasel ve Luettin ile Pantic ve
Rothkrantz bu yöndeki araştırmaları [1, 2]’de ayrıntılı olarak
incelemişlerdir. Paleari v.d.’nin önerdiği gibi görsel bilgiye
ek olarak ses bilgisi de kullanılarak çok-kipli duygu tanıma
yapılabilmektedir [3]. Öte yandan beyin sinyalleri de duygu
tanımada kullanılabilmektedir. Murugappan v.d. EEG
verisinin zaman-sıklık analizine dayalı yöntemleri ile
mutluluk, üzüntü, şaşkınlık ve korku duygularını tanımışlardır
[4].
Bu çalışmanın odağı duygu tanımada görsel bilgiyi
kullanmaktır. Yüz imgelerinden veya videolarından etkili bir
betimleyici çıkarabilmek tüm yüz ifadesi araştırmalarının
temelini oluşturur. Betimleyicilerin başarısı ifade ettikleri
yerel konumların gürbüz bir şekilde belirlenmesine dayalıdır.
Arı ve Akarun, çalışmalarında çok çözünürlüklü ve çok-pozlu
aktif şekil modeline dayalı yüz nirengi noktası takipçisi
geliştirmiş ve takip edilen noktaların zaman içindeki yörünge
bilgisini kullanan Saklı Markov Modeli’ne dayalı
sınıflandırıcı ile hem kafa hareketi hem de yüz ifadesi
sınıflandırması yapmışlardır [5]. Akakın ve Sankur,
betimleyici olarak yüze ait 17 nirengi noktasının takibiyle
elde edilen yörüngelerden hesaplanan bağımsız bileşenler
analizi değerlerini ve yüzlerin arka arkaya hizalanarak
oluşturdukları zaman-uzaysal kübün 3B ayrık kosinüs
dönüşümü (AKD) değerlerini kullanmışlardır [6]. Farklı
sınıflandırıcılar ile değerlendirdiklerinde, en iyi sonucun 3B
AKD kullanıldığında bulunduğunu raporlamışlardır. Kumano
v.d. her ifade için değişken şiddet şablonlarına (variable
intensity templates) dayalı bir model eğitmeyi önermiş ve
pozdan bağımsız olarak ifade tanıması yapmışlardır [7]. Sebe
v.d., çalışmalarında yüz ifadelerini Bayes ağları, destek vektör
makineleri ve karar ağaçları ile incelemişler ve kullandıkları
veritabanını araştırmacılara sunmuşlardır [8]. Littlewort v.d.
ise otomatik yüz ifadesi tanıma problemi için Adaboost,
destek vektör makineleri ve doğrusal ayraç analizi
yöntemlerini sistematik olarak uygulamayı önermişlerdir [9].
Shan v.d., istatistiksel bir model olan yerel ikilik örüntülerini
(local binary patterns) dikkate almış, çıkarılan öznitelikleri
farklı yapay öğrenme teknikleri ile sınıflamada kullanmış ve
destek vektör makinesinin sınıflandırıcılar arasında en iyi
sonucu verdiğini raporlamışlardır [10]. Busso v.d., nokta