Türk İşaret Dili Yüz İfadesi ve Baş Hareketi Veritabanı
A Database of Non-Manual Signs in Turkish Sign Language
Oya Aran1, İsmail Arı1, Amaç Güvensan2, Hakan Haberdar2, Zeyneb Kurt2, İrem Türkmen2, Aslı
Uyar1, Lale Akarun1
1 Bilgisayar Mühendisliği Bölümü, Boğaziçi Üniversitesi, İstanbul
2 Bilgisayar Mühendisliği Bölümü, Yıldız Teknik Üniversitesi, İstanbul
1{aranoya, ismailar, asli.uyar, akarun}@boun.edu.tr
2{amac, hakan, zeyneb, irem}@ce.yildiz.edu.tr

Özetçe
İşaret dilleri görsel dillerdir. Verilmek istenen mesaj sadece el
hareketleri ile değil, aynı zamanda baş/vücut hareketi ve yüz
ifadesi ile de verilir. Bu makalede Türk İşaret Dili (TİD)’nde
kullanılan baş hareketlerini ve yüz ifadelerini içeren bir
veritabanı tanıtıyoruz. Veritabanı, TİD’de sıklıkla kullanılan
sekiz işaretin, yarı kontrollü bir ortamda toplanmış
videolarından ve bu videoların bir kısmı için yüzdeki 60 adet
yer gerçekliği noktasının elle işaretlenmiş koordinatlarından
oluşuyor.
Abstract
Sign languages are visual languages. The message is not only
transferred via hand gestures (manual signs) but also
head/body motion and facial expressions (non-manual signs).
In this article, we present a database of non-manual signs in
Turkish Sign Language (TSL). There are eight non-manual
signs in the database, which are frequently used in TSL. The
database contains the videos of these signs as well as a ground
truth data of 60 manually landmarked points of the face.
1. Giriş
Türk İşaret Dili (TİD) ifadelerinde el, kol ve vücut
hareketlerini, birlikte yapılan baş hareketleri tamamlar. İşaret
dillerinde yüz ifadeleri, baş ve vücut hareketleri bazen
kelimenin anlamını kuvvetlendirmek ya da zayıflatmak için,
bazen tamamen değiştirmek için, bazen de tek başına
kullanılır [1]. Bir işaret, el hareketi ve şekli korunarak, yüz
ifadesinin ve/veya kafa hareketinin eklenmesi ile
olumlu/olumsuz/soru anlamları alabildiği gibi, tamamen farklı
bir anlam da alabilir. Bu işaretlerin tümü ele ait olmayan
(non-manual) işaretler olarak adlandırılır.
Dilde kullanılan tüm işaretleri tanıyabilmek için,
geliştirilen işaret dili tanıma sistemleri el hareketlerinin
yanında, ele ait olmayan işaretleri de çözümlemeli ve tanıma
sırasında değerlendirmelidir. Fakat işaret tanıma
literatüründe ele ait işaretler ve ele ait olmayan işaretleri
beraber kullanarak işaret analizi yapan çalışma [2], [3] sayısı
az olduğu gibi işaret dillerinde kullanılan ele ait olmayan
işaretler üzerine yapılmış çalışma sayısı da çok değildir. Bazı
çalışmalarda, sadece yüz ifadesi kullanılır [4], bazılarında ise
sadece baş hareketi [5].
İşaret dilinde kullanılan yüz ifadeleri, ifade tanıma
problemlerinde sıklıkla kullanılan yedi yüz ifadesiyle (sevinç,
kızgınlık, şaşırma...) benzerlikler içerse de tam olarak
örtüşmez. İşaret dilinde yüz ifadeleri tek başına
kullanılabildiği gibi, bir baş hareketi ile birlikte de
kullanılabilir (Şekil 1). Dolayısıyla, işaret dilinde kullanılan
ele ait olmayan işaretleri çözümleyebilmek için, hareketli
görüntülerde yüz bölgelerini takip edebilmek ve poz
değişikliklerinden bağımsız bir şekilde ifadeyi
çözümleyebilmek gerekir.
İşaret dili tanıma probleminin en büyük zorluklarından
biri de yöntemleri deneyecek veritabanı bulma ya da
oluşturma aşamasıdır. Bu çalışmada, işaret dili tanıma
problemlerinde ele ait olmayan işaretlerin daha iyi ve ayrıntılı
incelenebilmesi amacıyla, TİD’de sıklıkla kullanılan baş
hareketi ve yüz ifadesi işaretlerinin oluşturduğu bir veri
tabanı hazırladık. Bu veritabanının amacı, ele ait ve ele ait
olmayan işaretler birlikte kullanılırken oluşan eşzamanlama
ve ellerin yüzü kapatması problemlerinden bağımsız bir
şekilde, işaret diline özel yüz ifadeleri ve baş hareketleri için
tanıma yöntemleri geliştirilmesine olanak vermektir.
Veritabanındaki görüntülerde yer gerçekliği noktalarını elle
işaretleyerek, işaretlenmiş veri oluşturduk. Noktaları
seçerken, bu noktaların kaş, dudak, göz kapağı gibi yüz
bölümlerinin takibine izin verecek şekilde olmasına dikkat
ettik. Ayrıca, daha sonraki çalışmalarda referans oluşturması
için çeşitli tanıma yöntemlerinin veritabanı üzerinde denedik.
Veritabanının özellikleri, içeriği, elle işaretlenmiş
noktaların detayları 2. bölümde anlatılmıştır. 3. bölümde aktif
görünüm modelleri ile veritabanının istatistiksel çözümlemesi
yapılmış ve 4. bölümde de çeşitli tanıma yöntemlerinin
veritabanı üzerindeki sonuçları verilmiştir.
2. TİD Baş Hareketleri Veritabanı
2.1. Veritabanında kullanılan baş hareketleri
Veritabanındaki baş hareketlerini ve yüz ifadelerini TİD’de
sıklıkla kullanılan ve anlamı belirgin ölçüde değiştiren
hareketlerden seçtik. Seçilen bazı hareketler sadece baş
hareketi ya da yüz ifadesi içerirken, bazı hareketler de hem
baş hareketi hem de yüz ifadesi içermektedir.
Veritabanı aşağıdaki sekiz işaretten oluşmaktadır:
1. Yalın: Yüzün yalın ifadesidir.
2. Yukarı doğru başı bir kez kaldırma: Günlük yaşamda
‘değil’ demek yerine sıkça kullandığımız harekettir.
3. Sağa sola baş sallama: Yine günlük yaşamda ‘hayır,
olmaz’ demek yerine sıkça kullandığımız harekettir.
4. Öne doğru başı uzatma: Kafanın öne doğru uzatılması ve
kaşların kaldırılması ile yüzün, karşıdakinden cevap
bekler gibi soru sorar konuma gelmesiyle yapılır.
5. Büzülmüş Dudaklar: Özür dilerken, dudakları büzerek ve
üzgün yüz ifadesi oluşturularak yapılır.