Controlling of Virtual Mirror with Voice and Hand Motion

Abstract

Although online shopping has been very popular recently, customers have some disadvantages such as the impossibility to try the product before buying. Owing to the recent technological advances, people can try on products to be purchased on a virtual mirror. Inspired by this situation, it has been developed a system which users can try handbags on a monitor and see different poses of handbags as if they wear them. Also, users can see different colors of handbags by saying the color that they want to see to the system. In this application, it is taken advantage of Kinect Sensor to follow user motions and hand skeleton joints which is placed on the bag. The voice command recognition is used which is based on correlation method.Online alışveriş son zamanlarda popüler olmasına rağmen bu alışveriş türünde ürün deneyememe gibi bazı dezavantajlar mevcuttur. Son zamanlardaki teknolojik gelişmeler ile birlikte sanal aynalar aracılığı ile insanlar satın almak istedikleri ürünleri deneyebilmektedir. Bu yaklaşımdan esinlenilerek, kullanıcıların el çantalarını sanal olarak deneyebildikleri ve farklı pozlarını bir ekran üzerinde görebildikleri bir sistem geliştirilmiştir. Ayrıca, kullanıcılar ses komutları ile çantaların farklı renklerini de deneyebilmektedir. Bu çalışmada, kullanıcı hareketlerinin ve el iskelet bağantılarının takibi için Kinect Sensor kullanılmıştır. Ses komutlarını tanımak için korelasyon yönteminden faydalanılmıştır.