Derin Öğrenme Tabanlı Video Üzerinde Olay Sınıflandırma

Abstract

Son yıllarda, dijital kütüphanelerin ve video veritabanlarının büyümesi nedeniyle, videolardan aktivitelerin otomatik olarak tespit edilmesi ve büyük veri kümelerinden örüntülerin elde edilmesi ön plana çıkmaktadır. Görüntüden nesne algılama, çeşitli uygulamalar için bir araç olarak kullanılır ve video sınıflandırmanın temelidir. Videolardaki bilgilerin zaman sürekliliği kısıtlaması olduğundan, videolardaki nesneleri tanımlamak tek görüntüye göre daha zordur. Bilgisayarlı görme alanındaki gelişmelerin ardından, makine öğrenmesi ve derin öğrenme için açık kaynaklı yazılım paketlerinin kullanımı ve donanım teknolojilerinde yaşanan gelişmeler, yeni yaklaşımların geliştirilmesine imkân sağlamıştır. Bu çalışmada, video üzerinde spor dallarının sınıflandırılmasına yönelik derin öğrenme tabanlı bir sınıflandırma modeli geliştirilmiştir. CNN kullanılarak geliştirilen modelde, VGG-19 ile öğrenme aktarımı uygulanmıştır. 32827 adet frame üzerinde, CNN ve VGG-19 modelleri kullanılarak yapılan deneysel çalışmalar, VGG-19’un %83 doğruluk oranı ile CNN’den daha başarılı bir sınıflandırma performansına sahip olduğunu göstermiştir.   In recent years, due to the growth of digital libraries and video databases, automatic detection of activities from videos and obtaining patterns from large datasets have come to the fore. Object detection from images is used as a tool for various applications and is the basis of video classification. Objects in videos are more difficult to identify than in single images, as the information in videos has a time-continuity constraint. Following the developments in the field of computer vision, the use of open source software packages for machine learning and deep learning and the developments in hardware technologies have enabled the development of new approaches. In this study, a deep learning-based classification model has been developed for the classification of sports branches in video. In the model developed using CNN, transfer learning has been applied with VGG-19. Experimental studies on 32827 frames using CNN and VGG-19 models showed that VGG-19 has a more successful classification performance than CNN with an accuracy rate of 83%.