Sigmoid-Gumbel: Yeni Bir Hibrit Aktivasyon Fonksiyonu

Abstract

Bu makalede daha önce sunulan Aktivaston Fonksiyonlarının (AF) olumlu yanlarını birleştiren ve onlardan daha iyi başarım sağlayan ve Sigmoid-Gumbel (SG) olarak adlandırılan yeni bir hibrit AF önerilmiştir. Önerilen fonksiyon, sigmoid, Gumbel, ReLU ve Adaptive Gumbel fonksiyonlarıyla karşılaştırılmıştır. Önerilen fonksiyonun başarımını gözlemek için dört uygulama yapılmıştır. Birinci uygulamada, derin öğrenmede ikili sınıflandırma sınıf dengesizliği sorunu için 25 dengesiz veri kümesi bir çok katmanlı algılayıcı (Multi Layer Perceptron-MLP) ağı üzerinde denenmiştir. İkinci uygulamada, önerilen fonksiyonun sigmoid ve Gumbel fonksiyonlarıyla karşılaştırılması için MNIST veri kümesi bir CNN ağı üzerinde denenmiştir. Üçüncü uygulamada, SGv2, SGv3 ve SGv4 olmak üzere SG’nin farklı üç versiyonu karşılaştırılmıştır. Bunun için Fashion-MNIST veri kümesi aynı CNN ağı üzerinde denenmiştir. Dördüncü uygulamada, önerilen fonksiyonun ReLU ve Adaptive Gumbel fonksiyonlarıyla karşılaştırılması için MNIST veri kümesi aynı CNN ağı üzerinde denenmiştir. Yapılan deney sonuçları önerilen AF’nin başarısını göstermiştir.