Emotion and gender identification on speech signals using deep learning methods
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: İngilizce
Öğrenci: ÖZGÜR ÖZDEMİR
Danışman: Gökhan Bilgin
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:İletişimin temel bileşenlerinden biri olan konuşma sinyalleri, konuşmacının kimliğinden bağlamsal bilgilere kadar değişen niteliklerin öz bir temsilini sağlayan zengin kaynaklardır. Konuşma sinyallerini kaydetmek ve işlemek için gerekli araçların diğer iletişim yöntemleri kadar pahalı olmaması nedeniyle, örn. görsel analiz için kullanılacak kameralar, konuşma sinyallerinden çıkarılacak niteliklerin kullanılması geniş bir uygulama yelpazesine fayda sağlayabilecektir. Bu çalışmada, duygu ve cinsiyet bilgisi olmak üzere konuşma işaretlerinin taşıdığı iki niteliğin elde edilmesi amaçlanmaktadır. Duygu tanıma, duygusal ifadelerin geniş skalada üretimindeki zorluklar, elde edilmiş verinin değerlendirilmesinde fikir birliğine varılamaması gibi nedenlerle zorlayıcı bir görevdir. Benzer şekilde, cinsiyet tanımlama görevi, veri toplamadaki kolaylıklara rağmen, cinsiyetlerin çakışan ses özelliklerini işlemede zorlayıcı hale gelebilmektedir. Konuşma sinyallerinin işlenmesi için, log-Melspektrogram ve Mel-Frekans Kepstral Katsayıları yöntemleri olmak üzere iki farklı yüksek-seviyeli sinyal temsili kullanılmıştır. Sözcelerin süresindeki farklılıklar, konuşma temsillerinin boyutlarında karmaşıklığa yol açmaktadır. Bu sorunun üstesinden gelmek adına, literatürdeki yaygın yaklaşıma karşı, Uyarlanabilir Pencere Uzunluğu seçimi yöntemi geliştirilmiş ve üzerinde tartışılmıştır. Sunulan yöntemin, duygu tanıma görevinde sınıflandırıcı ağların performansına katkı sağladığı, ancak cinsiyet bilgisinin uzun aralıklı ölçülerde bulunması nedeniyle, cinsiyet tanımlama görevinde etkisiz olduğu deneysel çalışmaların sonucunda görülmüştür. Verilen yüksek-seviyeli konuşma temsillerinin analizinde, öznitelik çıkarımı için Konvolüsyonel Sinir Ağları, sınıflandırma için Çok Katmanlı Algılayıcı modellerinden yararlanan bir derin ağ mimarisi kullanılmıştır. Farklı yaklaşımları uygulayan çeşitli KSA mimarileri araştırılmış ve mimarilerin elde ettikleri performanslar yapılan deneylerin ışığında tartışılmıştır. Deneylerin genelinde en iyi performansı Artık Öğrenme yapısını kullanmayan VGG mimarisinin elde etmesi göz önüne alındığında, ağ mimarilerinde artık bağlantıların kullanımının, verilen görevler dahilinde, konuşma temsilleri üzerindeki dezavantajları gözlemlenmiştir. Ayrıca, ağların dil özelinde bağımsızlık kabiliyetleri, diller arası deneyler ile değerlendirilmiştir. Bu bağlamda, ağların Türkçe ve İngilizce dilleri ortaklığında cinsiyet tanımlara görevinde başarısız oldukları görülmektedir.