Yinelemeli derin öğrenme teknikleri ile Türkçe duygu analizi
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye
Tezin Onay Tarihi: 2021
Tezin Dili: İngilizce
Öğrenci: Sultan Zeybek
Asıl Danışman (Eş Danışmanlı Tezler İçin): Aydın Seçer
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu tez çalışmasında, yinelemeli (recursive) derin öğrenme mimarileri kullanılarak Türkçe'nin biçimbilimsel ve anlambilimsel özelliklerinin bileşkesel modellenmesi amaçlanmıştır. Önerilen yinelemeli derin öğrenme modelleri Türkçe duygu analizi görevi üzerinden test edilmiştir ve geleneksel zincir-yapılı (recurrent) modeller ve makine öğrenmesi modelleri karşılaştırılmıştır. Yinelemeli derin öğrenme mimarilerinin eğitilmesi için öncelikle ağaç-yapılı etiketlenmiş veri kümelerinin oluşturulması gerekmektedir. Bu bağlamda, kelimelerin morfolojik özellikleriyle kök + ekler, kök, kelime ve doküman seviyeleri olmak üzere dört farklı seviyede etiketlenmiş yeni bir duygu bankası (MS-TR) oluşturulmuştur. MS-TR gelecekteki Türkçe yinelemeli derin öğrenme modellerinde kullanılabilecek ilk etiketlenmiş duygu ağacı olması nedeniyle literatüre oldukça önemli bir katkıda bulunmuştur. Yinelemeli Tensör Sinir Ağı, MS-TR üzerinden ikili ve ince-taneli duygu analizi görevi için cümle temsillerini modellemiştir. Yinelemeli Tensör Sinir Ağı modeli, SVM, NB ve MaxEnt gibi makine öğrenmesi modellerine kıyasla en yüksek başarı oranlarını göstermiştir. Yinelemeli Tensör Sinir Ağı modelinin performansını iyileştirmek için ACT-LSTM adlı yeni bir ağaç-yapılı sinir ağı modeli önerilmiştir. ACT-LSTM dikkat ve hafıza mekanizmalarını birleştirerek verinin daha önemli olan kısımlarına odaklanarak öğrenmeyi sağlamaktadır. Böylece kutupluluk içeren kelimeler ağırlıklandırılmış yorum temsiline daha fazla katkı sağlamaktadır. ACT-LSTM, diğer zincir-yapılı modeller ile karşılaştırılarak hangi mimarinin daha iyi olduğu araştırılmıştır. Tezin son kısmında eğitim sırasında sıklıkla ortaya çıkan kaybolan ve patlayan türev (vanishing and exploding gradient) problemine çözüm önerisi olarak yeni bir metasezgisel öğrenme algoritması önerilmiştir. Bu amaçla, her bir arının ayrı bir öğrenme modelini temsil ettiği geliştirilmiş üçlü arı algoritması (BA-3+) önerilmiştir. BA-3+, stokastik gradyan inişi ve tekil değer ayrıştırma mekanızmasını birleştirerek kaybolan ve patlayan türev problemi nedeniyle bilginin kaybolmasını önler. Lokal arama, stokastik gradyan inişi ve tekil değer ayrıştırma kombinasyonu ile en iyi parametre değerlerine yakınsamayı garantilerken, aynı zamanda global arama ile lokal optimum değerine takılıp kalmayı önlemektedir. Önerilen eğitim algoritması, yalnızca stokastik gradyan inişi kullanan diğer modellere kıyasla Türkçe duygu analizi için çok daha iyi doğruluk sonuçları elde etmiştir.