Büyük Dil Modelleri Kullanılarak Anahtar Kelime Üretimi ve Konu Modelleme: Müşteri Geri Bildirimlerinden İçgörü Edinimi
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Yıldız Teknik Üniversitesi, Elektrik-Elektronik Fakültesi, Bilgisayar Mühendisliği, Türkiye
Tezin Onay Tarihi: 2024
Tezin Dili: Türkçe
Öğrenci: Aleyna Er
Danışman: Banu Diri
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Turizm sektöründe faaliyet gösteren Setur'un müşterilerinden anketler ile topladığı geri bildirim yorumları doğal dil işleme ile analizi yapılarak sunulan hizmet ile ilgili nelerden memnun kalındığı ve hangi noktaların gelişime açık olduğu tespit edilmek istenmiştir. Önerilen yöntemde, ilk aşamada yorumları temsil eden anahtar kelimeler (AK) oluşturulur, bu kelimeler ile metindeki önemli kelimeleri yakalamak amaçlanır. Yorumlardaki önemli kavramları yakalayabilmek için, Türkçe ve çok dilli veri setleri ile eğitilmiş ön eğitimli TRT5, MT5, TRBART ve MBART dil modellerine ince ayar yapılarak öğrenme transferi gerçekleştirilmiş ve GPT3.5, GPT4, Gemini Pro büyük dil modellerine one-shot ve few-shot stilinde istemler vererek anahtar kelimeler üretilmiştir. Üretilen AK'lerin etiketli AK'ler ile ne kadar örtüştüğü, yoruma benzerlikleri ve birbirlerine göre anlamsal çeşitlilikleri incelenmiştir. Aynı zamanda üretilen AK'lerin uzunluğu yorumun uzunluğu ile kıyaslanarak metni ne kadar sıkıştırabildiği ölçülmüştür. Konu modellemenin sonraki adımında, üretilen anahtar kelimeler ve yorumlarının vektörleri oluşturulur ve uç uca eklenir. Elde edilen yeni vektörler kümelenerek konu modellemesi yapılır, oluşturulan her bir küme bir konu olarak ele alınır. Konuları temsil etmek için o konudaki yorumlara en benzer anahtar kelimeler seçilir. Uygulanan konu modelleme yöntemi ile konu içeriklerinde kelime öbekleri bulunabilir, bu sayede anlamsal olarak daha belirgin yorumlanması daha kolay konular oluşturulabilmiştir. Aynı zamanda, yorum-AK ikilileri ile kümeleme yapılması ile bir yorum için birden fazla konu atanabilmesi sağlanır. Üretilen AK'lerin kümelenerek oluşturulan konu modellerinin performansı sinirsel konu modelleme örneği olan BERTopic ve istatistiksel yöntemlerden LDA ve NMF ile karşılaştırılmıştır. Oluşturulan konular incelenerek, müşterilerin hizmet sürecindeki hangi noktalar ile ilgili yorum yaptıkları hakkında bilgi sahibi olunmuş, en çok konuşulan konular saptanmıştır.