Türkçe dilinde açık uçlu bilgi erişimi için colbert modeli geliştirilmesi


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, VERİ BİLİMİ VE BÜYÜK VERİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2025

Tezin Dili: Türkçe

Öğrenci: EREN TAHİR

Danışman: Mert Bal

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Gerçekleştirilen tez çalışmasında Türkçe dili için açık alan bilgi erişimi için bağlamsal derin öğrenme modeli geliştirilmesi ve değerlendirilmesi hedeflenmiştir. Bilgi erişiminde derin öğrenme modelleri etkileşim tabanlı, temsil tabanlı ve hibrit olarak üçe ayrılmaktadır. Etkileşim tabanlı modeller yüksek başarı vadetmesine rağmen eğitim için fazla veriye ihtiyaç duymaları ve tahmin yapma hesaplama maliyetinin yüksek olması dezavantajlarına sahiptir. Temsil tabanlı modeller de veri efektif modeller olmamakla birlikte düşük tahmin yapma kompleksliğiyle öne çıkmaktadır. Hem temsil tabanlı modeller hem etkileşim tabanlı modeller eğitim verisinden farklı veri dağılımlarında ciddi başarı kaybı gösterirler. Hibrit yöntemlerden biri olan ColBERT paradigması bu iki yöntemin güçlü yanlarını birleştirerek veri efektif, güçlü genelleme yeteneğine sahip ve ölçeklenebilir tahmin yapma kompleksliğine sahip modeller sunmaktadır. Türkçe dili kaliteli veri bulmanın zor olduğu düşük-kaynak dillerden biri olduğu için model geliştirilmesinde ColBERT paradigması kullanılmıştır. Model eğitimi için sadece açık veri kullanılmasına ve çok düşük ince ayar eğitim maliyeti olmasına rağmen, geliştirilen model çok dilli ColBERT varyantlarını başarı açısından geride bırakmıştır. Tez çalışmasında oluşturulan değerlendirme ve eğitim verisetlerinin açık erişime sunulmasıyla Türkçe bilgi erişiminde ileride yapılacak çalışmalara katkıda bulunmak hedeflenmiştir.