Çekişmeli üretici ağ tabanlı veri artırımı yaklaşımı ile otoskop görüntülerinden kulak zarı patolojilerinin tespiti
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Yıldız Teknik Üniversitesi, Elektrik-Elektronik Fakültesi, Bilgisayar Mühendisliği, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: Türkçe
Öğrenci: MUSTAFA FURKAN ESEOĞLU
Danışman: Mine Elif Karsligil
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Medikal örüntü tanıma sistemleri aracılığıyla doktorların tanı koymasına yardımcı olacak sistemlerin geliştirilmesi son dönemde ilgi çeken bir alandır. Yapılan çalışma kapsamında ilk olarak bir otoskop cihazından alınan 10.088 adet kulak zarı görüntüsü toplanmıştır. Toplanan görüntülerden 921 adet görüntü Kulak Burun Boğaz Uzmanı tarafından etiketlenmiştir. Etiketlenen görüntüler temizlendikten sonra normal, akut otitis media, buşon, egzositoz, eksternal otit, miringoskleroz, otomikoz, retraksiyon, seröz otitis media ve kronik otitis media perforasyon sınıflarına ait toplam 276 adet görüntü test verisi olarak ayrılmıştır. Etiketlenen görüntülerde normal sınıf haricinde kalan ve patoloji içeren görsellerin oranı daha düşük olduğu için bu patolojik görüntülerin tespiti problemine anomali tespiti şeklinde yaklaşılmıştır. Patolojik görüntülerin tespitinde kullanmak amacıyla görüntü özniteliklerinin çıkarılması için alanda uzmanlık gerektiren yaklaşımların aksine veriyi anlamlandırarak öznitelik çıkaran derin öğrenme tabanlı modeller eğitilmiştir. Bu kapsamda gözetimsiz bir otokodlayıcı ve sınırlı miktarda etiketlenen veriyi kullanan gözetimli şekilde farklı EfficientNet modelleri eğitilmiştir. En yüksek F1 skoruna sahip EfficientNet-B6 temelli modelde etiketli test verisi üzerinde patolojik sınıf için 0.755 kesinlik puanı, 0.825 duyarlılık puanı ve 0.788 F1 puanı alınmıştır. Eğitilen modellerin alt katmanlarından öznitelik vektörleri alınmıştır. Toplanan veri kümesindeki etiketlenmiş görüntü sayısı etiketsiz verinin yaklaşık \%10'u olduğu için gözetimsiz anomali tespiti yaklaşımı ile patolojik görüntülerin sınıflandırılması yaklaşımı tercih edilmiştir. Etiketsiz veri kümesinden yararlanmak amacıyla bir izolasyon tabanlı karar ağacı ormanı (IForest) modeli üzerinde eğitim gerçeklenmiştir. Sistemin başarısını ölçmek amacıyla kesinlik, duyarlılık ve F1 başarımları dikkate alınmıştır. Patolojik görüntülerin yanlışlıkla sağlıklı olarak sınıflandırılmasını engellemenin daha önemli olmasından dolayı test başarımları izlenirken duyarlılık puanına dikkat edilmiştir. Gözetimsiz olarak eğitilen IForest modelinden alınan duyarlılık puanının, öznitelik çıkarımı amacıyla etikete sahip görseller ile eğitilen gözetimli sınıflandırıcı modelin duyarlılık puanından daha düşük olduğu görülmüştür. Bu başarıyı artırmak adına uygulanabilecek veri artırımı yaklaşımları incelenmiştir. Verinin şeklinin ve renk dağılımlarının önem arz ettiği medikal görüntülerde klasik görüntü işleme yöntemleri kullanılarak veri artırımı yapmanın uygun olmadığına karar verilmiştir. Bu nedenle veri artırımını sağlamak amacıyla toplanan görüntüler kullanılarak Gradyan Cezalı Wasserstein Çekkişmeli Üretici Ağları (Generative Adversarial Networks) (GAN), kademeli büyüyen GAN ve StyleGAN mimarileri ile yapay kulak zarı görüntüleri üretilmiştir. Üretilen görüntüler uzman doktorlar tarafından bir Görsel Turing Testi kullanılarak gerçek/yapay olacak şekilde oylanmıştır. En yüksek başarıma sahip GAN mimarisi seçildikten sonra üretilen farklı miktardaki yapay görüntüler orijinal görüntülere eklenerek gözetimsiz eğitim gerçeklenmiştir. Veri artırımı yapılmadan gerçeklenen eğitime kıyasla veri artırımı yapıldığında, duyarlılık başarımının 0.674'ten 0.895'e ve F1 puanının 0.641'den 0.684'e yükseldiği ancak kesinlik puanının 0.611'den 0.554'e düştüğü görülmüştür. Kesinlik puanındaki düşüşe kıyasla, patolojik görüntülerin doğru olarak sınıflandırılmasında önem arz eden duyarlılık başarısının 0.22 artması veri artırımı yaklaşımının etkili olduğunu göstermiştir. IForest modeli, EfficientNet-B6'ya kıyasla daha fazla yanlış alarm üretmesine rağmen patolojik görüntüleri daha yüksek başarımla yakaladığı için patolojik görüntü tespitinde doğruluk ihtiyacının daha önemli olduğu durumlarda kullanılabileceği düşünülmektedir.