MOSAIC Araştırma Grubu olarak, yeni çalışmamızın IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing (JSTARS) dergisinde yayımlandığını duyurmaktan memnuniyet duyuyoruz:

📌 Robust Change Captioning in Remote Sensing: SECOND-CC Dataset and MModalCC Framework

🔗 https://ieeexplore.ieee.org/document/11130644

Bu çalışma, mevcut uzaktan algılamada değişim özetleme (RSICC) yöntemlerinin çoğu zaman zorlandığı bulanıklık, aydınlatma farkları, bakış açısı değişimi ve çözünürlük farkı gibi gerçek dünya problemlerine odaklanmaktadır. Bu amaçla, MOSAIC Araştırma Grubu tarafından, yüksek çözünürlüklü RGB görüntü çiftleri, semantik segmentasyon haritaları ve her çift için beş cümleden oluşan toplam 6041 görüntü çifti ve 30 205 betimleme içeren SECOND-CC veri kümesi sunulmuştur. Veri, hem değişim hem de değişim-yok örneklerini ve 28 farklı değişim kategorisini içeriyor.

Önerilen MModalCC mimarisi, RGB ve semantik haritaları için ikiz kodlayıcılar ile çapraz-modlu çapraz dikkat (CMCA), tek-modlu fark dikkati (UDCA) ve çok modlu kapılı çapraz dikkat (MGCA) tabanlı çözücüden oluşmaktadır. Ayrıca, gürültülü semantik çıktılarla baş edebilmek için semantik değişim belirleyici entegre edilmiştir.

Deneyler, MModalCC’nin SECOND-CC üzerinde RSICCformer, Chg2Cap ve PSNet’e göre metriklerde yüksek artış sağladığını ve benzer bir veri seti olan LEVIR-MCI üzerinde yapılan deneylerde güncel yöntemleri belirgin şekilde geçtiğini göstermektedir.