Yapay Zeka ile Kültürel Miras için Sürdürülebilir Hasar Tespiti ve İzleme Sistemi


Bakırman T. (Yürütücü), Bayram B., Akpınar B., Doran B., Berilgen M. M., Yüzer N.

TÜBİTAK Projesi, 2022 - 2024

  • Proje Türü: TÜBİTAK Projesi
  • Başlama Tarihi: Mayıs 2022
  • Bitiş Tarihi: Mayıs 2024

Proje Özeti

Kültürel miras, bir toplumun mimarisini, sosyal yapısını, gelişimini ve yaşam tarzını yansıtır. Afetlere, iklim değişikliğine, turizme ve insan eylemlerine karşı hassas olduklarından, kültürel anıtların korunması ve sürdürülebilir yönetimi için hasarların tespiti ve izlenmesi hayati önem taşımaktadır. Tarihi ve doğal mirasın gelecek nesillere aktarılması ve dünya mirasının korunması için tarihi ve doğal mirasın sürdürülebilir izlenmesi ve yeni teknolojilerle hasarların tespitine yönelik sistemlerin geliştirilmesine ihtiyaç vardır.
Kapodakya Bölgesi sadece ülkemiz açısından değil aynı zamanda dünya ölçeğinde eşi bulunmayan doğal ve tarihi mirasa sahiptir. Kapadokya Bölgesi’ndeki yaklaşık 100 km2 doğal oluşum parkı ve 6 farklı tarihi yapı kompleksi 1985 yılında Birleşmiş Milletler Eğitim, Bilim ve Kültür Örgütü (UNESCO) tarafından Dünya Miras Listesi’ne alınmış, böylece bölgenin binlerce yıllık doğal, tarihi ve kültürel değerine üstün evrensel değer de eklenmiştir. Dünyada olduğu gibi bölgede de olumsuz etkisini gösteren küresel ısınmanın yanında, bölgede insan kaynaklı kaya oymacılık faaliyetleri nedeniyle milyonlarca tona ulaşan volkanik atığın oluşması ve değerlendirilmemesi bir dünya miras alanı olan Kapadokya’daki doğal ve tarihi eserlerin sürdürülebilirliğini olumsuz yönde etkilemektedir. Bu nedenle, kültürel ve doğal mirasın korunması amacıyla bölgedeki hasarların tespiti ve sürdürülebilir izlenmesi önem kazanmaktadır. Bu amaç için en etkili ve kullanışlı veri kaynaklarından biri 3-Boyutlu (3B) nokta bulutudur. Yersel lazer tarayıcılar 3B nokta bulutu üretiminde yaygın kullanılan bir teknik olmasına rağmen, maliyetli ve zaman alıcı bir arazi çalışması süreci gerektirdiğinden dolayı, geniş alanlarda uygulanması sürdürülebilir olmamaktadır. Oysa günümüzde insansız hava araçları (İHA), yersel kamera ve mobil lidar sistemler ile yüksek doğrulukta ve ekonomik veri üretilebilmektedir. Sunulan proje kapsamında Kapadokya’da gerekli izinlerin temin edildiği kaya oyma-yığma yapı ve doğal oluşumun kaya (peribacası), ek olarak bir cami ve bir kilisenin düşük maliyetli araçlar ile yapay zeka temelli yaklaşımlar kullanılarak kültürel mirasın sürdürülebilir hasar tespiti ve izlenmesine yönelik bir sistem geliştirilecektir. Düşük maliyetli İHA ve yersel kameralar ile elde edilen görüntüler kullanılarak fotogrametrik yöntemler ile 3B modelleri üretilecektir. Uçuşun mümkün olmadığı veya aydınlanma koşullarının fotogrametrik yöntemler için uygun olmadığı koşullarda ise SLAM teknolojisine dayalı mobil lidar kullanılacaktır.
Proje kapsamında, tarihi yapılardaki taş konturlarının ve çatlakların otomatik olarak çıkarılması için daha önceden bölge taşlarıyla ve bölgeden temin edilen atık malzemelerle üretilen model duvar çizimleri ve veri setlerindeki dengeyi oluşturmak için diğer mimari çizimler kullanılarak kültürel miras kontür ve çatlak detaylarına özgü etiketlenmiş 2B ve 3B veri setinin üretilmesidir. Projenin en önemli ve özgün çıktılarından biri, görüntü ve 3B nokta bulutlarından otomatik olarak kontür ve çatlakların tespitine olanak sağlayacak özgün, YTU-CHNet2D ve YTU-CHNet3D iki farklı derin öğrenme modeli geliştirilecektir. Bu amaçla, kenar çıkarma konusunda literatürde başarılı sonuçlar sunan, görüntü verileri için DexiNed ve RCF, 3B nokta bulutu verileri için JSENet ve PIE-NET mimarilerinde yapısal değişiklikler ile probleme özgü yeni mimariler üretilmiş olacaktır. Geliştirilecek mimarilerin sadece proje alanı için değil ülkemiz ve dünyadaki tarihi mirasın sürdürülebilir hasar tespiti ve izlenmesi için kullanılabilmesi öngörülmektedir.