Instant-NeRF’e Dayalı 3B Modelleme Çalışmaları Üzerine Bir Araştırma


Polat A., Tunalıoğlu N., Altuntaş C., Doğan A. H., Öcalan T.

Türkiye Ulusal Fotogrametri ve Uzaktan Algılama Birliği (TUFUAB) XII. Teknik Sempozyumu, Sivas, Türkiye, 24 - 26 Mayıs 2023, ss.1

  • Yayın Türü: Bildiri / Özet Bildiri
  • Basıldığı Şehir: Sivas
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.1
  • Yıldız Teknik Üniversitesi Adresli: Evet

Özet

Dijitalleşme sürecinde hem donanım hem de yazılım konularında hızlı bir teknolojik gelişimin yaşandığı ve dijital ikiz üretimi görselleştirme konularının hemen hemen tüm disiplinlerde önem kazandığı günümüzde, yüksek çözünürlüklü 3 boyutlu (3B) modellerin üretilmesinde yeni gelişmeler yaşanmaktadır. Birçok meslek bu çerçevede yeni bir mesleki kimlik ve vizyon tanımlaması yapmaktadır. Özellikle, sanal/arttırılmış gerçeklik kavramları altında, sağlık, turizm, mimarlık, inşaat, enerji sistemleri vb. birçok alanda sistem analizleri ve durum tespitlerinin yapılabilmesinde, ürün tasarımı ve geliştirilmesinde yüksek doğrulukta 3B modellere ihtiyaç duyulmaktadır. Bu bağlamda, son birkaç yılda 2 boyutlu görüntüler ile 3B modelleme arasındaki bağlantıyı doğrudan sinir ağlarını kullanarak sağlayan NeRF (Neural Radiation Field) yöntemi, farklı bir alternatif yaklaşım olarak ön plana çıkmıştır. Yöntemin geliştirilmiş olan Instant-NeRF yaklaşımı ise farklı amaçlı araştırmalarda ön plana çıkmaktadır. Buradan yola çıkarak gerçekleştirilen araştırmada, 3B modelleme uygulamalarında yeni bir yaklaşım olan makine öğrenmesi tabanlı Instant-NeRF yönteminin performansı incelenmiştir. Çalışmada öncelikle detay düzeyleri farklı 3 nesnenin, görüntüleri elde edilmiştir. Görüntü sayılarının modelleme performansına etkisini ortaya koymak için yeniden örnekleme yöntemi (jack-knifing resampling) ile %20, %40, %60, %80 ve %96 oranlarında azaltma yapılarak farklı veri setleri oluşturulmuştur. Hareketten Nesne Oluşturma (Structure-from-Motion, SfM) yöntemi ile elde edilen nokta bulutları referans alınarak, Instant-NeRF yöntemi ile oluşturulan mesh modellere olan ortalama mesafeler üzerinden bir değerlendirme yapılmıştır. Çalışma sonucunda elde edilen bulgular dikkate alındığında, halen geliştirilme aşamasında olan Instant-NeRF yöntemine dayalı 3B modelleme çalışmalarının gelecek pratik uygulamalardaki etkinliğinin ve kullanım potansiyelinin yüksek olduğu görülmektedir.

In today, the new developments in high-resolution 3 dimensional (3D) model generation have been experienced since the rapid technological development in both hardware and software in the process of digitalization and digital twin production visualization studies have gained importance in almost all disciplines. Several professions define a new professional identity and vision within this framework. Specifically, under the concepts of virtual/augmented reality, high-accurate 3D models are required in many fields such as health, tourism, architecture, construction, energy systems, etc. for system analyses and assessments, product design and development. In this context, NeRF (Neural Radiation Field) method, which provides the connection between 2D projection view and 3D modelling directly using neural networks, has come to the fore as a different alternative approach in the last few years. The Instant-NeRF approach (an improved version of NeRF) comes to the forefront in research for different purposes. Starting from this point, in this research the performance of the machine learning based Instant-NeRF method, which is a new approach in 3D modelling applications was investigated. First, images of 3 objects with different levels of detail were obtained. In order to reveal the effect of the number of images on modelling performance, different data sets were created by reducing the number of images by 20%, 40%, 60%, 80% and 96% with jack-knifing resampling method. Referring the point clouds obtained with the Structure-from-Motion (SfM) method, an evaluation was performed on the average distances to the mesh models created with the Instant-NeRF method. Considering the results, it can be concluded that 3D modelling studies based on the Instant-NeRF method, which is still under development, have a high effectiveness and potential for use in future practical applications.