Akademik Veri Yönetim Sistemi
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: Türkçe
Öğrenci: ONUR CAN KURBAN
Danışman: Tülay Yıldırım
Özet:
Son yıllarda insan davranışının analizi en popüler araştırma alanlarından biri haline
gelmiştir. Bu analiz, ölçülebilir davranışsal ve fiziksel hareket bilgilerini kullanarak
insanların belirli bir zaman aralığındaki davranışlarını anlamayı amaçlar. Davranış
analizi, gözlemin zamanına bağlı olarak hareketler, jestler, etkileşimler, etkinlik veya
kişi tanıma ve doğrulama olarak sınıflandırılır. Bu analiz sadece bir kişinin davranışını
değil, aynı zamanda kişilerarası etkileşimleri ve kişiler-nesne arasındaki etkileşimi
de araştırır. İncelenen davranışsal hareketler ayrıca üst veya alt beden, el veya
kol hareketleri ve yüz ifadeleri gibi alt kategorilere ayrılabilir. Karmaşık insan
aktivitelerinin tanınması, bazı önemli uygulamaların gerçekleştirilmesini mümkün
kılar. Anormal faaliyetleri tespit etmek için havaalanları ve metro istasyonları gibi
halka açık yerlerde otomatik gözetim sistemleri; hastaların, yaşlıların ve çocukların
gerçek zamanlı izlenmesi; jest tabanlı insan-bilgisayar arayüzleri; ve görüntüleme
tabanlı akıllı ortamlar bu uygulamalara örnektir.
Bu çalışmanın ilk aşamasında, hareket boyunca meydana gelen değişikliklere göre
oluşturulan, hareketteki değişimleri daha çok ortaya koyabilecek yeni bir enerji
görüntüsü yöntemi üzerinde araştırma yapılmıştır. Buna ek olarak davranışsal
biyometrinin çoklu biyometri performansı üzerindeki etkileri incelenmiştir. Bu
araştırmalar sonucunda RGB-D verilerinden elde edilen maskelenmiş derinlikli video
akışlarındaki hareket dizisi bilgisine dayalı olarak eylem tanıma ve kişi tanımlama için
yeni bir enerji görüntüsü oluşturma yaklaşımı önerilmiştir. Önerilen yöntemde, bir
hareket dizisi sırasında meydana gelen değişiklikleri belirlemek için ilk kare referans
alınmakta ve tüm kareler arasındaki korelasyon katsayıları hesaplanmaktadır. Elde edilen katsayılar, harekete uyumlu bir zamansal şablon oluşturmak için kullanılır.
Adaptif zamansal şablon olarak adlandırılan bu fonksiyon tarafından oluşturulan
enerji görüntüleri, belirli dönemleri vurgulayan literatürdeki mevcut zamansal
şablonlara kıyasla hareketleri daha iyi bir temsil edebilecektir. Bu şekilde, enerji
görüntülerinde eylemlerin daha iyi temsil edilmesini sağlayan ve birden fazla TT’nin
füzyon ihtiyacını ortadan kaldırdığı için işlem maliyetini azaltan pratik bir yöntem
önerilmiştir. Ayrıca RGB-D tabanlı çalışmalar literatürde daha çok hareket tanıma için
kullanılmaktadır. Bu çalışmadaki bir diğer katkı da, mevcut ve önerilen yöntemlerin
hareketten kişi tespiti içinde incelenmiş olmasıdır.
Tez kapsamında önerilen fonksiyonla oluşturulan enerji görüntüleri, daha fazla
değişime sahip hareket aralıklarını vurgularken, daha az değişime sahip aralıklar
bastırır. Ayırt edici özellikleri anlamak için, önerilen fonksiyon kullanılarak elde edilen
enerji görüntüleri, evrişimli sinir ağlarına ve farklı hand-crafted sınıflandırıcılara girdi
olarak verilmiştir. Önerilen yöntem BodyLogin, NATOPS ve SBU Kinect veri setleri
üzerinde gözlemlendi ve mevcut yöntemlerle karşılaştırıldı. Bunun dışında davranışsal
ve enerji görüntüsü verilerinin çoklu-biyometri üzerindeki etkilerini incelemek için
davranışsal, termal ve fiziksel verilerden oluşan yeni bir veri seti oluşturulmuş ve
önerilen yöntem bu yeni veri seti üzerinde test edilmiştir.
Elde edilen sonuçlar, önerilen adaptif zamansal şablon yönteminin, literatürde
mevcut olan şablonlara kıyasla daha yüksek performans ve daha kısa işlem süresi
sağladışını göstermektedir. Kişi tanımlama sonuçları, RGB-D sensörleri ile elde edilen
görüntülerin kişi tanımlaması için etkin bir şekilde kullanılabileceğini göstermiştir.