Fusion of dynamic and static features in signature verification
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, ELEKTRONİK VE HABERLEŞME MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: İngilizce
Öğrenci: MUSTAFA SEMİH SADAK
Asıl Danışman (Eş Danışmanlı Tezler İçin): Nihan Kahraman
Eş Danışman: Umut Uludağ
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Biyometri alanında, bireylerin el yazısı imzalarıyla başarılı bir şekilde doğrulanması, sınıf içi yüksek ve sınıflar arası düşük değişkenliğin olması nedeniyle en zorlu yöntemlerden biridir. Bu tezde, bu zorluğun üstesinden gelinmesine yardımcı olmak için, imzalama sırasında kağıt ve kalemin sürtünmesiyle ortaya çıkan ses, ayrı bir biyometrik veri olarak değerlendirilmiştir. Literatürde, GPDS ve MCYT gibi bazı erişime açık veri tabanları yalnızca statik imza görüntüleri içerir. Ancak bu çalışma için gerekli olan ses verilerini içeren erişime açık bir veri tabanı bulunmamaktadır. Bu nedenle, bu çalışmada 93 katılımcıdan örnekler toplanarak orijinal ve sahte imzalardan oluşan yeni bir veri tabanı sıfırdan oluşturulmuştur. Her katılımcıdan iki farklı kalem türü kullanarak iki farklı kağıt türüne imza atması istenmiştir. Her bir kağıt-kalem kombinasyonu için dört imza alınmıştır. Her imzadan çıkan ses, ayrı işletim sistemlerine sahip iki farklı cep telefonu modelinin dahili mikrofonları ile kayıt altına alınmıştır. Sonuçta imza sesleri ve bu seslere karşılık gelen imza görüntülerinden oluşan bir veri seti üretilmiştir. Bu iki veri tipi (imza sesi ve imza görüntüsü) hem birlikte hem de ayrı ayrı olarak biyometrik imza doğrulama için değerlendirilmiştir. Öznitelik çıkarma aşaması için ses verilerinin spektral akı başlangıç zarfı ve spektral merkez grafikleri çizilmiş ve bu grafikler görüntü (image) formatına dönüştürülmüştür. Bu görüntü dosyalarından yerel ikili desenler (LBP) ve ölçek değişmez özellik dönüşümü (SIFT) algoritmaları ile dinamik ses verilerini temsil eden özellik vektörleri elde edilmiştir. Statik imza görüntülerinin öznitelik vektörleri de LBP ve SIFT algoritmaları ile elde edilmiştir. Sınıflandırıcı olarak, tek-sınıf destek vektör makinesi (OC-SVM), her kullanıcıdan alınan orijinal imzalarla eğitilmiştir. Sahte imza örnekleri sadece test için kullanılmıştır. Bu çalışmada alternatif olarak önerilen ikinci yaklaşımda (derin öğrenme tabanlı), LBP ve SIFT yerine evrişimsel sinir ağları (CNN) tabanlı bir derin öğrenme algoritması ile öznitelik çıkarımının gerçekleştirildiği bir imza doğrulama sistemi geliştirilmiş ve derin öğrenme tabanlı olmayan (sığ) yaklaşımla karşılaştırılmıştır. İmza doğrulama yalnızca dinamik imza ses verileri, yalnızca statik imza görüntü verileri ve hem ses hem de görüntü verilerinin birleştirilmesiyle gerçekleştirilmiştir. Kullanılan farklı kalem-kağıt-telefon modeli kombinasyonlarına göre, yalnızca ses verileri kullanılarak elde edilen eşit hata oranları (EER), sığ öğrenme tabanlı yaklaşım için %1.08-5.38 (Ortalama: 3.02%) aralığında ve derin öğrenme tabanlı yaklaşım için %1.94-5.59 (Ortalama: 3.48%) aralığında olmuştur. Ayrıca, ses ve görüntünün birleştirilmesinin, sığ öğrenme tabanlı yaklaşımda %0.00-1.08 (Ortalama: 0.29%) EER aralığına ve benzer şekilde derin öğrenmeye dayalı yaklaşımda %0.00-2.15 (Ortalama: 0.67%) EER aralığına doğrulama başarısını yükselttiği gözlemlenmiştir.