Improved extreme learning machines and applications
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, ELEKTRONİK VE HABERLEŞME MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2018
Tezin Dili: İngilizce
Öğrenci: MOHANAD ABD SHEHAB AL KARAWI
Danışman: Nihan Kahraman
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Aşırı Öğrenme Makineleri (AÖM) basit, hızlı ve hassas bir makine öğrenme algoritmasıdır, ancak iyileştirme için hala çok alan bırakır. Standart AÖM 'de, gizli düğümler rasgele bir şekilde ayarlanmadan rasgele başlatılır ve sabitlenir. Bununla birlikte, gizli katman nöronlarının optimal sayısı, bu sayının rasgele bir şekilde deneme ve hata ile başlatılmasının makul ölçüde tatmin edici olmadığı AÖM genelleme performansının anahtarıdır. Gizli katman boyutunun optimize edilmesi için Ayrı Bırakılan Çapraz Doğrulama (ABÇD) gibi farklı tekniklerin kullanılması, bir örnek dışında tüm veri seti üzerinde modelin tekrar tekrar eğitilmesi ve değerlendirilmesi nedeniyle maliyetlidir. Bu çalışmada, öncelikle optimum bir genelleme ve performans sağlayan minimum gizli katman boyutunu belirlemek için Optimum AÖM (OÜÖM) adı verilen verimli ve güvenilir bir yaklaşım geliştirilmiştir. Ayrıca, giriş verilerindeki rastlantısallık ve bağlantılı özellikler ile ilgili problemlerin üstesinden gelmek için, Tekil Değer Ayrışımı (TDA) ile ortogonal projeksiyonların yararlarını açıklayan bir başka yaklaşım önerilmiştir. Bundan sonra uzayı değiştirilmiş ÜÖM (UD- AÖM) olarak adlandırılan bu yaklaşım, ortalama doğrulukta % 2'den daha fazla ilerleme sağlar. Tikhonov Düzenleyici yöntemi ve TDA kullanarak matris hesaplamalarını düzenli hale getiren ve geliştiren ÜÖM (TD AÖM) ile kare kayıp cezası şeklinde yeniden yapılanma, bu çalışmaya en uygun aday olarak uygulanmıştır. En yinelemeli yöntemlerden farklı olarak, L-eğrisi, eğitim hatasını ve çıktı ağırlığının kalanını en aza indirgemek arasındaki dengeyi temsil eden esnek noktalara sahip bir eğri göstererek optimum regülasyon parametresini tahmin edebilir. Önerilen TDAÖM, küçük, orta ve büyük veri setleri olmak üzere üç farklı veri boyutuna dayanarak test edilmiştir. Basitlik, sağlamlık ve OAÖM ve UD-AÖM'in daha az zaman harcaması nedeniyle, bunların küçük ve hatta ılımlı verilerde kullanılması tavsiye edilir. TD AÖM, AÖM performansının, gizli düğümlerin boyutunu büyütmek için ihtiyaç duyduğunu göstermiştir. Sonuç olarak, büyük verilerde, TD AÖM'de artan gizli düğüm sayısı daha fazla doğruluk sağlayabilmek adına artmaktadır. Grafik Aşırı Öğrenme Makinesi (GAÖM) üzerinde sağlamlığı ve kompaktlığı geliştirmek için verimli yaklaşımları birleştiren L21-norm Regülasyonu (L21GAÖM) ile AÖM'nin yeni bir grafik taanlı AÖM geliştirilmiştir. Birçok lineer ve lineer olmayan alt uzay öğrenimi (AUÖ) yöntemleri, girdi mahalli piksellerin benzer özelliklerini azaltmak ve böylece sadece ayırt edici özellikleri ayıklamak için burada kabul edilmiştir. Aktivasyon fonksiyonlarının doğrusal olmayan haritalanması ve veri kümesindeki yerel tutarlılık özelliklerini bozabilecek bazı AUÖ yaklaşımları nedeniyle, grafik Laplacian, genel modelin geliştirilmesi için içsel yapının sınıf benzerlik avantajlarından yararlanmak için bir talep olarak optimizasyon fonksiyonuna müdahale eder. Son olarak, ilgisiz özellikleri ortadan kaldırmak ve aykırı etkilerini azaltmak için L21-norm optimizasyon problemini çözmek için kanıtlanmış yakınsama ile yinelemeli bir algoritma yer almıştır. Sonuçlar, L21GAÖM'nin diğer AÖM değişkenlerinden daha genel ve doğru (ortalama doğrulukta % 3'ten fazla ilerleme) olduğunu, ayrıca iyi özellik seçimi ve gürültülü ortamlara karşı daha az hassas olan büyük ölçekli veri sorunlarının üstesinden gelebileceğini göstermiştir. AÖM'nin kompaktlığını tam olarak değerlendirmek, gizli katman düğüm sayısı, ağırlık ve önyargı değerlerindeki rastlantısallık nedeniyle zordur. Elde edilen rastlantısallığı azaltmak için, AÖM 'nin aşırı yükü ve büyük bir varyansı olan, (SAOAÖM) adlı Düzenlenmiş AÖM'ye dayanan bir seçici Ağırlıklı Oylama modeli (AOMDAÖM) incelenmiştir. Doğruluk, varyans ve zaman tüketimi de dahil olmak üzere genel performansı güçlü bir şekilde artırabilir. Ayrı Bırakılan Çapraz Doğrulama yöntemini kullanarak DAÖM'nin düzenli hale getirme parametresini optimize etmek zaman alıcı bir yaklaşımdır. Böylelikle, düşük insan müdahalesi ile yavaş uygulama sorununu ele almak için Tekil Değer Ayrıştırma'yı kullanan verimli tahminle kareler toplamı kriterleri önerilmiştir. Ayrıca, ayırt edici parametreler üretme ve en uygun toplulukları seçebilme yeteneği sayesinde girdi ağırlığı matrisi için özdeğerlere dayanan basit bir topluluk budama yaklaşımı geliştirilmiştir. Bir avantaj olarak, bu tezde, temel sınıflandırıcılar için ağırlıkların atanması aynı PRESS hata metriğine ve DAÖM için kullanılan çıktı ağırlık vektörü (β) çözümlerine dayandırılmış, bu sayede hesaplama maliyeti ve yer gereksinimini azaltılabilmiştir. Sonuçlar, AOMDAÖM 'in ortalama doğruluğunun, düşük varyanslı, diğer ELM türlerine göre yaklaşık % 3 daha yüksek olduğunu, ABÇD ile DAÖM'den 2.8 kat daha hızlı olduğunu göstermiştir. Yüz ifadesi ve nesne tanıma yanı sıra farklı son teknoloji öğrenme yaklaşımları gibi çeşitli tanınmış kıyaslama verileri incelenmiş ve önerilen yaklaşımlarla karşılaştırılmıştır. Sonuç olarak, eğitim verisinde çeşitli özellik alanları tarafından ele alınan veri sunumları, diğer ilgili popüler algoritmalara kıyasla sınıflandırma verimliliğini önemli ölçüde artırmıştır.