Control of autonomous mobile robots using reinforcement learning

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, MEKATRONİK MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2019

Tezin Dili: İngilizce

Öğrenci: CELALETTİN DOĞUKAN ENGİN

Danışman: Aydın Yeşildirek

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Modern robotlar; nesneleri yönetmek, uzmanlara yardım etmek, bilinmeyen bölgelerde gezinmek ve buraları keşfetmek gibi zor görevler için tasarlanmışlardır. Robotların bu görevleri yerine getirmesi için klasik bir kontrol algoritması tasarlamak ise oldukça karmaşık bir işlemdir. Tasarımcı, robotun karşılaşabileceği tüm olasılıkları ve durumları göz önünde bulundurmalıdır. Bu zaman alıcı bir süreç olup, algoritma tasarımcısının bilinmeyen bir çevre için tüm olasılıkları göz önünde bulundurabilmesi açısından çok da makul ve gerçekleştirilebilir olmayan bir iştir. Bu nedenle, bir robotun akla gelebilecek tüm olasılıklara göre yapması gereken görevler için önceden programlanması işine kıyasla, robotların bu tür görevleri ve olasılıkları kendi başına öğrenmesi daha iyi bir çözüm olarak karşımıza çıkmaktadır. Modern robotların kendi kendilerini eğitmesi için en kullanışlı yöntemlerden biri pekiştirmeli öğrenmedir. Yapılan çalışma; Q tipi öğrenme, Durum Aksiyon sonraki Durum sonraki Aksiyon(SARSA), Derin Q Ağı(DQN) ve Bulanık Kural Interpolasyonu Temelli Q tipi öğrenme(FRIQ) gibi farklı pekiştirmeli öğrenme algoritmalarının, bir robot modelinin iki boyutlu bir labirent ortamında başlangıç noktasından hedefe ulaşana kadar geçen toplam zaman ve adım sayısına bağlı olarak performans kıyasını içermektedir. Bu amaçla iki adet elektrik motorunun direk olarak iki arka tekerleği tahrik ettiği ve bu tekerleklerin tek bir şaside birleştiği diferansiyel sürüşlü bir mobil robotun Simulink ortamında modeli geliştirildi. Daha sonra bu robot modeli iki boyutlu bir labirentin içine yerleştirildi. Bu çalışma, robotun dinamik ve kinematik analizlerini, takometre, yönelim açısı ve yakınlık sensörlerinin modellenmesini içermektedir. İki farklı elektrik motorunun hız kontrolü yine farklı kontrolcüler tarafından kendi üzerlerine takılı olan takometrelerin geri beslemeleri ile yapılmıştır. Yönelim açısı sensörünün geri beslemesi sayesinde robot oryantasyonunun kontrolü gerçekleştirilmiştir. Robot, etrafındaki nesnelere olan mesafesini belirlemek için yakınlık sensörleriyle 45 derecelik açıyla her yöne olacak şekilde donatılmıştır. Her bir yakınlık sensörünün geri beslemesi sayesinde, robot bulunduğu durumu tespit eder ve pekiştirmeli öğrenme algoritmaları vasıtasıyla kendini her yeni adımda eğiterek içerisinde bulunduğu çevreyi keşfeder. Anahtar kelimeler: yapay zeka, pekiştirmeli öğrenme, otonom robot, kontrol.