Derin Pekiştirmeli Öğrenme 

Bal M.

  • Dersin Düzeyi: Yüksek Lisans
  • Tasarlanan Ders Kodu: MTM5137
  • Öğretim Türü: Örgün Öğretim (Normal Öğretim)
  • Dersin Kapsamı: Teorik
  • Akademik Yıl: 2023 - 2024
  • Ders İçeriği:

    Ders kapsamında pekiştirmeli öğrenmenin temel kavramları ile derin öğrenme yöntemlerinin birleştirilmesiyle oluşturulan derin pekiştirmeli öğrenme (Deep Reinforcement Learning) yaklaşımları ele alınmaktadır. Dersin başlangıcında pekiştirmeli öğrenmenin temel yapısı, Markov Karar Süreçleri (MDP), durum, eylem, ödül, politika ve değer fonksiyonları kavramları incelenmektedir. Ardından Bellman denklemleri, dinamik programlama, Monte Carlo yöntemleri ve Temporal Difference (TD) öğrenme yaklaşımları ele alınmaktadır. Dersin devamında Q-Learning ve SARSA gibi model-free öğrenme yöntemleri incelenerek derin sinir ağlarının değer fonksiyonlarının ve politikaların modellenmesinde kullanılması üzerinde durulmaktadır. Bu kapsamda Deep Q-Network (DQN), Experience Replay, Target Network, Double DQN ve Dueling DQN gibi yöntemler ayrıntılı olarak incelenmektedir. İlerleyen haftalarda politika tabanlı yöntemler, Policy Gradient, REINFORCE, Actor-Critic yöntemleri ve Proximal Policy Optimization (PPO) ele alınmaktadır. Ayrıca keşif–sömürü (exploration–exploitation) dengesi, örnek verimliliği, kararlılık, ödül tasarımı ve hiperparametre seçimi gibi derin pekiştirmeli öğrenmenin temel problemleri tartışılmaktadır.

    Dersin ileri bölümünde model-tabanlı pekiştirmeli öğrenme, çok adımlı öğrenme, hiyerarşik pekiştirmeli öğrenme, Offline Reinforcement Learning, Multi-Agent Reinforcement Learning ve güncel araştırma konuları ele alınabilmektedir. Ayrıca AlphaGo/AlphaZero gibi örnekler üzerinden derin pekiştirmeli öğrenmenin oyunlar, robotik, kontrol, otonom sistemler ve diğer gerçek dünya problemlerindeki uygulamaları incelenmektedir.

    Kaynaklar: 

    1. Hao Dong, Zihan Ding, Shanghang Zhang et al., Deep Reinforcement Learning: Fundamentals, Research and Applications, Springer, 2020.

    2. Sutton, R. S.,  Barto, A. G., Reinforcement Learning: An Introduction, 2nd Edition, MIT Press.