Белорусский национальный технический университет
Repository of the Belarusian National Technical University
ISSN: 2310-7405
Repository of the Belarusian National Technical University
View Item 
  •   Repository BNTU
  • Сериальные издания
  • Системный анализ и прикладная информатика
  • 2024
  • № 4
  • View Item
  •   Repository BNTU
  • Сериальные издания
  • Системный анализ и прикладная информатика
  • 2024
  • № 4
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Complexification through gradual involvement and reward providing in deep reinforcement learning

Thumbnail
DOI
10.21122/2309-4923-2024-4-13-20
Authors
Rulko, E. V.
Date
2024
Publisher
БНТУ
Another Title
Усложнение посредством постепенного вовлечения и предоставления вознаграждения в глубоком обучении с подкреплением
Bibliographic entry
Rulko, E. V. Complexification through gradual involvement and reward providing in deep reinforcement learning = Усложнение посредством постепенного вовлечения и предоставления вознаграждения в глубоком обучении с подкреплением / E. V. Rulko // Системный анализ и прикладная информатика. – 2024. – № 4. – С. 13-20.
Abstract
Training a relatively big neural network within the framework of deep reinforcement learning that has enough capacity for complex tasks is challenging. In real life the process of task solving requires system of knowledge, where more complex skills are built upon previously learned ones. The same way biological evolution builds new forms of life based on a previously achieved level of complexity. Inspired by that, this work proposes ways of increasing complexity, especially a way of training neural networks with smaller receptive fields and using their weights as prior knowledge for more complex successors through gradual involvement of some parts, and a way where a smaller network works as a source of reward for a more complicated one. That allows better performance in a particular case of deep Q-learning in comparison with a situation when the model tries to use a complex receptive field from scratch.
Abstract in another language
Тренировка нейронной сети, в рамках задач обучения с подкреплением, имеющей достаточную вычислительную емкость для решения сложных задач достаточно проблематична. В реальной жизни процесс решения задач требует системы знаний, где процесс изучения более сложных навыков основывается на использовании уже имеющихся. Аналогично, в ходе биологической эволюции, новые формы жизни базируются на достигнутом на предыдущем этапе уровне структурной сложности. Используя данные идеи, в настоящей работе предложены способы увеличения сложности архитектуры нейронных сетей, в частности способ тренировки сети с меньшем рецептивным полем и использованием натренированных весов в качестве отправной точки для более сложных сетей через постепенное вовлечение некоторых частей, а также способ предполагающий использование более простой сети с целью предоставления вознаграждения для более сложной. Это позволяет получить лучшую производительность в конкретном описанном примере, использующем Q-обучение, по сравнению со сценариями, когда сеть пытается использовать больший вектор входной информации с нуля.
URI
https://rep.bntu.by/handle/data/151583
View/Open
13-20.pdf (2.272Mb)
Collections
  • № 4[8]
Show full item record
CORE Recommender

Belarusian National Technical University | Science Library | About Repository | Размещение в Репозитории | Contact Us
Яндекс.МетрикаIP Geolocation by DB-IP
Science Library | About Repository | Размещение в Репозитории | Contact Us
 

Browse

All of Repository BNTUCommunities & CollectionsAuthorsTitlesBy Issue DatePublisherBy Submit DateTypeThis CollectionAuthorsTitlesBy Issue DatePublisherBy Submit DateType

My Account

LoginRegister

Belarusian National Technical University | Science Library | About Repository | Размещение в Репозитории | Contact Us
Яндекс.МетрикаIP Geolocation by DB-IP
Science Library | About Repository | Размещение в Репозитории | Contact Us