Recurrent neural networks and reinforcement learning : dynamical approaches
Réseaux récurrents et apprentissage par renforcement : approches dynamiques
Résumé
An intelligent agent immerged in its environment must be able to bothunderstand and interact with the world. Understanding the environment requiresprocessing sequences of sensorial inputs. Interacting with the environmenttypically involves issuing actions, and adapting those actions to strivetowards a given goal, or to maximize a notion of reward. This view of a twoparts agent-environment interaction motivates the two parts of this thesis: recurrentneural networks are powerful tools to make sense of complex and diversesequences of inputs, such as those resulting from an agent-environmentinteraction; reinforcement learning is the field of choice to direct thebehavior of an agent towards a goal. This thesis aim is to provide theoreticaland practical insights in those two domains. In the field of recurrentnetworks, this thesis contribution is twofold: we introduce two new,theoretically grounded and scalable learning algorithms that can be used online.Besides, we advance understanding of gated recurrent networks, by examining theirinvariance properties. In the field of reinforcement learning, our maincontribution is to provide guidelines to design time discretization robustalgorithms. All these contributions are theoretically grounded, and backed upby experimental results.
D'un agent intelligent plongé dans le monde, nous attendons à la fois qu'ilcomprenne, et interagisse avec son environnement. La compréhension du mondeenvironnant requiert typiquement l'assimilation de séquences de stimulationssensorielles diverses. Interagir avec l'environnement requiert d'être capabled'adapter son comportement dans le but d'atteindre un objectif fixé, ou de maximiser une notion de récompense. Cette vision bipartitede l'interaction agent-environnement motive les deux parties de cette thèse :les réseaux de neurone récurrents sont des outils puissants pour traiterdes signaux multimodaux, comme ceux résultants de l'interaction d'un agentavec son environnement, et l'apprentissage par renforcement et le domaine privilégiépour orienter le comportement d'un agent en direction d'un but.Cette thèse a pour but d'apporter des contributions théoriques et pratiques dans ces deux champs.Dans le domaine des réseaux récurrents, les contributions de cette thèse sont doubles :nous introduisons deux nouveaux algorithmes d'apprentissage de réseauxrécurrents en ligne, théoriquement fondés, et passant à l'échelle. Parailleurs, nous approfondissons les connaissances sur les réseaux récurrentsà portes, en analysant leurs propriétés d'invariance. Dans le domaine del'apprentissage par renforcement, notre contribution principale est de proposerune méthode pour robustifier les algorithmes existant par rapport à ladiscrétisation temporelle. Toutes ces contributions sont motivéesthéoriquement, et soutenues par des éléments expérimentaux.
| Origine | Version validée par le jury (STAR) |
|---|