Devenir Atari Pong master grâce à l’apprentissage par renforcement

29 mars. 2018

Qu’est-ce que l’apprentissage par renforcement ?

L’apprentissage par renforcement est utilisé dans l’intelligence artificielle pour enseigner aux ordinateurs comment prendre de meilleures décisions en fonction des récompenses qu’ils reçoivent.

En d’autres termes, l’apprentissage par renforcement, c’est un peu comme apprendre à faire quelque chose en obtenant des récompenses pour ses actions.

En trading par exemple, on évalue quelle stratégie va maximiser les récompenses qui sont le retour sur investissement. Les récompenses peuvent être obtenues longtemps après une action.

Autre exemple, avec un jeu d’échec, on peut obtenir des récompenses mieux que ce qu’on aurait pu jouer simplement en sacrifiant des pièces pour jouer un meilleur coup.

En apprentissage par renforcement, on crée une politique qui définit l’action qui maximisera les récompenses lorsqu’une action sera exécutée en fonction de l’état du système.

Atari Pong

Pour coder mon réseau de neurones et faire de l’apprentissage par renforcement sur un cas pratique et simple, j’ai utilisé le framework OpenAI gym.

“Gym is a toolkit for developing and comparing reinforcement learning algorithms”

Ce framework permet d’intéragir avec des jeux basiques Atari. J’ai choisi le jeu Atari Pong pour implémenter mon algorithme gradients de politique.

Voici 2 vidéos que j’ai enregistré qui montrent des parties jouées entre un agent qui est l’ordinateur et un agent qui est piloté par un réseau de neurones.

• Dans la première vidéo, le réseau de neurones n’a pas encore été entraîné.

• Dans la seconde vidéo, le réseau de neurones a été entraîné pendant des jours avec un algorithme policy gradients.