RCP211 | Intelligence artificielle avancée

Programme

Apprentissage par renforcement. Les méthodes d'apprentissage par renforcement sont de toute première importance pour la prise de décision en contexte incertain, avec des applications pour la théorie des jeux (e.g. récents succès des IA au Go), la robotique, ou le domaine financier. D'un point de vue technique, le contenu des cours proposés est le suivant :


- Processus de décision Markoviens : définition, valeur d'un plan, algorithme value-iteration, algorithme policy-iteration, epsilon-greedy. TP MDP Gridworld avec q-values et epsilon greedy policy

- Approximation pour les MDP dont l'espace des state-actions est trop grand: besoin d'une fonction d'approximation, réseaux de neurones pour approximer la q-function (DQN). Implémentation DQN et comparaison avec les méthodes précédentes, améliorations récentes du DQN (Mnih et al 2015): Double DQN, Experience replay.

- Policy methods, Monte Carlo methods, Algo REINFORCE, Actor-Critic. TP Actor-Critic

- Méthodes avancées, gestion du parallélisme et des problèmes continus.



Modèles génératifs. Les méthodes génératives constituent actuellement une thématique très porteuse pour rendre les machines capables de produire artificiellement des données réalistes, comme les images ou l'audio. Ceci offre des applications très nombreuses dans les domaines de la synthèse d'images (films, animation, édition multi-média), la réalité augmentée (robotique, domotique, films, jeux vidéos), ou pour la création de jeux de grandes masses de données synthétiques nécessaires à l'entraînement des modèles de deep learning. Le contenu consiste en une présentation des modèles de l'état de l'art récents :


- Variational Auto-Encoders (VAE). Formulation mathématique variationnelle de l'apprentissage non supervisé, passage au VAE conditionnels. Applications pour générer des images ou des données audio.

- Modèles génératifs adversaires. Présentation de la formulation très différente des approches classiques en machine learning et basée sur la théorie des jeux. Description de l'entraînement avec un générateur et un discriminateur. Intérêt de l'approche de générer des données "sharp" (non floues). Présentation des toutes dernières variantes pour stabiliser l'apprentissage (gradient clipping, Wassersetin-Gans, etc)



Robustesse et incertitude décisionnelle. Cette partie aborde des domaines de recherche récents de l'intelligence artificielle qui visent à rendre les modèle d'IA fiables - une faiblesse connue des modèles état de l'art de deep learning par exemple. L'objectif est d'étudier comment améliorer la fiabilité de ce systèmes de prise de décision, ce qui est absolument primordial pour les faire pénétrer dans des domaines applicatifs hors de portée actuellement : ceci est en particulier crucial lorsque que la prise de décision revêt des enjeux de santé ou de sécurité publique (diagnostic médical, conduite et pilotage autonome, défense et sécurité, etc). Le contenu du cours est le suivant :


- Contexte et importance de la robustesse (incertitude, stabilité, attaques adversaires). Justification de l'absence de robustesse des modèles état de l'art actuel en IA, notamment les modèles de deep learning.

- Incertitude décisionnelle : réseaux de neurones Bayesian et travaux récents (eg dropout as Bayesian approximation)

- Stabilité décisionnelle : fonctions d'influences, scattering operators, capsule networks

Objectifs : aptitudes et compétences

L'objectif est de transmettre les cadres méthodologiques et les outils logicielles utiles pour déployer et comprendre les fonctionnement des modèles d'IA modernes. Il s'adresse notamment aux cadres, ingénieurs, data scientists, chefs de projets et chercheurs dans des domaines applicatifs variés souhaitant acquérir des compétences techniques poussées dans le domaine de l'IA, et d'avoir une compréhension des enjeux afin de pouvoir adapter l'utilisation de ces modèles dans le contexte de leur activité professionnelle. Capacité à mettre en oeuvre des techniques d'apprentissage avancé, e.g. apprentissage par renforcement, à utiliser ces modèles dans un objectif de génération de données, ainsi qu'à quantifier leur incertitude décisionnelle. Application des ces modèles à des problématiques concrètes et couramment utilisées en sciences des données.

Prérequis

Cette UE s'adresse à un public ayant des connaissance en informatique (programmation, bases de données) et en mathématiques appliquées (niveau bac+5).

Ce cours constitue un cours "avancé", il est conseillé d'avoir suivi les UE NFP106, RCP208, RCP209 pour le suivre. Il convient notamment d'avoir des connaissances en apprentissage statistique et en apprentissage profond, et de maîtriser les librairies python pour ce type de méthodes (Scikit-learn, TensorFlow, PyTorch).

Délais d'accès

Le délai d'accès à la formation correspond à la durée entre votre inscription et la date du premier cours de votre formation.

• UE du 1er semestre et UE annuelle : inscription entre mai et octobre
• UE du 2e semestre : inscription de mai jusqu'à mi-mars

Exemple : Je m'inscris le 21 juin à FPG003 (Projet personnel et professionnel : auto-orientation pédagogique). Le premier cours a lieu le 21 octobre. Le délai d'accès est donc de 4 mois.

Planning

Modalités

Modalités pédagogiques :

Pédagogie qui combine apports académiques, études de cas basées sur des pratiques professionnelles et expérience des élèves. Équipe pédagogique constituée pour partie de professionnels. Un espace numérique de formation (ENF) est utilisé tout au long du cursus.

Modalités d'évaluation :

Examen final

Tarif

Plusieurs dispositifs de financement sont possibles en fonction de votre statut et peuvent financer jusqu'à 100% de votre formation.

Salarié : Faites financer votre formation par votre employeur

Demandeur d’emploi : Faites financer votre formation par Pôle emploi

Votre formation est éligible au CPF ? Financez-la avec votre CPF

Si aucun dispositif de financement ne peut être mobilisé, nous proposons à l’élève une prise en charge partielle de la Région Nouvelle-Aquitaine avec un reste à charge. Ce reste à charge correspond au tarif réduit et est à destination des salariés ou demandeurs d’emploi.

Pour plus de renseignements, consultez la page Financer mon projet formationopen_in_new ou contactez nos conseillers pour vous accompagner pas à pas dans vos démarches.

Passerelles : lien entre certifications

• CS9700A - Certificat de spécialisation Intelligence artificielle

Taux de réussite

Les dernières informations concernant le taux de réussite des unités d’enseignement composant les diplômes

Taux de réussite