Image, Vision, Apprentissage (IVA)

• Listing des cours
  • Règles Specialisations
• Poursuite en 4A/Emplois
  • Stat 4A Anciens (acces restreint)
• Partenaires et positionnement du PA
• Domaines d'applications professionnels
• FAQ IVA
  
  
• Filières de 3A INF
  
  
• Contact: Damien Rohmer (damien.rohmer@polytechnique.edu)

Filière IVA

• L'image: en particulier en vision automatique, informatique graphique, géométrie, et interaction générale avec des données visuelles (Visual Computing).
• L'IA: notamment via les approches de Deep Learning, de son introduction jusqu'au méthodes avancées (Video Understanding, Transformers, NLP, GNN, Generative models, etc.).

Listing des cours

Période 1

Période 2

Détails

Période 1

Période 2

Aide pour vos choix de cours

• INF584A: est un cours très particulier orienté autour d'un projet très accès développement. Il ne s'agit pas d'un cours classique de l'X mais se rapproche de cours d'école d'application en jeu vidéo.

Thèmes d'applications et cours

Règles de choix

Règles communes à tous les PA informatique

• Vous devez vous inscrire et suivre 4 modules scientifiques par période.
• Le projet P3A (INF515 et INF515B) peut être suivi en plus des 4 modules - ce choix est optionnel. Le projet ne remplace par contre pas un cours scientifique.

Règles spécifiques au parcours IVA

• Il est possible, et même conseillé, de suivre l'ensemble des modules d'images si cette thématique vous intéresse. INF573, INF574, INF584, INF585, INF597.
• Ces règles sont sur l'année et non la période (ex. il est possible de suivre 1 module apprentissage en période 1 et aucun en période 2)
• Il est possible de panacher (en le justifiant) pour suivre d'autres modules hors de cette liste. Mais il faut respecter les règles précédentes.

Specialisation et panachage

Visual Computing generalist (defaut)

• P1: INF573, INF554, INF585, INF574
• P2: INF581A, INF597, INF581, xxx

Data scientist avec background en CV:

• P1: INF573, INF554, MAP553, INF552
• P2: INF581A, INF582, INF581, xxx

Jeux vidéo:

• P1: INF585, INF574, INF573, INF554
• P2: INF584, INF584A, xxx, xxx

Imagerie Biologique/Médicale:

• P1: INF573, INF554, xxx, xxx
• P2: BIO583 (panache, DS in biological imaging), INF581A, INF597, xxx

Art & Science:

• P1: INF585, INF574, INF552, MAP553
• P2: INF584, INF581, xxx, xxx

Création 3D:

• P1: INF574, INF585, xxx, xxx
• P2: INF584, INF597, xxx, xxx

Robotique:

• P1: INF575 (panache), INF554, INF585, xxx
• P2: INF581, INF584A, xxx, xxx

Environment et IA:

• P1: MEC557 (panache: ML for climate and energy), INF554, MAP553, xxx
• P2: INF569 (panache: Decision theory in energy systems), xxx, xxx, xxx

Géométrie et math:

• INF556, INF574, INF550, xxx
• INF562, INF580, MAP562 (panache: optimal design of structure), xxx

Optimisation algorithmique et prise de décision:

• INF550, INF555, MAP557 (panache), xxx
• INF580, MAP556, INF569 (panache), xxx

Analyse d'Image et Signal

• P1: INF573, MAP555, INF554, xxx
• P2: INF581A, MAP566, INF597, xxx

Description des cours d'images spécifiques IVA

INF 573 - Image Analysis & Computer Vision

Ce cours a pour objectif d'introduire les approches fondamentales de la représentation, l'analyse, et le traitement d'images 2D et reconstruction 3D.
Les thèmes abordés sont les notions d'optiques et de représentation d'espaces couleurs; d'échantillonnage et de filtrage d'images; d'extraction de charactéristiques sur images et vidéos; segmentation d'images; détection d'objets par deep learning; la mise en correspondance d'image ainsi que la vision stéréo et multivues.

Ce cours est conseillé à tout étudiant souhaitant découvrir l'analyse d'image pour tout type d'application, et est fondamental pour poursuivre en master dans le domaine de la vision.
Les parties pratiques se déroulent en Python et utilisent OpenCV. Un projet est également inclus dans le déroulement du module. La poursuite avancée de ce cours spécialisé en Deep Learning est proposé en P2 avec INF597.

INF 574 - Digital Representation and Analysis of Shapes

Ce cours se focalise sur les approches de représentations et de calculs sur des formes et surfaces 3D.
Le cours présente les différents modèles standards de représentation de surface: modèles paramétriques utilisés typiquement en CAO (Bézier, NURBS), les maillages et leurs subdivisions, et les ensembles de points (données de scanners laser).
Le cours introduit également les méthodes dites de "Geometry Processing", à savoir le calcul robuste de propriétés globales ou locales (distance, courbures, etc.) sur des représentations discrètes tels que des maillages ou des ensembles de points. Ainsi que la mise en correspondance et recalage entre formes 3D.

Ce cours est conseillé à tout étudiant souhaitant comprendre en détail les différentes manières de représenter une forme 3D, et souhaitant poursuivre dans le domaine des représentations 3D ou de la reconstruction par vision.
Les sessions pratiques se déroulent en C++ et un projet est inclus dans le déroulement.

INF 585 - Computer Animation

Ce cours présente les modèles d'animation et de simulation de modèles virtuels 3D en temps-réel. Les thèmes abordés sont les méthodes de déformations géométriques interactives, l'animation de personnage, le pipe-line de production dans le contexte professionnel de création au cinéma, la simulation physique d'objets en collisions, la simulation de vêtements, et la simulation de fluides.
Les approches vues dans ce cours s'orientent principalement vers les applications du cinéma d'animation, les effets spéciaux (VFX), et le jeu vidéo.
Ce cours est conseillé à tout étudiant souhaitant découvrir ou approfondir sa compréhension des méthodes d'animation, de simulation et d'interactions avec les mondes 3D virtuels, ainsi que le lien entre la création artistique et la technique.

INF 584 - Image Synthesis

L'objectif de ce cours est de présenter en détails les méthodes de rendus d'images photoréaliste, et expressif.
Les thèmes abordés concernent l'équation fondamental de transport de la lumière et sa mise en oeuvre par lancé de rayons, les d'effets d'illuminations (ombrage, illumination globales), et les structures accélératrices de calcul d'intersection. Dans un second temps, les méthodes temps-réelles seront également présentés: shaders avancés (ombrage, mutli-texturing, bump mapping, etc.); modélisation de BRDF; rendus expressifs.

Ce cours est conseillé à tout étudiant souhaitant approfondir sa compréhension technique de la création d'images à partir de scène 3D, ainsi que les méthodes utilisés dans les rendus graphiques des jeux vidéos. Rem. Les sessions pratiques sont techniques, et demandent un investissement personnel à ce niveau.
Les sessions pratiques se déroulent en C++ et un projet est inclus dans le déroulement.

INF 597 - Computer Vision with Deep Learning: From Fundamentals to Applications

Ce cours se focalise sur les approches modernes de Deep Learning appliquées en Vision. Il reprend les fondamentaux des réseaux de convolutions et parcours une série d'applications utilisant les architectures avancées: Semantic segmentation, Medical imaging, Video Understanding, Vision Transformers. Le cours propose également un parcours des méthodes d'IA génératives jusqu'aux modèles de diffusion.

Ce cours est fortement conseillé à tous les étudiants souhaitant approfondir leur connaissance en Computer Vision.
Les sessions pratiques se déroulent en Python avec PyTorch. Pré-requis: INF554 (ou équivalent).

INF 584A - Real-time AI in Video Games: decisive & collaborative actions

Ce cours orienté application a pour objectif de vous présenter les méthodes d'intelligence artificielles temps-réelles présentes dans les jeux vidéos actuels avec un focus particulier sur la prise de décision et les actions collaboratives des agents.
Les thèmes abordés sont les arbres de décisions et de comportement, machines a états finis hierarchiques; prises des décisions basées règles et logique flous; IA distribuée; méthodes utilisés pour les PNJ. (rem. Il ne s'agit pas de deep learning, mais d'IA traditionelle du jeu vidéo). Le module sera largement orienté vers l'application réalisé en TD par l'utilisation d'API de jeux tels que celle de StarCraft. Un concours d'IA collaborative sera mis en oeuvre en fin de TD.

Ce cours est conseillé aux étudiants intéressés par une poursuite dans le domaine du jeu vidéo (capacité limitée à 24 étudiants).
Les sessions pratiques se déroulent principalement en C++, ou d'autres languages de scripts, et par l'utilisation de l'API StarCraft.

Remarques: Il s'agit d'un cours particulier dans votre cursus, fondamentalement orienté sur un projet en groupe et à vocation très applicative (peu de théorie). L'objectif est de développer votre propre IA "from scratch". Il ne s'agit pas de TP "à trous" comme vous pourrez en trouver dans d'autres cours, mais d'un projet à plus large envergure. Il est nécessaire d'être prêt à s'investir dans la mise en place de votre framework de développement (vous devez être autonome avec votre ordinateur), de vous intéresser par vous même à la documentation, de coder l'ensemble de vos algorithmes.

Poursuite en 4A/Emplois

4A

• Les Masters et MSc&T sélectifs Français
  • MVA - Mathématiques, Vision, Apprentissage (Paris Saclay)
  • AI-ViC - Artificial Intelligence and advanced Visual Computing (Polytechnique)
  • IGD - Interaction Graphique Design (IPP)
  • DataIA - Data and Artificial Intelligence (IPP)
  • MPRI/AFP - Algorithmique et Fondements de la Programmation (IPP et Paris Saclay)
  • IMA - IMV - Imagerie du Vivant (Sorbonne Université)
  • FIIL - Fondements de l'informatique et ingénierie du logiciel (Paris Saclay)
  • ...
    
    
• Une dernière année en école d'ingénieur Française
  • Telecom Paris
  • Mines ParisTech
  • Ponts ParisTech
  • ENSIMAG
  • ENSIEE
  • ...
  
  
• Une formation de Master of Sciences dans une Université étrangère
  • ETH Zurich
  • Berkeley
  • Shangai Jiao Tong University
  • Columbia
  • EPFL
  • Stanford
  • ...

Emplois des anciens

Vision and Graphics

Adobe

Technicolor

Unity

Disney Research

Fujitsu

BUF

Snap Inc.

DxO

MocapLab

Dreamworks

...

Software Eng. & ML

Google

Facebook/Meta

Ubisoft

Nintendo

AMD

Apple

NVIDIA

Dassault Systèmes

SNCF

EDF

Owkin

Criteo

...

Finance and Consulting

Credit Agricole

BNP

Jump Trading

Citadel Securities

Artefact

...

Masters IP Paris

• M2 IGD: Interaction, Graphic & Design
• M2 DataIA

4A et césures avec des écoles appliquées

• Master/4A de l'ENJMIN - pour une spécialisation en jeux vidéo (Game Design, Concepteur Graphique, Sonore, Programmeur, Ergonomie UX/UI, Chef de projet).
  
  
• Césure aux Gobelins - pour une découverte du secteur du cinéma d'animation, design graphique et motion design, ou jeux vidéos.
  
  
• Césure à l'ENS Louis Lumière - pour une découverte du secteur de la création cinématographique et photographie.
  
  

Partenaires et positionnement du programme

Equipes enseignantes et collaborateurs

Les enseignements en image et graphiques sont en lien avec les équipes de recherches et entreprises suivantes:

La coordination du programme IVA, et enseignants d'INF574, INF581A et INF585, sont chercheurs dans l'équipe Vista (Visual Worlds) et GeomeriX (Geometry for Numerics) du LIX. Il s'agit d'équipes de recherche en Informatique Graphique et Vision qui traitent de problématiques d'analyse, de modélisation et d'animation de formes, vidéos, et phénomènes 3D.

Le cours INF584 est enseigné Tamy Boubekeur, directeur de la recherche 3D & Immersive chez Adobe, et professeur à Telecom Paris.

Le cours INF584A est enseigné par Axel Buendiga, l'un des créateur de l'entreprise SpirOps spécialisé en simulation de comportement d'humains par IA, et enseignant à l'école de jeux vidéos ENJMIN. Ainsi que par David Bilemdjian, directeur technique de l'entreprise de jeux vidéos Pixel Wizards.

Les cours d'apprentissages et d'optimisation du département informatique INF554, INF580, INF581, INF582 sont gérés par des membres de l'équipe DaSCiM (Data Science and Mining) du LIX. Il s'agit d'une équipe spécialisée en classification, analyse de texte, management et indexation de données, et prise de décisions par optimisation mathématique.

Les cours d'apprentissages MAP553, MAP666 du département de mathématiques appliquées sont gérés par des chercheurs du CMAP, membres de l'équipe SIMPAS (Statistique, Apprentissage, Simulation, Image).

Plus généralement, l'école possède des liens avec les structures suivantes qui peuvent vous êtes utiles pour vos projets et aspirations liés aux thèmes d'IVA.

Une chaire d'enseignement et de recherche (ScienceXGames) est établie entre Ubisoft et Polytechnique sur le thème des "Sciences dans les Jeux Vidéo". Cette chaire permet d'avoir à l'école un Game Lab de manière permanente, dont les membres peuvent vous aider sur des projets ayant attrait aux jeu vidéo: Développeur jeux vidéo, Game Design, Artiste, Gestion de projet. Ubisoft, ainsi que le Game Lab, propose également régulièrement des sujets de projets P3A dans le contexte du jeu vidéo.
Le cours INF584A est notamment réalisé en coordination avec le Game Lab.

Le X-F4B, FabLab de l'école polytechnique, est à votre disposition pour vous aider dans vos projets nécessitant du prototypage. Le FabLab dispose de nombreux types d'imprimantes 3D, mais également de quoi fraiser, découper, graver, coudre, etc. Différents logiciels de conception, et simulation, ainsi que du matériel de VR/AR est à disposition. Les responsables du FabLab pourront se synchroniser avec vous afin de vous apporter la formation nécessaire sur les machines et logiciels.

Positionnement par rapport aux autres PA

• Efficient Algorithms and Foundations of Programming Languages - partage une partie des cours d'images. Ce dernier est davantage focalisé sur l'algorithmique (INF560, INF561), alors que le programme IVA proposera à la place des cours d'apprentissage.
  
  
• Artificial Intelligence and Scalable Data Science - partage une partie des cours d'apprentissage. Ce dernier intègre davantage les cours de bases de données (INF553, INF583), alors que le programme IVA propose à la place des cours d'images.

Relation avec le Master AI-ViC

Le MSc&T AI-ViC (Master of Science and Technology in Artificial Intelligence and advanced Visual Computing) est un master international sur 2 ans dont le diplome est délivré par l'école Polytechnique. Ce master est ouvert à vous ainsi qu'aux étudiants internationaux sélectionnés sur dossiers.

Les cours de la première année du Master s'appuient en totalité sur un sous-ensemble de cours proposés en P3A IVA. Dans ces cours, vous êtes en commun, sans distinction de programme ni d'évaluation. Le profil des étudiants inscrits en IVA et ceux de la 1ère année du master seront donc similaires, et mixtes entre image, graphique, et apprentissage.
Si vous êtes intéressés par les thèmes du master, vous avez le choix entre faire IVA en 3A, puis faire postuler en deuxième année du master pour votre 4A, ou vous inscrire dans le master dès la 3A (Voir FAQ sur les différences entre ces deux choix).

D'une manière générale, vous bénéficiez de l'intérêt des entreprises et instituts partenaires du Master (Google, IDEMIA, Enedis, Inria) dans les thèmes communs couverts par IVA.

Domaines d'applications professionnels

Les applications et principes des cours du programme IVA, typiquement en image, graphique et apprentissage, peuvent vous permettre une introduction à différents domaines d'applications que vous pouvez envisager de poursuivre dans votre projet professionnel.

Voici un listing qui vous permet de vous donner des idées. Ce listing n'est évidemment pas exclusif au programme IVA, et n'est pas exhaustif non plus.

Loisirs numériques et artistiques

• Le jeu vidéo
• Le cinéma d'animation
• Les effets spéciaux/visuels (VFX)
• Les applications multimédias
• Les arts créatifs numériques, Art/Science

L'immersion et l'interaction entre monde virtuel et réel

• Conception d'experience immersive, video mapping
• La réalité virtuelle et augmentée
• Les scanners 3D optiques, lasers, la motion capture
• Les serious games, Metaverse

La création digital, design, simulation, et fabrication

• Outils de design numérique
• Fabrication 3D: additive, découpe laser
• La Conception Assistée par Ordinateur (CAO - automobile, aéronotique, etc)

L'imagerie en sciences naturelles

• Imagerie médicale, biologique, satellitaire, astronomique, radar, etc.
• La visualisation et la simulation en sciences physiques.

La prise de décision avec des données visuelles

• La robotique, les véhicules autonomes, les drones, etc.
• Les applications des GAFA: images/vidéos, etc.
• La reconnaissance d'objets, faciale, le tracking
• La défense

FAQ IVA