Image, Vision, Apprentissage (IVA)

• Listing des cours
  • Règles Specialisations
• Poursuite en 4A/Emplois
  • Stat 4A Anciens (acces restreint)
• Partenaires et positionnement du PA
• Domaines d'applications professionnels
• FAQ IVA
  
  
• Filières de 3A INF
  
  
• Contact: Damien Rohmer (damien.rohmer@polytechnique.edu)

Filière IVA

• L'image: en particulier en vision automatique, informatique graphique, géométrie, et interaction générale avec des données visuelles (Visual Computing).
• L'IA: notamment via les approches de Deep Learning, de son introduction jusqu'au méthodes avancées (Video Understanding, Transformers, NLP, GNN, Generative models, etc.).

Listing des cours

Période 1

Période 2

Détails

Période 1

Période 2

Aide pour vos choix de cours

Thèmes d'applications et cours

Règles de choix

Règles communes à tous les PA informatique

• Vous devez vous inscrire et suivre 4 modules scientifiques par période.
• Le projet P3A (CSC50P15) peut être suivi en plus des 4 modules - ce choix est optionnel. Le projet ne remplace par contre pas un cours scientifique.

Règles spécifiques au parcours IVA

• Il est possible, et même conseillé, de suivre l'ensemble des modules d'images si cette thématique vous intéresse. CSC51073, CSC51074, CSC51085, CSC52002, CSC52084.
• Ces règles sont sur l'année et non la période (ex. il est possible de suivre 1 module apprentissage en période 1 et aucun en période 2)
• Il est possible de panacher (en le justifiant) pour suivre d'autres modules hors de cette liste. Mais il faut respecter les règles précédentes.

Specialisation et panachage

Visual Computing generalist (defaut)

• P1: CSC51073, CSC51054, CSC51085, CSC51074
• P2: CSC52002, CSC52087, CSC52081, xxx

Data scientist avec background en CV:

• P1: CSC51073, CSC51054, APM51053, CSC51052
• P2: CSC52087, CSC52002, CSC52081, xxx

Jeux vidéo:

• P1: CSC51085, CSC51074, CSC51073, CSC51054
• P2: CSC52084, CSC52002, xxx, xxx

Imagerie Biologique/Médicale:

• P1: CSC51073, CSC51054, xxx, xxx
• P2: BIO52101 (panache, DS in biological imaging), CSC52002, CSC52087, xxx

Art & Science:

• P1: CSC51085, CSC51074, CSC51052, APM51053
• P2: CSC52084, CSC52002, CSC52081, xxx

Création 3D:

• P1: CSC51074, CSC51085, xxx, xxx
• P2: CSC52084, CSC52087, xxx, xxx

Robotique:

• P1: CSC51075 (panache), CSC51054, CSC51085, xxx
• P2: CSC52081, CSC52002, xxx, xxx

Environment et IA:

• P1: MEC51057 (panache: ML for climate and energy), CSC51054, APM51053, xxx
• P2: CSC52069 (panache: Decision theory in energy systems), xxx, xxx, xxx

Géométrie et math:

• P1: CSC51056, CSC51074, CSC51050, xxx
• P2: CSC52062, CSC52080, APM52062 (panache: optimal design of structure), xxx

Optimisation algorithmique et prise de décision:

• P1: CSC51050, CSC51055, PAM51057 (panache), xxx
• P2: CSC52080, APM52056, CSC52069 (panache), xxx

Analyse d'Image et Signal

• P1: CSC51073, APM51055, CSC51054, xxx
• P2: CSC52002, CSC52087, CSC52081, xxx

Description des cours d'images spécifiques IVA

CSC 51073 - Image Analysis & Computer Vision

Ce cours a pour objectif d'introduire les approches fondamentales de la représentation, l'analyse, et le traitement d'images 2D et reconstruction 3D.
Les thèmes abordés sont les notions d'optiques et de représentation d'espaces couleurs; d'échantillonnage et de filtrage d'images; d'extraction de charactéristiques sur images et vidéos; segmentation d'images; détection d'objets par deep learning; la mise en correspondance d'image ainsi que la vision stéréo et multivues.

Ce cours est conseillé à tout étudiant souhaitant découvrir l'analyse d'image pour tout type d'application, et est fondamental pour poursuivre en master dans le domaine de la vision.
Les parties pratiques se déroulent en Python et utilisent OpenCV. Un projet est également inclus dans le déroulement du module. La poursuite avancée de ce cours spécialisé en Deep Learning est proposé en P2 avec INF597.

CSC 51074 - Digital Representation and Analysis of Shapes

Ce cours se focalise sur les approches de représentations et de calculs sur des formes et surfaces 3D.
Le cours présente les différents modèles standards de représentation de surface: modèles paramétriques utilisés typiquement en CAO (Bézier, NURBS), les maillages et leurs subdivisions, et les ensembles de points (données de scanners laser).
Le cours introduit également les méthodes dites de "Geometry Processing", à savoir le calcul robuste de propriétés globales ou locales (distance, courbures, etc.) sur des représentations discrètes tels que des maillages ou des ensembles de points. Ainsi que la mise en correspondance et recalage entre formes 3D.

Ce cours est conseillé à tout étudiant souhaitant comprendre en détail les différentes manières de représenter une forme 3D, et souhaitant poursuivre dans le domaine des représentations 3D ou de la reconstruction par vision.
Les sessions pratiques se déroulent en C++ et un projet est inclus dans le déroulement.

CSC 51085 - Computer Animation

Ce cours présente les modèles d'animation et de simulation de modèles virtuels 3D en temps-réel. Les thèmes abordés sont les méthodes de déformations géométriques interactives, l'animation de personnage, le pipe-line de production dans le contexte professionnel de création au cinéma, la simulation physique d'objets en collisions, la simulation de vêtements, et la simulation de fluides.
Les approches vues dans ce cours s'orientent principalement vers les applications du cinéma d'animation, les effets spéciaux (VFX), et le jeu vidéo.
Ce cours est conseillé à tout étudiant souhaitant découvrir ou approfondir sa compréhension des méthodes d'animation, de simulation et d'interactions avec les mondes 3D virtuels, ainsi que le lien entre la création artistique et la technique.

CSC 51084 - Image Synthesis

L'objectif de ce cours est de présenter en détails les méthodes de rendus d'images photoréaliste, et expressif.
Les thèmes abordés concernent l'équation fondamental de transport de la lumière et sa mise en oeuvre par lancé de rayons, les d'effets d'illuminations (ombrage, illumination globales), et les structures accélératrices de calcul d'intersection. Dans un second temps, les méthodes temps-réelles seront également présentés: shaders avancés (ombrage, mutli-texturing, bump mapping, etc.); modélisation de BRDF; rendus expressifs.

Ce cours est conseillé à tout étudiant souhaitant approfondir sa compréhension technique de la création d'images à partir de scène 3D, ainsi que les méthodes utilisés dans les rendus graphiques des jeux vidéos. Rem. Les sessions pratiques sont techniques, et demandent un investissement personnel à ce niveau.
Les sessions pratiques se déroulent en C++ et un projet est inclus dans le déroulement.

CSC 51084 - Multimodal AI

Ce cours se focalise sur les approches modernes de Deep Learning appliquées en Vision. Il reprend les fondamentaux des réseaux de convolutions et parcours une série d'applications utilisant les architectures avancées: Semantic segmentation, Medical imaging, Video Understanding, Vision Transformers. Le cours propose également un parcours des méthodes d'IA génératives jusqu'aux modèles de diffusion.

Ce cours est fortement conseillé à tous les étudiants souhaitant approfondir leur connaissance en Computer Vision.
Les sessions pratiques se déroulent en Python avec PyTorch. Pré-requis: INF554 (ou équivalent).

Poursuite en 4A/Emplois

4A

• Les Masters et MSc&T sélectifs Français
  • MVA - Mathématiques, Vision, Apprentissage (Paris Saclay)
  • AI-ViC - Artificial Intelligence and advanced Visual Computing (Polytechnique)
  • IGD - Interaction Graphique Design (IPP)
  • DataIA - Data and Artificial Intelligence (IPP)
  • MPRI/AFP - Algorithmique et Fondements de la Programmation (IPP et Paris Saclay)
  • IMA - IMV - Imagerie du Vivant (Sorbonne Université)
  • FIIL - Fondements de l'informatique et ingénierie du logiciel (Paris Saclay)
  • ...
    
    
• Une dernière année en école d'ingénieur Française
  • Telecom Paris
  • Mines ParisTech
  • Ponts ParisTech
  • ENSIMAG
  • ENSIEE
  • ...
  
  
• Une formation de Master of Sciences dans une Université étrangère
  • ETH Zurich
  • Berkeley
  • Shangai Jiao Tong University
  • Columbia
  • EPFL
  • Stanford
  • ...

Emplois des anciens

Vision and Graphics

Adobe

Technicolor

Unity

Disney Research

Fujitsu

BUF

Snap Inc.

DxO

MocapLab

Dreamworks

...

Software Eng. & ML

Google

Facebook/Meta

Ubisoft

Nintendo

AMD

Apple

NVIDIA

Dassault Systèmes

SNCF

EDF

Owkin

Criteo

...

Finance and Consulting

Credit Agricole

BNP

Jump Trading

Citadel Securities

Artefact

...

Masters IP Paris

• M2 IGD: Interaction, Graphic & Design
• M2 DataIA

Msc&T de l'Ecole polytechnique

• MSc&T ViCAI: Visual and Creative AI
• MSc&T Science and Technology in Extended Cinematography

4A et césures avec des écoles appliquées

• Master/4A de l'ENJMIN - pour une spécialisation en jeux vidéo (Game Design, Concepteur Graphique, Sonore, Programmeur, Ergonomie UX/UI, Chef de projet).
  
  
• Césure aux Gobelins - pour une découverte du secteur du cinéma d'animation, design graphique et motion design, ou jeux vidéos.
  
  
• Césure à l'ENS Louis Lumière - pour une découverte du secteur de la création cinématographique et photographie.
  
  

Partenaires et positionnement du programme

Equipes enseignantes et collaborateurs

Les enseignements en image et graphiques sont en lien avec les équipes de recherches et entreprises suivantes:

La coordination du programme IVA, et enseignants d'INF574, INF581A et INF585, sont chercheurs dans l'équipe Vista (Visual Worlds) et GeomeriX (Geometry for Numerics) du LIX. Il s'agit d'équipes de recherche en Informatique Graphique et Vision qui traitent de problématiques d'analyse, de modélisation et d'animation de formes, vidéos, et phénomènes 3D.

Le cours CSC52084 est enseigné Tamy Boubekeur, directeur de la recherche 3D & Immersive chez Adobe, et professeur à Telecom Paris.

Les cours d'apprentissages et d'optimisation du département informatique CSC51054, CSC51080, CSC52081, CSC52082 sont gérés par des membres de l'équipe DaSCiM (Data Science and Mining) du LIX. Il s'agit d'une équipe spécialisée en classification, analyse de texte, management et indexation de données, et prise de décisions par optimisation mathématique.

Les cours d'apprentissages du département de mathématiques appliquées sont gérés par des chercheurs du CMAP, membres de l'équipe SIMPAS (Statistique, Apprentissage, Simulation, Image).

Positionnement par rapport aux autres PA

• Efficient Algorithms and Foundations of Programming Languages - partage une partie des cours d'images. Ce dernier est davantage focalisé sur l'algorithmique (INF560, INF561), alors que le programme IVA proposera à la place des cours d'apprentissage.
  
  
• Artificial Intelligence and Scalable Data Science - partage une partie des cours d'apprentissage. Ce dernier intègre davantage les cours de bases de données (INF553, INF583), alors que le programme IVA propose à la place des cours d'images.

Relation avec le Master AI-ViC

Le MSc&T ViCAI (Master of Science and Technology in Visual and Creative AI) est un master international sur 2 ans dont le diplome est délivré par l'école Polytechnique. Ce master est ouvert à vous ainsi qu'aux étudiants internationaux sélectionnés sur dossiers.

Les cours de la première année du Master s'appuient en totalité sur un sous-ensemble de cours proposés en P3A IVA. Dans ces cours, vous êtes en commun, sans distinction de programme ni d'évaluation. Le profil des étudiants inscrits en IVA et ceux de la 1ère année du master seront donc similaires, et mixtes entre image, graphique, et apprentissage.
Si vous êtes intéressés par les thèmes du master, vous avez le choix entre faire IVA en 3A, puis faire postuler en deuxième année du master pour votre 4A, ou vous inscrire dans le master dès la 3A (Voir FAQ sur les différences entre ces deux choix).

D'une manière générale, vous bénéficiez de l'intérêt des entreprises et instituts partenaires du Master (Google, IDEMIA, Enedis, Inria) dans les thèmes communs couverts par IVA.

Domaines d'applications professionnels

Les applications et principes des cours du programme IVA, typiquement en image, graphique et apprentissage, peuvent vous permettre une introduction à différents domaines d'applications que vous pouvez envisager de poursuivre dans votre projet professionnel.

Voici un listing qui vous permet de vous donner des idées. Ce listing n'est évidemment pas exclusif au programme IVA, et n'est pas exhaustif non plus.

Loisirs numériques et artistiques

• Le jeu vidéo
• Le cinéma d'animation
• Les effets spéciaux/visuels (VFX)
• Les applications multimédias
• Les arts créatifs numériques, Art/Science

L'immersion et l'interaction entre monde virtuel et réel

• Conception d'experience immersive, video mapping
• La réalité virtuelle et augmentée
• Les scanners 3D optiques, lasers, la motion capture
• Les serious games, Metaverse

La création digital, design, simulation, et fabrication

• Outils de design numérique
• Fabrication 3D: additive, découpe laser
• La Conception Assistée par Ordinateur (CAO - automobile, aéronotique, etc)

L'imagerie en sciences naturelles

• Imagerie médicale, biologique, satellitaire, astronomique, radar, etc.
• La visualisation et la simulation en sciences physiques.

La prise de décision avec des données visuelles

• La robotique, les véhicules autonomes, les drones, etc.
• Les applications des GAFA: images/vidéos, etc.
• La reconnaissance d'objets, faciale, le tracking
• La défense

FAQ IVA