Programme

La formation proposée incite à suivre des modules fondamentaux en première année et plus spécialisés en deuxième année, tout en permettant une grande flexibilité des choix, c’est-à-dire qu’il est possible de suivre des cours plus spécialisés dès la première année.
Le parcours est à composer à la carte par les étudiants, en consultation avec un mentor afin d’en assurer la cohérence. Il doit comporter 60 ECTS par années, dont au moins 5 ECTS d’UE d’informatique.

Planning
Rentrée : le vendredi 6 septembre 2019 à 9 heures, à l’IHES, (Bures-sur-Yvette) amphithéâtre SIMONS
Journées d’accueil « Rentrée des masters » à l’IHES, 4—6 septembre
Début des cours de S1 : 9 septembre

Cours obligatoires / Compulsory courses

Cours « Mathématiques de l’intelligence artificielle » (S1+S2, 10 ECTS)

ce cours couvre les éléments de plusieurs domaines mathématiques fondamentaux utilisés pour l’apprentissage automatisé.

semestre 1 :
La première partie du cours Mathématiques pour l’Intelligence Artificielle couvrira une introduction aux méthodes d’apprentissage statistique et à leur analyse mathématique. Les thèmes traités seront :
Introduction à la théorie de la décision : fonction de perte, risque, fonction de prédiction, erreur optimale, prédiction optimale. Aperçu des méthodes de classification linéaire. Introduction à la théorie de l’apprentissage statistique : estimation de l’erreur de généralisation, méthode de Chernoff, borne de Hoeffding, échantillon hold-out. Analyse statistique de la méthode des plus proches voisins. Méthodes à noyau : espaces à noyau autoreproduisants et applications. Théorie de l’apprentissage statistique : inégalité d’Azuma-Mcdiarmid, complexité de Rademacher, applications, dimension de Vapnik-Chervonenkis.

semestre 2 : sequential learning and pattern recognition
The first part of the course deals with the problem of sequential learning in various frameworks. It introduces the common issues of learning in unknown environment, exploration/exploitation trade-offs, learning with experts, or proving information-theoretic lower bounds.
The second part of the course will focus on some theory between analysis and linear algebra, with applications to some problems of uncovering patterns in data.
Prerequisites : probability theory, convex analysis, linear algebra

Séminaire (M1 et M2, 2.5 ECTS par an)

Agenda du séminaire : https://docs.google.com/document/d/...
Le séminaire accueille des académiques et des industriels qui viennent présenter un de leur domaine de recherche.
La présence est obligatoire.

Anglais (S2, 5 ECTS)

Anglais (S2, 5 ECTS)

Cours à la carte : les cours listés ci-dessous sont mis en avant et recommandés dans le cadre de ce parcours.
Il est possible de suivre d’autres cours non listés, choisis parmi le catalogue de cours en mathématiques et informatique, en concertation avec un mentor.

Cours de mathématiques fondamentales (M1)

Théorie spectrale (S1, 7.5 ECTS)

responsable : Frederic Paulin

1) Théorie spectrale des opérateurs bornés des espaces de Hilbert
« Rappels » sur les espaces de Hilbert
Spectre des opérateurs
Opérateurs compacts
Opérateurs auto-adjoints
Décomposition spectrale des opérateurs auto-adjoints compacts
Calcul fonctionnel continu

2) Analyse harmonique des ouverts du plan
Noyau et intégrale de Poisson sur le disque
Propriété de la valeur moyenne et principe du maximum
Inégalités de Harnack et théorème de Harnack
Introduction à la théorie du potentiel dans le plan :
problème de Dirichlet, frontière de Martin, et
frontière de Poisson du disque

3) Spectre du laplacien des ouverts bornés euclidiens

4) Introduction à l’analyse harmonique des sphères :
harmoniques sphériques et décomposition spectrale du laplacien sphérique

Notes de cours :
http://www.math.u-psud.fr/ paulin/notescours/cours_magistere2.pdf

Probabilités (S1, 7.5 ECTS)

Responsable : Edouard Maurel-Segala
Equipe pédagogique : Sophie Lemaire et Nathanael Enriquez
Contenu :
Espace de probabilité, variables aléatoires, distribution. Théorème de classe monotone.
Indépendance, loi du 0-1, théorème de Borel-Cantelli.
Convergence presque sûre, en probabilités, Lp. Convergence en loi, Théorème de P. Levy. Théorèmes limites : Loi forte des grandes nombres et théorème de la limite centrale. Vecteurs gaussiens : caractérisations, propriétés élémentaires. Théorème de la limite centrale pour des vecteurs aléatoires.
Espérances conditionnelles
Modèles de Galton-Watson
Chaîne de Markov associée à temps et espace discrets. Propriété de Markov forte. Théorie du potentiel. Récurrence et transience.
Martingales, sur martingales (à temps discret), inégalités de Doob. Théorème d’arrêt, théorème de convergence presque sûre, convergence dans L1 et équi-intégrabilité, convergence dans Lp
Volume Horaire : 115
Modalités de contrôle : max(E,(E+P)/2)
E=examen, P=partiel

Géométrie (S2, 7.5 ECTS)

Responsable : Julien Duval
Equipe pédagogique : Damien Thomine et Ramanujan Santharoubane
Contenu :
Revêtements et groupe fondamental. Théorème de van Kampen.
Calcul différentiel. Applications à la topologie générale : théorème de Brouwer, invariance du domaine,
variétés topologiques.
Sous-variétés et variétés. Théorème de Whitney et de Sard.
Volume Horaire : 110
Au cours du semestre, les étudiants devront rédiger obligatoirement deux devoirs faits en temps libre chez eux et rendus aux dates fixées par l’enseignant.

Modalités de contrôle : au cours du semestre, les étudiants devront rédiger deux devoirs faits en temps libre chez eux. La note finale est donnée par sup (E, (E+P+(D1+D2)/2)/3)
E=examen, P=partiel, D1, D2 =devoir

Statistique (S2, 7.5 ECTS)

Responsable : Elisabeth Gassiat
Equipe pédagogique : Thanh Mai Pham Ngoc
Contenu : En probabilité, on s’intéresse au comportement d’un processus aléatoire dont on connait la loi. En statistique, on considère donné (ou observé) un processus (ou une variable aléatoire), et l’on cherche à en déduire quelque chose de sa loi.
L’objectif du cours est de donner les fondements de la théorie mathématique statistique.
Théorie de la décision : formalisme général de la Statistique, fonction de perte, risque, décisions admissibles, bayésiennes, minimax... Modèle dominé, vraisemblance, exhaustivité, modèle exponentiel. Modèle gaussien.
Estimation ; Estimateur bayésien, estimateur du maximum de vraisemblance, inégalité de Cramer-Rao, information de Fisher, consistance.
Tests : Erreurs de première et seconde espèce, régions de confiance. Hypothèses simples et Lemme de Neyman-Pearson. Familles à rapport de vraisemblance monotone, tests UPP et UPPB. Tests non paramétriques. Analyse de la variance, régression.
Volume Horaire : 110
Modalités de contrôle : max(E,(E+P)/2)
E=examen, P=partiel

Optimisation (S2, 7.5 ECTS)

Responsable : Alain Trouvé (ENS Paris Saclay)

L’optimisation est une branche importante des mathématiques au regard des outils théoriques qu’elle propose mais aussi bien sûr du son rôle clé pour les applications des mathématiques dans un grand nombre de secteurs scientifique et technologique. Ce cours est une introduction à l’optimisation destiné à fournir un bagage minimal (et un peu plus !) à tout futur mathématicien. Il traite essentiellement des problèmes en dimension finie mais couvre un certain nombre de concepts essentiels, depuis l’optimisation sans contrainte jusqu’aux problèmes à contraintes égalités et/ou inégalités ainsi que le point de vue important de la dualité pour les problèmes convexes. L’accent sera mis aussi sur les algorithmes d’optimisation numérique. Quelques séances de travaux pratiques permettront à l’étudiant de mettre en pratique ces algorithmes. Des séances de TD accompagneront le cours.

Programme
Chap 1 : Premiers éléments d’optimisation. Généralités sur les problèmes d’optimisation. Théorème de projection sur un convexe fermé. Fonctions convexe, s.c.i, elliptique. Fonction convexe sci et sup des minorantes affines sur un Hilbert. Conditions d’optimalité du premier et second ordre pour les problèmes sans contraintes
Chap 2 : Méthodes de descentes, gradient à pas optimal. Gradient à pas optimal, vitesse de
convergence et conditionnement. Recherche linéaire (Wolfe et Armijo). Convergence des
méthodes de descentes avec recherche linéaire.
Chap 3 : Méthodes de Newton et quasi-Newton. Convergence quadratique de la méthodes de
Newton. Méthodes de quasi-Newton DFP et BFGS. Convergence dans le cas quadratique. Gradient conjugué et extension de Polak Ribière. Comparaison des performances.
Chap 4 : Optimisation sous contraintes d’égalité. Rappels sur le TIL. Extréma liés. Lagrangien et
condition du premier ordre. Conditions nécessaires et suffisantes du second ordre. Illustrations.
Théorème de sensibilité.
Chap 5 : Optimisation sous contraintes mixtes. Contraintes actives et qualification des contraintes.
Lemme de Farkas-Minkowski. Théorème de Karush-Kuhn-Tucker (dim infinie, contraintes mixtes).
Chap 6 : Dualité pour les problèmes convexe. Lagrangiens et points selles. Problème primal et dual, saut de dualité. Résolution du problème primal via le problème dual. Exemples.
Chap 7 : Algorithmes proximaux. Sous-différentielle. Enveloppe de Moreau et approximation prox.
Algorithmes du point proximal et forward-backward. Exemples. Algorithme d’Uzawa.
Compléments (fonction conjuguée, décomposition de Moreau, algorithme ISTA).
Chap 8 : Topologie faible sur les Hilbert. Convergence faible. Compacité faible des boules fortes sur
les Hilbert séparables. Coercivité et fonctions faiblement sci. Théorème d’existence. Liens entre sci faible et sci faible séquentielle.

Modalités contrôle de connaissances
F= argmin_0<=x<=20 \sum_i \in TP|x-N_i| + |x-E|^2/2 où N_i=note du i-eme TP et E=note Examen

D’autres cours sont proposés sur le site web du M1 MFA

Cours de mathématiques appliquées (M1)

Programmation scientifique en C++ (S1, 2.5 ECTS)

Ce cours s’adresse aux étudiants qui seront amenés à travailler dans un environnement où le développement logiciel, bien que n’étant pas nécessairement le cœur de métier, est très présent, par exemple les laboratoires de recherche et développement des grandes entreprises et ce dans tous les domaines (mécanique, physique, finances,…). L’utilisation avancée et le développement des logiciels s’inscrivant dans un contexte technique et scientifique spécifique au laboratoire, il requiert bien évidemment un bon niveau dans les disciplines concernées mais également un bon niveau de programmation, car il s’agit soit de développer un code « durable » soit d’intégrer de nouvelles fonctionnalités dans un code existant reposant sur des concepts informatiques avancées. Les logiciels scientifiques se différencient des logiciels de gestion par des exigences de performance et une complexité des méthodes mises en œuvre . Par le passé, ils ont été développés en Fortran et sont aujourd’hui de plus en plus développés en C++ afin de bénéficier d’une couche objet plus riche et plus sûre.
Le cours proposé a pour objectif de fournir aux étudiants quelques clés importantes du développement logiciel dans ce contexte. Une partie importante du cours est dédiée au langage C++ afin que l’étudiant acquiert un niveau suffisant pour développer du code objet.
En parallèle, on aborde des problématiques spécifiques des codes de calcul scientifique : rapidité, efficacité, optimalité, stabilité des calculs.

Une place importante sera donnée à la pratique car pour bien programmer il faut programmer « beaucoup ». Dans un premier temps, afin d’acquérir les bases, des séances de travaux pratiques sont proposées.

Séries chronologiques en statistiques (S1, 2.5 ECTS)

Ce cours est une introduction à l’analyse de séries temporelles. Une série temporelle est une suite d’observations indicées par le temps pour lesquelles l’ordre d’acquisition a donc une importance particulière, par exemple la suite du cours en bourse d’une matière première, la consommation électrique française, les données climatiques etc. L’objectif du cours est d’acquérir les notions mathématiques de base ainsi que les outils logiciels permettant l’analyse de ce type de données.

Objectifs pédagogiques
Être capable, à partir de la connaissance des grandes étapes de la modélisation des séries chronologiques — spécification du processus, estimation du modèle, validation et prévision — de :

  • décomposer une série chronologique (tendance, saisonnalité, bruit) ;
  • modéliser et identifier des séries stationnaires linéaires à l’aide de processus ARMA ;
  • estimer des processus ARIMA et SARIMA ;
  • prédire de nouvelles observations et leur variabilité dans le cadre de ces modèles.

Optimisation différentiable 1 et 2 (S1+S2, 2*2.5 ECTS)

Ce cours présente les concepts, résultats et algorithmes principaux de l’optimisation « différentiable » (par opposition à l’optimisation « combinatoire » ou « discrète », qui ne sera pas abordée) en « dimension finie » (on ne parlera pas de « commande optimale » ou de problèmes de « forme optimale »). On s’intéresse donc à la fois aux aspects théoriques (existence et unicité de solution, conditions d’optimalité, technique de pénalisation, dualité) et aux aspects algorithmiques (algorithmes à directions de descente et à régions de confiance, algorithmes du gradient, du gradient conjugué, de Newton, de quasi-Newton, pénalisation, lagrangien augmenté, optimisation quadratique successive, algorithmes de dualité, algorithmes du simplexe et de points intérieurs en optimisation linéaire). Ce cours construit ainsi les bases sur lesquelles peuvent s’appuyer des disciplines plus avancées, telles que l’ « optimisation stochastique », l’ « optimisation robuste », l’ « optimisation conique » (SDP, copositive, ...), l’ « optimisation non lisse », la « commande optimale », l’ « optimisation de forme », l’ « apprentissage », etc.

Cette branche de l’optimisation repose pour une bonne part sur l’ « analyse convexe », si bien que le cours introduit quelques notions et démontre quelques résultats de cette discipline importante des mathématiques, située entre l’algèbre linéaire et l’analyse non linéaire, qui jouent un rôle majeur en optimisation : projection, séparation, cône dual, conjugaison, sous-différentiabilité. On peut aussi voir l’analyse convexe, comme une voie d’accès à l’ « analyse non lisse », qui décrit des situations où sont utilisées des notions de différentiabilité plus faibles que la différentiabilité de Fréchet et qui est précieuse dans l’étude des « inéquations variationnelles », en « mécanique du contact », etc.

Le cours est divisé en deux parties : OPT201 et OPT202. Dans la première partie, décrite ici, on se concentre sur les techniques de base : les conditions d’optimalité, les notions essentielles de l’analyse convexe, l’algorithmique des problèmes d’optimisation sans contrainte et la pénalisation.

Méthodes de Monte-Carlo et Méthodes numériques statistiques (S2, 5 ECTS)

Dans les modèles probabilistes, les problèmes posés se ramènent souvent à des calculs d’espérance. Or ces calculs peuvent rarement se faire de façon analytique et nécessitent une approche numérique.
On désigne par le vocable générique de « méthode de Monte-Carlo » toute méthode numérique utilisant le tirage de nombres aléatoires. L’objectif de ce cours est de comprendre l’analyse mathématique de ces algorithmes et d’en maîtriser la programmation. Une mise-en-œuvre informatique des techniques abordées sera effectuée lors des séances de TPs.

Les thèmes abordés sont les suivants :

  • Procédés généraux de simulation des variables aléatoires
  • Principe de la méthode de Monte-Carlo et techniques de réduction de variance associées
  • Discrétisation en temps de processus de diffusion : schémas d’Euler et de Milhstein
  • Méthodes d’arbres

D’autres cours sont proposés sur le site web du M1 MA

Cours d’informatique (M1)

Optimisation continue et combinatoire (S2, 2.5 ECTS)

Ce cours est composé de 3 parties :

  • Optimisation continue : Introduction à la programmation linéaire, Méthode révisée du simplexe, Théorie de la dualité et analyse de la sensibilité, Géométrie de la programmation linéaire, Analyse de la complexité et méthode de l’ellipsoïde, Méthodes de points intérieurs ( algorithmes affines scaling), Introduction à l’optimisation convexe (méthodes de gradient, conditions d’optimalité, méthodes sans gradient, MPI pour les problèmes convexes et complexité).
  • Optimisation combinatoire : Bornes, optimalité et relaxation ; problèmes d’affectation et de couplages, programmation dynamique, Branch and Bound.
  • Optimisation en présence d’incertitude : Optimisation robuste et introduction à l’optimisation stochastique.
    TP sur un logiciel du commerce (CPLEX, Mosek).

Volume horaire
CM : 15h, TD : 27h
Mode de contrôle des connaissances
Session 1 : 1/3 Partiel + 2/3 Examen terminal - Session 2 : Examen terminal

Algorithmique avancée, semestre (S1, 5 ECTS)

Ce cours est composé de 4 parties :

  • Rappels de notions de complexité, Structure de données avancées de graphes + structures de données, permettant des algorithmes efficaces optimaux (union-find), Parcours (notions avancées)
    Flots (Ford-Fulkerson, Edmonds-Karp), Arbre couvrant de poids Min, Plus Court Chemin
  • Base de théorie de la complexité (P, NP, NPC, réduction polynomiale). A priori sans introduire les machines de Turing et en admettant SAT comme NP-complet.
  • Introduction à la programmation linéaire, Méthode révisée du simplexe, Théorie de la dualité et analyse de la sensibilité, Géométrie de la programmation linéaire, Analyse de la complexité et méthode de l’ellipsoïde.
  • Cryptographie, sensibilisation aux méthodes de chiffrement.

Volume horaire
CM : 21h, TD : 42h
Mode de contrôle des connaissances
Session 1 : 1/3 Partiel + 2/3 Examen terminal - Session 2 : Examen terminal

Introduction à l’apprentissage (S2, 5 ECTS)

Dans de nombreuses applications, l’ordinateur a aujourd’hui un comportement qui peut être qualifié d’intelligent : moteurs de recherche, reconnaissance des personnes dans des images, robotique (Google Car), intelligence artificielle dans les jeux vidéos ou traduction automatique. Les algorithmes mis en œuvre dans ces applications reposent sur la capacité d’un ordinateur à structurer et analyser automatiquement de grandes masses de données à l’aide de méthodes statistiques. Popularisé par le courant des *Big Data*, le succès des méthodes statistiques a donné naissance à une nouvelle discipline, la « science des données » (Data Science).
L’objectif de ce cours est d’introduire le formalisme et les principales
méthodes d’apprentissage statistique au cœur de cette discipline. Il abordera
notamment les notions suivantes :

  • extraction de caractéristiques / représentation des données
  • algorithme d’apprentissage supervisé (perceptron, SVM, réseau de neurones, deep learning)
  • algorithme d’apprentissage non-supervisé (k-means)
  • statistiques descriptives
    Chaque cours est composé d’une courte partie théorique qui introduit une nouvelle notion et d’un TP qui vise à mettre en œuvre sur cette notion sur un cas concret (recommandation de films, reconnaissance d’images, extraction automatique de dictionnaire bilingue...)

Volume horaire
CM : 15h, TP : 27h
Mode de contrôle des connaissances
Session 1 : Contrôle Continu (projet+soutenance) , pas de Session 2

Programmation parallèle et distribuée (S1, 2.5 ECTS)

  • Partie : Algorithmes pour les systèmes répartis et le cloud.
    Le but de cette partie du cours est de faire comprendre les problèmes qui se posent lors de la conception d’un système réparti et de donner des solutions à ces problèmes. Les algorithmes présentés concernent exclusivement le modèle à passage de messages. Un accent particulier sera mis sur les preuves de correction ainsi que sur la complexité des solutions présentées. Le difficile aspect lié à la tolérance aux défaillances sera abordé lors des séances consacrées au consensus et à l’auto-stabilisation.
    Enfin une dernière section fera le lien avec des problèmes particuliers posés aux nuages répartis.
  • Partie : Algorithmes et programmation parallèles
    Il s’agit ici de sensibiliser les étudiants aux différentes problématiques des systèmes distribués et des machines parallèles. Il fournit un premier contact avec les différentes architectures parallèles (multi-cœurs, multi-processeurs, accélérateurs, extensions multimédia) et constitue une introduction au calcul haute-performance.

Volume horaire
CM : 21h, TP : 21h, TD : 21h
Mode de contrôle des connaissances
Session 1 : 1/4 Contrôle continu + 1/4 Partiel + 1/2 Examen terminal - Session 2 : Examen terminal

D’autres cours sont proposés sur le site web du M1 d’informatique

Cours spécialisés (M2)

au choix dans le catalogue des M2 StatML, MVA, Optimisation, Proba-Stats et AIC