Apprentissage - 2015

Cours M1 de la filière informatique à l'École normale supérieure

Cours de l'année 2014
Cours de l'année 2013
Cours de l'année 2012



Enseignants


Ce cours est co-enseigné par deux chercheurs: Simon Lacoste-Julien (responsable du cours) et Francis Bach.

Un chargé de TD assurera les séances pratiques (Jean-Baptiste Alayrac).


Résumé du cours

L'apprentissage statistique est une discipline en plein essor à l'interface de l'informatique et des mathématiques appliquées (probabilités / statistiques, optimisation, etc.) et qui joue aujourd'hui un rôle majeur en matière d'innovation technologique.

À la différence d'un cours de statistique traditionnel, l'apprentissage statistique se préoccupe particulièrement de l'analyse de données de grande dimension ainsi que de l'efficacité des algorithmes pour traiter d'importants volumes de données telles que rencontrées dans des domaines d'applications divers tels l'analyse d'image et du son, le traitement automatique du langage, la bioinformatique ou la finance.

L'objectif du cours est de présenter les théories et algorithmes majeurs de l'apprentissage statistique. Les méthodes abordées reposeront en particulier sur des arguments d'analyse convexe et de statistiques. Les séances de TDs (dont plus de la moitié seront réalisées sur machines) donneront lieu à des implantations simples des algorithmes vus en cours et à une application à différents domaines comme la vision ou le traitement du langage. Ce cours a comme débouché naturel le master M2 MVA de l'ENS de Cachan.

Les seuls pré-requis sont d'être familier avec les fondements de la théorie des probabilités (notion de variables aléatoires, théorèmes de convergence, espérance conditionnelle).



Méthode pédagogique, attendus et critères d'évaluation

L'objectif de ce cours est de mêler
-- théorie (des théorèmes seront prouvés)
-- et pratique (des algorithmes seront à implémenter sur données réelles ou artificielles).

Nous alternerons, dans la mesure du possible,
-- cours magistral,
-- exercices de mise en application ou d'approfondissement (ensemble ou à la maison),
-- codage d'algorithmes (en Matlab).

Ce cours durera 52 heures (30 heures de cours + 22 heures de TDs) et peut être validé pour 6 ECTS.

La note du cours sera déterminée à 60% par l'examen et 40% par un TP à rendre.


Notes de cours et déroulement prévisionnel

Les cours auront lieu les vendredis matins, de 8h30 à 12h30, dans la Salle UV.
Le déroulement normal sera un cours magistral de 8h30 à 10h20, suivie d'une pause d'environ 20 minutes, et d'un TD de 10h40 à 12h30. Apportez votre portable pour le TD!
Pour utiliser Matlab sur votre portable: vous avez deux options dans le DI:
  1. soit vous installez Matlab directement sur votre portable; pour cela, envoyez un courriel à Jacques Beigbeder du SPI pour les instructions et la licence; en précisant l'OS de votre machine: Windows 32 bits, Windows 64 bits, Linux (64 bits uniquement) ou MacOS (64 bits uniquement)
  2. soit vous utilisez Matlab à distance (par SSH) sur les ordinateurs du DI (pour avoir accès à l'interface graphique vous pouvez utiliser FreeNX qui est très rapide selon Jacques Beigbeder).
18/09 Simon
Simon
2h
2h
Introduction
Apprentissage supervisé

TP d'introduction à Matlab
25/09 Simon
JB
2h
2h
Méthodes par moyennage local [preuve thm. 3 corrigée 1/10]
(TD) Apprentissage supervisé
02/10 Simon
JB
2h
2h
Validation croisée / sélection de modèles
(TD) Méthodes par moyennage local
09/10 Francis
JB
2h
2h
Analyse convexe
(TD) Analyse convexe
16/10 Francis
JB
2h
2h
Optimisation convexe
(TD) Optimisation convexe
23/10 Simon
JB
2h
2h
Théorie, concentration et borne PAC
(TD) Théorie, concentration et borne PAC
30/10 Simon
JB
2h
2h
Méthodes probabilitistes (maximum de vraisemblance)
(TD) Méthodes probabilistes (maximum de vraisemblance)
06/11 Simon
JB
2h
2h
Régression linéaire / logistique
(TP/TD) Régression linéaire / logistique
13/11 Francis
JB
2h
2h
Méthode à noyaux (I)
(TD) Méthode à noyaux (I)
20/11 Francis
JB
2h
2h
Méthode à noyaux (II)
(TD) Méthodes à noyaux (II)
27/11 Francis
JB
2h
2h
Classification linéaire par pertes convexes
(TD) Kmeans et PCA
04/12 Simon
JB
2h
2h
Régularisation (Stein, analyse biais/variance)
(TD) Régularisation (Stein, biais/variance)
08/01 Simon
Simon
2h
2h
Prédiction structurée
Résumé et questions / réponses
22/01 3h EXAMEN


Last updated: January 18th, 2016.