|
IFT6266 A03 - Cours et horaire
Contenu des cours
- 3 sept -- premier cours
Cours 1: Introduction à l'apprentissage statistique,
généralisation et capacité
(notes de cours)
Voir aussi les notes de lectures pour cette semaine.
- 8 septembre -- Cours 2: Apprentissage supervisé et régression
régression par l'algorithme du K-plus proche voisin, régression linéaire,
malédiction de la dimensionalité. Voir chapitre 2 de HTF,
résumé ici. On a vu jusqu'à la
section 2.5.
- 10 septembre: devoir 1 annoncé.
- 10 septembre -- Cours 3: Apprentissage supervisé, classification, maximum de vraisemblance
Suite du chapitre 2 de HTF, résumé ici,
de la section 2.5 à la section 2.8.1.
- 15 septembre -- Cours 4: Algorithmes non-paramétriques classiques et dilemme biais-variance
Fin du chapitre 2 de HTF, en particulier la section 2.8.2,
et aussi mes anciennes notes sur les modèles statistiques paramétriques et non-paramétriques
[ps]
[pdf].
Voir aussi mes anciennes notes sur la reconnaissance des formes
[ps]
[pdf].
- 17 septembre -- Cours 5: Extensions à la régression linéaire: sélection de variables,
régression ridge, composantes principales, PLS. Chapitre 3 de HTF, résumé ici
[ps] ou [pdf].
Il pourra être utile de réviser un peu l'algèbre linéaire, par exemple
le chapitre de Sam Roweis
ps.gz.
Slides de la présentation de Yves Grandvalet sur le
LASSO.
- 22 septembre -- Cours 6: suite du chapitre 3 de HTF
([ps] ou [pdf]).
Introduction aux réseaux de neurones multi-couche
[html]
[ps]
(voir aussi chapitre 11 de HTF).
- 24 septembre -- Cours 7: Réseaux de neurones multi-couche
[html]
[ps]
(voir aussi chapitre 11 de HTF).
- 29 septembre -- Cours 8: Correction du devoir 1,
[ps]
[pdf].
- 1er octobre -- Cours 9: fin de la correction du devoir 1,
et suite des réseaux de neurones multi-couche.
[html]
[ps].
- 6 octobre -- Cours 10: suite des réseaux de neurones multi-couche,
éléments pratiques de leur utilisation
[ps]
[pdf].
Voir aussi les notes de Andrew Moore sur les réseaux de neurones
pdf.
- 8 octobre -- Cours 11: optimisation des réseaux de neurones
(et autres classes de fonctions) par méthodes numériques.
Fin de
des notes sur les éléments pratiques.
[ps]
[pdf].
Voir aussi les notes de Sam Roweis sur le sujet
[ps]
- 20 octobre -- Cours 12: introduction aux modèles
probabilistes graphiques (réseaux Bayesiens)
[ps]
[pdf].
Voir aussi les notes de Sam Roweis sur la
Balle de Bayes
[ps]
et l'introduction d'Andrew Moore aux réseaux Bayesiens
[pdf].
- 22 octobre -- Cours 13: suite, réseaux Bayesiens.
- 27 octobre -- pas de cours, l'examen intra se
fait en classe.
- 29 octobre -- correction du TP2.
[ps]
[pdf]
- 3 novembre -- correction de l'intra.
[ps]
[pdf]
- 5 novembre -- L'algorithme EM.
Slides de Sam Roweis sur EM
[ps]
[pdf]
Voir aussi la discussion sur l'algorithme EM
dans mes anciennes notes sur le clustering
[ps]
[pdf]
- 10 novembre -- EM et modèles graphiques. Suite du
dernier cours:
Mélanges de Gaussiennes
[ps]
[pdf]
et
[ps]
[pdf].
Intro aux modèles de Markov cachés (HMMs)
ps.
- 12 novembre -- Apprentissage non-supervisé. Analyse en composantes
principales, algorithme K-moyennes,
clustering spectral,
LLE,
Isomap,
kernel PCA. Notes de cours résumant ces algorithmes:
[ps]
[pdf].
Le devoir 3 (le dernier) est donné.
- 17 novembre -- Partage de paramètres, réseaux de neurones à délai pour
séries chronologiques,
réseaux de neurones à convolution pour les images, classifieur à distance tangente.
[ps]
[pdf].
Site web de Yann Le Cun, avec démos des réseaux à convolution.
- 19 novembre -- Réseaux de neurones récurrents pour données temporelles.
Cours donné par Douglas Eck.
[presentation en pdf]
[algorithme LSTM, powerpoint]
- 24 novembre -- Chapitre 7 du livre de Hastie, Tibshirani, Friedman.
Sélection de modèles. Estimateurs de l'optimisme sur l'erreur
d'apprentissage (AIC, BIC, MDL). VC-Dimension. Bornes sur l'erreur
de généralisation. Validation croisée.
Validation séquentielle.
Bootstrap.
Résumé du chapitre (et autres éléments)
[ps]
[pdf]
- 26 novembre -- Fin du chapitre 7
(double validation croisee), et
Chapitre 8 du livre de Hastie, Tibshirani, Friedman.
Incertitude autour des prédictions. Inférence Bayesienne. Bagging.
Stacking.
[ps]
[pdf]
- 1er décembre -- Fin du chapitre 8
[ps]
[pdf]
et introduction aux
processus Gaussiens.
- 3 décembre -- correction du TP3 et révision pour l'examen final.
[
Site du cours |
Informations sur le cours |
Notes de cours et horaire |
Livre et lectures |
Devoirs et examens |
Expérimentation informatique |
]
IFT6266 A03 - Algorithmes d'Apprentissage || www.iro.umontreal.ca/~pift6266/A03
|