IFT6266 A03 - Cours et horaire

Contenu des cours

  • 3 sept -- premier cours
    Cours 1: Introduction à l'apprentissage statistique, généralisation et capacité (notes de cours)
    Voir aussi les notes de lectures pour cette semaine.

  • 8 septembre -- Cours 2: Apprentissage supervisé et régression
    régression par l'algorithme du K-plus proche voisin, régression linéaire, malédiction de la dimensionalité. Voir chapitre 2 de HTF, résumé ici. On a vu jusqu'à la section 2.5.

  • 10 septembre: devoir 1 annoncé.
  • 10 septembre -- Cours 3: Apprentissage supervisé, classification, maximum de vraisemblance
    Suite du chapitre 2 de HTF, résumé ici, de la section 2.5 à la section 2.8.1.
  • 15 septembre -- Cours 4: Algorithmes non-paramétriques classiques et dilemme biais-variance
    Fin du chapitre 2 de HTF, en particulier la section 2.8.2, et aussi mes anciennes notes sur les modèles statistiques paramétriques et non-paramétriques [ps] [pdf]. Voir aussi mes anciennes notes sur la reconnaissance des formes [ps] [pdf].
  • 17 septembre -- Cours 5: Extensions à la régression linéaire: sélection de variables, régression ridge, composantes principales, PLS. Chapitre 3 de HTF, résumé ici [ps] ou [pdf]. Il pourra être utile de réviser un peu l'algèbre linéaire, par exemple le chapitre de Sam Roweis ps.gz. Slides de la présentation de Yves Grandvalet sur le LASSO.
  • 22 septembre -- Cours 6: suite du chapitre 3 de HTF ([ps] ou [pdf]). Introduction aux réseaux de neurones multi-couche [html] [ps] (voir aussi chapitre 11 de HTF).
  • 24 septembre -- Cours 7: Réseaux de neurones multi-couche [html] [ps] (voir aussi chapitre 11 de HTF).
  • 29 septembre -- Cours 8: Correction du devoir 1, [ps] [pdf].
  • 1er octobre -- Cours 9: fin de la correction du devoir 1, et suite des réseaux de neurones multi-couche. [html] [ps].
  • 6 octobre -- Cours 10: suite des réseaux de neurones multi-couche, éléments pratiques de leur utilisation [ps] [pdf].
    Voir aussi les notes de Andrew Moore sur les réseaux de neurones pdf.

  • 8 octobre -- Cours 11: optimisation des réseaux de neurones (et autres classes de fonctions) par méthodes numériques.
    Fin de des notes sur les éléments pratiques. [ps] [pdf].
    Voir aussi les notes de Sam Roweis sur le sujet [ps]
  • 20 octobre -- Cours 12: introduction aux modèles probabilistes graphiques (réseaux Bayesiens) [ps] [pdf].
    Voir aussi les notes de Sam Roweis sur la Balle de Bayes [ps] et l'introduction d'Andrew Moore aux réseaux Bayesiens [pdf].
  • 22 octobre -- Cours 13: suite, réseaux Bayesiens.
  • 27 octobre -- pas de cours, l'examen intra se fait en classe.
  • 29 octobre -- correction du TP2. [ps] [pdf]
  • 3 novembre -- correction de l'intra. [ps] [pdf]
  • 5 novembre -- L'algorithme EM. Slides de Sam Roweis sur EM [ps] [pdf]
    Voir aussi la discussion sur l'algorithme EM dans mes anciennes notes sur le clustering [ps] [pdf]
  • 10 novembre -- EM et modèles graphiques. Suite du dernier cours: Mélanges de Gaussiennes [ps] [pdf] et [ps] [pdf]. Intro aux modèles de Markov cachés (HMMs) ps.

  • 12 novembre -- Apprentissage non-supervisé. Analyse en composantes principales, algorithme K-moyennes, clustering spectral, LLE, Isomap, kernel PCA. Notes de cours résumant ces algorithmes: [ps] [pdf]. Le devoir 3 (le dernier) est donné.

  • 17 novembre -- Partage de paramètres, réseaux de neurones à délai pour séries chronologiques, réseaux de neurones à convolution pour les images, classifieur à distance tangente.
    [ps] [pdf]. Site web de Yann Le Cun, avec démos des réseaux à convolution.

  • 19 novembre -- Réseaux de neurones récurrents pour données temporelles. Cours donné par Douglas Eck. [presentation en pdf] [algorithme LSTM, powerpoint]

  • 24 novembre -- Chapitre 7 du livre de Hastie, Tibshirani, Friedman. Sélection de modèles. Estimateurs de l'optimisme sur l'erreur d'apprentissage (AIC, BIC, MDL). VC-Dimension. Bornes sur l'erreur de généralisation. Validation croisée. Validation séquentielle. Bootstrap.
    Résumé du chapitre (et autres éléments) [ps] [pdf]

  • 26 novembre -- Fin du chapitre 7 (double validation croisee), et Chapitre 8 du livre de Hastie, Tibshirani, Friedman. Incertitude autour des prédictions. Inférence Bayesienne. Bagging. Stacking. [ps] [pdf]

  • 1er décembre -- Fin du chapitre 8 [ps] [pdf]
    et introduction aux processus Gaussiens.

  • 3 décembre -- correction du TP3 et révision pour l'examen final.


  • [ Site du cours | Informations sur le cours | Notes de cours et horaire | Livre et lectures | Devoirs et examens | Expérimentation informatique | ]

    IFT6266 A03 - Algorithmes d'Apprentissage || www.iro.umontreal.ca/~pift6266/A03