============================= IFT6266: Plan de chaque cours ============================= Tableau résumé des cours et lectures (cliquer sur la date pour les détails de chaque cours) ================== ====================== =============================================================================================== Date Sujets À lire en priorité ================== ====================== =============================================================================================== `31 mars`_ Révision Toutes les notes de cours. `29 mars`_ DBNs :ref:`dbn` `24 mars`_ 2 articles AISTATS `22 mars`_ DBNs :ref:`dbn` `17 mars`_ RBMs en Theano `Tutorial sur les RBMs en Theano `_. `15 mars`_ RBMs, entraînement Section 5 de `Learning Deep Architectures for AI `_. :ref:`trainrbm`. `10 mars`_ RBMs Section 5 de `Learning Deep Architectures for AI `_. Intro à :ref:`rbm`. :ref:`trainrbm`. `8 mars`_ Gibbs et RBMs Section 5 de `Learning Deep Architectures for AI `_. Intro à :ref:`rbm`. `24 février`_ Inférence et MCMC Intro aux :ref:`deepgm`. `22 février`_ Modèles probabilistes Intro aux :ref:`deepgm`. `17 février`_ Entraînement profond :ref:`deepchallenge`. `15 février`_ Auto-encodeurs empilés `Denoising Auto-Encoders `_ `12 février`_ Auto-encodeurs `Tutoriel sur les auto-encodeurs débruitants `_ `10 février`_ Auto-encodeurs Section 4.6 de `Learning Deep Architectures for AI `_ `8 février`_ Réseaux à convolution `Tutoriel sur les réseaux à convolution `_, `3 février`_ Réseaux à convolution `Neocognitron `_ et `LeNet `_. Journal d'expérience `Exemple de journal d'expérience `_. Réseaux à délais `Time-Delay Neural Networks `_ `1er février`_ Entraînement des MLPs :ref:`trainmlp`. Jobman `Documentation de Jobman `_. Réseaux à convolution `Neocognitron `_ et `LeNet `_. `27 janvier`_ python, numpy, Theano Documentation sur `python `_, `numpy `_, et `Theano `_. DeepLearningTutorial Exemple avec la `Régression logistique `_. Notes sur :ref:`l'entraînement des MLPs `. `25 janvier`_ python, numpy, Theano Documentation sur `python `_, `numpy `_, et `Theano `_. Régression logistique Exemple avec la `Régression logistique `_. Notes sur :ref:`l'entraînement des MLPs `. `20 janvier`_ Réseaux de neurones `Efficient Backprop `_. `Intro au tutorial profond de Theano `_. `Démarrage du tutoriel `_. `18 janvier`_ Le calcul du gradient Notes sur le :ref:`calcul du gradient `. `13 janvier`_ Le gradient Notes sur le :ref:`gradient `. `11 janvier`_ Intro aux Notes introductoires sur les :ref:`architectures profondes `, architectures Sec. 1 de `Learning Deep Architectures for AI `_. profondes `6 janvier`_ Intro au cours `plan de cours `_ . Intro à `diapos. `_ . l'apprentissage Notes introductoires sur :ref:`l'apprentissage `, Sec. 1 et 2 de `Scaling Learning Algorithms towards AI `_. ================== ====================== =============================================================================================== 31 Mars ---------- * Révision en vue de l'examen final 29 Mars ---------- * :ref:`dbn` * Révision en vue de l'examen final 24 Mars ---------- 2 présentations d'articles de AISTATS 2010: * Guillaume Desjardins: Parallel Tempering for Training of Restricted Boltzmann Machines * Xavier Glorot: Understanding the difficulty of training deep feedforward neural networks 22 Mars ---------- * Intro aux :ref:`dbn` 17 Mars ---------- * `Tutorial sur les RBMs en Theano `_ 15 Mars ---------- * :ref:`trainrbm`. Contrastive divergence et PCD. Section 5 de `Learning Deep Architectures for AI `_ 10 Mars ---------- * :ref:`rbm`. Gradient dans les MRFs et les RBMs. Gibbs dans les machines de Boltzmann et les RBMs. Section 5 de `Learning Deep Architectures for AI `_ 8 Mars ---------- * Champs markoviens, machine de Boltzmann et RBMs. :ref:`rbm`. Section 5 de `Learning Deep Architectures for AI `_ 24 Février ---------- * MCMC et Gibbs * Inférence dans les modèles probabilistes 22 Février ---------- * Intro aux :ref:`deepgm`. * Modèles probabilistes graphiques: matière préparatoire pour les RBMs et DBNs. 17 Février ---------- * Résumé des :ref:`dae` * Difficulté d'entraîner des architectures profondes. Section 4.2 de `Learning Deep Architectures for AI `_, et le résumé sur :ref:`deepchallenge`. * Pré-entraînement non-supervisé couche par couche et ajustement supervisé. Section 6 de `Learning Deep Architectures for AI `_ 15 Février ---------- * Auto-encodeurs débruitants empilés * `Présentation de Pascal Vincent sur les auto-encodeurs débruitants `_ * Article original sur les `Denoising Auto-Encoders `_ 12 Février ---------- * Auto-encodeurs et auto-encodeurs débruitants * Survol des auto-encodeurs: section 4.6 de `Learning Deep Architectures for AI `_ * `Tutorial sur les auto-encodeurs débruitants `_ 10 Février ---------- * Auto-encodeurs * Survol des auto-encodeurs: section 4.6 de `Learning Deep Architectures for AI `_ 8 Février --------- * Fin de la discussion sur les réseaux à convolution * `Tutoriel sur les réseaux à convolution pour Theano `_ * Auto-encodeurs * Survol des auto-encodeurs: section 4.6 de `Learning Deep Architectures for AI `_ 3 Février --------- * Réseaux à convolution * `LeNet `_ * `Time-Delay Neural Networks `_ * Comment faire un `journal d'expérience `_ * Discussion sur les tickets et le projet 1er Février ----------- * Intro à `Jobman `_ pour céduler et organiser des jobs d'expériences, et `exemple d'utilisation avec les MLPs `_ * `Présentation de Dumitru Erhan sur Jobman. `_ * Suite de l'entraînement des réseaux de neurones et choix des hyper-paramètres (:ref:`trainmlp`) * Intro aux réseaux à convolution * `Néocognitron `_ * `LeNet `_ * `Tutoriel sur les réseaux à convolution pour Theano `_ 27 Janvier ---------- * Introduction à mercurial pour la gestion des révisions de code, `présentation de Dumitru Erhan `_ * Suite de l'entraînement des réseaux de neurones: * Arrêt prématuré (early stopping): :ref:`trainmlp` * Réponses aux questions sur `python `_, `numpy `_, et `Theano `_. * `Démarrage du tutorial profond de Theano `_ * Exemple sur la `régression logistique `_ en Theano. 25 Janvier ---------- * Suite de l'entraînement des réseaux de neurones: * :ref:`backprop` * :ref:`logreg` * :ref:`trainmlp` * Plan de travail pour les premières semaines du projet. Discussions sur les transformations des images pour générer plus de variations et produire un classifieur plus robuste à toutes sortes de bruits et de variations. 20 Janvier ---------- * :ref:`mlp` * :ref:`loss` * `Discussion sur les objectifs et le cadre du projet `_ * Introduction à `Theano `_ * Intro au `tutoriel profond de Theano `_ 18 Janvier ---------- * :ref:`flowgraph` * :ref:`mlp` * :ref:`mln` * :ref:`loss` 13 Janvier ---------- * :ref:`gradient` * :ref:`grad` * :ref:`gd` * :ref:`sgd` * :ref:`minibatch` * :ref:`momentum` * :ref:`lrate` 11 Janvier ---------- * :ref:`deepintro` * :ref:`depth` * :ref:`motivations` * :ref:`insufficientdepth` * :ref:`brain` * :ref:`cognition` * :ref:`breakthrough` 6 Janvier --------- * Introduction au cours, objectifs du cours, modalités d'évaluation (`plan de cours `_) * :ref:`mlintro` * :ref:`Intelligence` * :ref:`AI` * :ref:`ML` * :ref:`learning` * :ref:`supervised` * :ref:`unsupervised` * :ref:`local` * :ref:`distributed`