• Le site web du cours est sur est sur le nouveau système STUDIUM (Moodle): https://studium.umontreal.ca
• Professeur: Pascal Vincent. Consultation: après le cours ou sur rendez-vous. Je suis notoirement très lent à répondre aux emails. Si vous avez des questions pressantes à me poser, essayez si possible de venir directement me voir. Le mieux c'est à la fin d'un cours.
• Démos: Vos démonstrateurs sont Grégoire Mesnil et Xavier Glorot.
• Pour nous joindre par voie électronique: Si vous avez des questions posez-les de préférence sur le forum questions-réponses du cours. Nous tâcherons d'y répondre directement sur le forum pour le bénéfice de tous. Si vous voulez nous poser des questions privées aux démonstrateurs et à moi-même, envoyez un emai à dift3395@iro.umontreal.ca

Horaire

Contenu et objectifs du cours

Ce cours est une introduction aux algorithmes d'apprentissage, un champ de recherche en intelligence artificielle. Ces algorithmes ont pour objectif de permettre à la machine d'apprendre à partir d'exemples. Le focus du cours est la classification et la régression on observe un ensemble de paires (observation, cible) où la cible est par ex. une classe et on essaye de prédire la cible correspondant à une nouvelle observation. Les applications classiques de ces algorithmes se font dans le domaine de reconnaissance des formes (caractères, parole, etc.). Dans les dernières années plusieurs nouveaux champs d'applications sont apparus: le forage des données, l'analyse statistique de données textuelles, ou la gestion quantitative de portefeuilles financiers, l'analyse des expressions génétiques, etc. La matière du cours peut être donc exploitée dans nombreux domaines de l'informatique.

Le cours couvrira les sujets suivants: notions générales (terminologie de base, généralisation, malédiction de la dimensionalité, capacité, comparaison des classifieurs), algorithmes supervisés (k plus proches voisins, classifieurs linéaires, réseaux de neurones, machines à vecteur de support, arbres de décision et régression, boosting), algorithmes non- supervisés (analyse des composantes principales, quantisation vectorielle, méthode de k-moyennes, méthodes spectrales), modèles graphiques.

Evaluation

Pour IFT6390

Pour IFT3395

Remarque: Le projet est obligatoire pour les étudiants d'IFT6390 mais optionnel pour les étudiants d'IFT3395. Les étudiants d'IFT3395 qui souhaitent ardamment réaliser un projet peuvent le faire. Leur note finale sera alors calculée selon le barème IFT6390 ou IFT3395 qui résultera en la meilleure note. Remarquez cependant qu'un projet exige un important travail supplémentaire. Cette option n'est donc recommandée qu'aux étudiants désireux d'appliquer l'apprentissage machine à un projet de leur choix, qui leur tient à coeur, et motivés à y consacrer suffisamment de temps. Dans tous les cas cette option est soumise à l'approbation du projet par le professeur.

• Les examens porteront sur toute la matière vue jusqu'à lors.
  
• Travaux pratiques: 3 à 6 devoirs comportant des parties théoriques et des parties de programmation. Ils se font individuellement.
• Projet: (optionnel pour les étudiants d'IFT3395).
  Le projet se fait par équipe (habituellement équipe de 2).
  Application des algorithmes d'apprentissage à une tâche proposée par l'étudiant et/ou implémentation d'un nouvel algorithme d'apprentissage (programmation, expérimentation, et comparaison de performance). Le projet doit être préalablement approuvé par le professeur. Proposition de projet (1 page) dûe fin septembre. Rapport d'étape (2 pages) dû fin octobre. Vous devrez, fin novembre, remettre un rapport final de projet (max. 8 pages, style NIPS) avant d'effectuer une présentation orale de votre projet (15 à 20 mn pendant les dernières semaines du cours). La note du projet sera basée sur tous les documents remis ainsi que sur la qualité de votre présentation orale.

Travaux et examens:

Vous pourrez remettre vos travaux sur le site Moodle du cours. C'est aussi sur Moodle que vous pourrez voir vos notes pour les travaux et exmanes.

ATTENTION à la la fraude et le plagiat! L'Université de Montréal a désormais une politique stricte en cas de fraude ou plagiat. Si une infraction est constatée, le professeur est tenu de faire un rapport au directeur du département. Une procédure administrative est alors automatiquement enclenchée avec les conséquences suivantes: l'infraction est notée à votre dossier, et une sanction est décidée (qui peut être grave et aller jusqu'au renvoi en cas de récidive). Alors faites le travail vous-même!

Livres de référence pour le cours

Aucun livre n'est obligatoire pour suivre le cours. Pour approfondir la matière du cours vous pouvez vous référer à l'un ou l'autre des livres suivants :

• Duda, Hart and Stork, Pattern Classification, Wiley-Interscience, 2000.
  Nouvelle édition d'un grand classique. Une bonne partie du matériel du cours a été basée sur ce livre.
• Christopher Bishop, Pattern Recognition and Machine Learning , Springer, 2006.
  Ouvrage récent avec une forte emphase sur l'approche Bayesienne et les techniques d'inférence Bayesienne.
• David J.C. MacKay,Information Theory, Inference & Learning Algorithms , Cambridge University Press, 2003.
  L'apprentissage machine et ses liens avec la théorie de l'information. Point de vue particulièrement intéressant pour les personnes ayant une formation en Physique.
  On peut également le télécharger librement du site web de l'auteur.
• Hastie, Tibshirani, Friedman, The Elements of Statistical Learning , Springer-Verlag, 2001.
  L'apprentissage machine expliqué par des statisticiens.
• Stephen Marsland, Machine Learning: An Algorithmic Perspective. Chapman & Hall 2009.
  Pour les informaticiens purs et durs: les algorithmes d'apprentissage expliqués avec du code Python.