Université de Montréal

Faculté des arts et des sciences -Secteur des sciences
Département d'informatique et de recherche opérationnelle


Département d'informatique et de recherche opérationnelle
Fr   En

Séminaires UdeM-McGill-Mprime d’Apprentissage Automatique


(PNG)

Bienvenue à la page officielle des Séminaires UdeM-McGill-MPrime d’Apprentissage Automatique. Cette initiative de l’Université de Montréal et de l’Université McGill a pour objectif :

  • de diffuser les travaux de recherche effectués par ces deux universités en apprentissage automatique et de susciter les échanges entre celles-ci
  • d’offrir des présentations introductives sur des sujets d’apprentissage automatique
  • d’accueillir des conférenciers invités

Les séminaires se tiennent en alternance à l’Université de Montréal et à l’Université McGill, et sont donnés en anglais. La date et le lieu sont spécifiés pour chaque séminaire.

Pour s’inscrire à la liste de diffusion, utiliser l’interface mailman. Pour toute question ou suggestion, contacter :

  • Guillaume Desjardins (desjagui[at]iro[dot] umontreal[dot]ca), étudiant au doctorat à l’UdeM (laboratoire LISA, DIRO),
  • Doina Precup (dprecup[at]cs[dot]mcgill[dot]ca), professeure adjointe à McGill,

De plus, une liste de diffusion dédiée à la neuroscience computationnelle a été mise sur pied par François Rivest, étudiant au Département d’Informatique et de Recherche Opérationnelle, pour les chercheurs du Québec. L’objectif de cette initiative est de stimuler la recherche en neuroscience computationnelle et surtout d’aider à développer de solides collaborations multidisciplinaires dans le domaine au Québec.

Pour s’inscrire à cette liste, visitez http://www.listes.umontreal.ca/wws/info/neuralcomp. Pour diffuser sur cette liste, envoyez un courriel à neuralcomp[at]listes.umontreal.ca. N’hésitez pas à diffuser sur cette liste les annonces d’intérêts pour les neurosciences computationnelles.


-  Prochain séminaire

Date : Mardi 25 octobre 2011 à 14h00.
Lieu : LISA lab (à venir)

Conférencier : Richard Socher, Stanford
Titre : Recursive Deep Learning in Natural Language Processing and Computer Vision.

Hierarchical and recursive structure is commonly found in different modalities, including natural language sentences and scene images. I will present some of our recent work on three recursive neural network architectures that learn meaning representations for such hierarchical structure. These models obtain state-of-the-art performance on several language and vision tasks.

The meaning of phrases and sentences is determined by the meanings of its words and the rules of compositionality. We introduce a recursive neural network (RNN) for syntactic parsing which can learn vector representations that capture both syntactic and semantic information of phrases and sentences. For instance, the phrases "declined to comment" and "would not disclose" have similar representations. Since our RNN does not depend on specific assumptions for language, it can also be used to find hierarchical structure in complex scene images. This algorithm obtains state-of-the-art performance for semantic scene segmentation on the Stanford Background and the MSRC datasets and outperforms Gist descriptors for scene classification by 4%.

The ability to identify sentiments about personal experiences, products, movies etc. is crucial to understand user generated content in social networks, blogs or product reviews. The second architecture I will talk about is based on recursive autoencoders (RAE). RAEs learn vector representations for phrases sufficiently well as to outperform other traditional supervised sentiment classification methods on several standard datasets. We also show that without supervision RAEs can learn features which outperform previous approaches for paraphrase detection on the Microsoft Research Paraphrase corpus.


-  Séminaires Passés

Voici la liste des séminaires passés, avec leurs acétates de présentation respectives :

Séminaires 2008-2011

[11/10/2011] Learning from Heterogeneous Sources via Gradient Boosting Consensus, par Jean-Francois Paiement [résumé]
[15/09/2011] Information-Geometric Optimization Algorithms : A Unifying Picture via Invariance Principles, par Ludovic Arnold [résumé]
[24/08/2011] An overview and recent insights on Reservoir Computing, par Benjamin Schrauwen [résumé]
[11/05/2011] Wordless sounds aka privacy-sensitive audio, par Hari Parthasarathi [résumé]
[16/03/2011] Learning models of transformed image parts, par Brendan Frey [résumé]
[14/03/2011] On Exponential Families and Expressive Power of Related Generative Models, par Guido Montúfar [résumé]
[04/03/2011] Label Embedding Trees for Large Multi-Class Tasks, par Hugo Larochelle [résumé]
[17/12/2010] Label Embedding Trees for Large Multi-Class Tasks, par Samy Bengio [résumé]
[16/12/2010] Approximate Inference for the Loss-Calibrated Bayesian, par Simon Lacoste-Julien [résumé]
[03/12/2010] Adaptive stochastic search : tuning Gaussians’ covariances, par Rémi Bardenet [résumé]
[26/11/2010] The use of visual information during face recognition and reading, par Frédéric Gosselin [résumé]
[26/10/2010] Tale of a Neural Network : From Part-Of-Speech to Parsing, par Ronan Collobert [résumé]
[19/10/2010] Large Scale Image and Music Annotation : Learning to Rank and Multi-Tasking with Joint Embeddings , par Jason Weston [résumé]
[07/10/2010] Learning Spatial and Transformational Invariants for Visual Representation, par Charles Cadieu [résumé]
[16/07/2010] A fast natural Newton method, par Nicolas Le Roux [résumé]
[14/04/2010] Modèle informatique du coapprentissage des ganglions de la base et du cortex : L’apprentissage par renforcement et le développement de représentations, par François Rivest [résumé]
[04/03/2010] Evaluating and Learning Invariant Features, par Ian Goodfellow [résumé]
[02/02/2010] Apprentissage de fonctions de classification et d’ordonnancement avec des données partiellement étiquetées , par Massih-Reza Amini [résumé]
[24/11/2009] Emergence of Complex-Like Cells in a Temporal Product Network with Local Receptive Fields , par Karol Gregor [résumé]
[20/11/2009] Unlocking Brain-Inspired Computer Vision : a Multi-Disciplinary, High-Throughput Approach , par Nicolas Pinto [résumé]
[18/09/2009] Learning from Multiple Partially Observed Views, par Massih-Reza Amini [résumé] [pdf]
[16/07/2009] Probabilité, reconnaissance des formes et techniques d’optimisation pour multimédias interactifs, par Christopher Pal [résumé]
[22/06/2009] Reinforcement learning and apprenticeship learning for robotic control, par Andrew Ng [résumé]
[27/03/2009] Machine Learning and Computational Linguistics : Tools of the Trade (or, The Data Acquisition Mental Bottleneck), par Jeremy Barnes [résumé]
[13/03/2009] Recent developments in learning deep networks, par Geoffrey Hinton [résumé]
[30/01/2009] New architectures and algorithms for solving deep-memory POMDPs, par Daan Wierstra [résumé]
[21/11/2008] Analysis of EEG data by means of ordinal pattern distributions, par Mathieu Sinn [résumé]
[17/11/2008] Cheap and Fast — But is it Good ?
Evaluating Nonexpert Annotations for Machine Learning Tasks
, par Rion Snow
[résumé]
[11/11/2008] Using fast weights to improve Persistent Contrastive Divergence, par Tijmen Tieleman [résumé]
[16/10/2008] Visualizing high-dimensional data using t-SNE, par Geoffrey Hinton [résumé]
[10/10/2008] Large Scale Learning for Natural Language Processing, par Ronan Collobert [résumé]
[22/08/2008] Differentiable Sparse Coding, par J. Andrew Bagnell [résumé]

Séminaires 2007-2008

[30/06/2008] Hierarchical learning and decision making par Stuart Russell [résumé]
[26/06/2008] Artificial Intelligence in Seven Years ? par Léon Bottou [résumé]
[20/06/2008] Learning hierarchical representations of natural images par Mike Lewicki [résumé] [pdf]
[27/05/2008] Learning in the Sample Compression Framework par Mohak Shah [résumé] [pdf]
[13/05/2008] Deep belief networks are universal approximators and a recurrent neural network that learns to remember par Ilya Sutskever [résumé] [pdf] [code]
[30/04/2008] Learning Deep Hierarchies of Sparse and Invariant Features par Yann LeCun [résumé]
[18/04/2008] Restricted Boltzmann machines : Performance and behavior on image databases and future plans par Karol Gregor [résumé]
[08/04/2008] Aggregate Markov Decision Processes par Hasan Mirza [résumé]
[25/03/2008] Image Classification with Higher-Order Neural Models par James Bergstra [résumé] [pdf]
[25/03/2008] Deep Learning with Denoising Autoencoders par Pascal Vincent [résumé] [pdf]
[14/03/2008] Discriminative Methods with Structure par Simon Julien-Lacoste [résumé] [ppt]
[04/03/2008] A Stochastic Algorithm for Partially Observable Markov Decision Processes (POMDPs) par François Laviolette [résumé]
[19/02/2008] Modelling Image Patches With A Directed Hierarchy Of Markov Random Fields par Simon Osindero [résumé] [pdf]
[22/01/2008] Open Problems in Statistical Machine Translation par Roland Kuhn [résumé] [ppt]
[30/11/2007] A Bayesian approach to analyze water tank signals in the Pierre Auger experiment par Balazs Kegl [résumé] [pdf]
[16/11/2007] Bayesian Reinforcement Learning par Mohammad Ghavamzadeh [résumé]
[02/11/2007] Preliminary steps toward a probabilistic, decision theoretic model of dynamic scene understanding par Nando de Freitas [résumé]
[19/10/2007] Learning the 2-D Topology of Images par Pascal Lamblin [résumé] [pdf]
[28/09/2007] How Many Clusters ? An Information-Theoretic Perspective par Susanna Still [résumé]
[14/09/2007] Optimal Causal Inference par Susanna Still [résumé] [pdf]

Séminaires 2006-2007

[28/09/2006] Modelling high-dimensional sequential data using distributed hidden state par Geoffrey Hinton [résumé]
[05/10/2006] Program Verification using Reinforcement Learning par Sami Zhioua [résumé]
[24/10/2006] An Upper Bound on the Convergence Time of the Gibbs Sampler in Ising Models par Yuichi Shiraishi [résumé] [ps]
[31/10/2006] Dirichlet Processes : Interpretations, Inference and Extensions par Aaron Courville [résumé] [pdf]
[07/11/2006] Bayesian Ranking using Factor Graphs and Expectation Propagation par Dumitru Erhan [résumé] [ppt]
[14/11/2006] PAC-learning of Markov models with hidden state par Doina Precup [résumé] [pdf]
[21/11/2006] Greedy Layer-Wise Training of Deep Networks par Yoshua Bengio [résumé] [ps/nips] [pdf/nips]
[29/11/2006] Decision Making under Parameter Uncertainty par Shie Mannor [résumé] [pdf]
[12/12/2006] Segment Class Models for Music par Darrell Conklin [résumé]
[14/12/2006] Towards Simple and Effective Connectionist Nonparametric Estimation of Probability Density Functions par Edmondo Trentin [résumé] [pdf]
[10/01/2007] Modeling Appearance Patterns in Image Sets par Matt Toews [résumé] [pdf]
[17/01/2007] Hierarchical Boosting and Filter Generation par Marc-Olivier LaBarre [résumé] [pdf]
[25/01/2007] Wake-sleep Algorithm for Representational Learning par Hamid Reza Maei [résumé] [ppt]
[28/02/2007] Machine Learning Based Robotics par Greg Grudic [résumé] [pdf]
[14/03/2007] Topmoumoute Online Natural Gradient Algorithm par Nicolas Le Roux [résumé]
[21/03/2007] An Anytime Error Minimization Search for Online Policy Improvement in Large POMDPs par Stephane Ross [résumé] [pdf]
[28/03/2007] Real Neurons for Machine Learning par François Rivest [résumé] [flash]
[04/04/2007] Sampling-based Planning with Approximate and Learned MDP Models par Cosmin Paduraru [résumé] [pdf]
[11/04/2007] Majority Votes par François Laviolette [résumé] [pdf]
[18/04/2007] Sequence kernels for Speaker Verification using Support Vector Machines par Jérôme Louradour [résumé] [pdf]
[25/04/2007] Constituent Parsing by Classification par Joseph Turian [résumé]
[02/05/2007] Optimizing Disease Outbreak Detection Methods Using Reinforcement Learning par Masoumeh Izadi [résumé] [ppt]
[09/05/2007] Towards the construction of spatio-temporal data patterns in a road trafic urban network par Marc Joliveau [résumé] [pdf]
[16/05/2007] Regret to the Best vs. Regret to the Average par Eyal Even-dar [résumé]
[30/05/2007] Automated Hierarchy Discovery for Planning in Partially Observable Environments par Laurent Charlin [résumé] [pdf]
[13/06/2007] An Empirical Evaluation of Deep Architectures on Problems with Many Factors of Variation par Hugo Larochelle [résumé] [pdf]

Best Of NIPS/IJCAI 2007

  1. iLSTD : Eligibility Traces and Convergence Analysis [pdf], diapositives [pdf]
    de Alborz Geramifard, Michael Bowling, Martin Zinkevich, Richard Sutton,
    présenté par Cosmin Paduraru

  2. Direct Code Access in Self-Organizing Neural Networks for Reinforcement Learning [pdf], diapositives [pdf]
    de Ah-Hwee Tan,
    présenté par Marc G. Bellemare

  3. Efficient Failure Detection On Mobile Robots Using Particle Filters With Guassian Process Proposals
    de Christian Plagemann, Dieter Fox, Wolfram Burgard,
    présenté par Amin Atrash

  4. Solving POMDPs Using Quadratically Constrained Linear Programs [pdf], diapositives [pdf]
    de Christopher Amato, Daniel S. Bernstein, Shlomo Zilberstein,
    présenté par Robert Kaplow

  5. Bayesian Inverse Reinforcement Learning [pdf], diapositives [pdf]
    de Deepak Ramachandran, Eyal Amir,
    présenté par Monica Dinculescu

  6. Linearly-solvable Markov decision problems [pdf], diapositives [pdf]
    de Emanuel Todorov,
    présenté par Jordan Frank

  7. An Efficient Method for Gradient-Based Adaptation of Hyperparameters in SVM Models [pdf], diapositives [pdf]
    de Sathiya Keerthi, Vikas Sindhwani, Olivier Chapelle,
    présenté par Dumitru Erhan

  8. Efficient Learning of Sparse Representations with an Energy-Based Model [pdf], diapositives [pdf]
    de MarcAurelio Ranzato, Christopher Poultney, Sumit Chopra, Yann LeCun,
    présenté par Pascal Lamblin

  9. Multi-Task Feature Learning [pdf], diapositives [pdf]
    de Andreas Argyriou, Theos Evgeniou, Massimiliano Pontil,
    présenté par Olivier Delalleau

  10. Active learning for misspecified generalized linear models [pdf], diapositives [pdf]
    de Francis Bach,
    présenté par Yoshua Bengio

  11. Analysis of Representations for Domain Adaptation [pdf], diapositives [pdf]
    de Shai Ben-David, John Blitzer, Koby Crammer, Fernando Pereira,
    présenté par Marina Sokolova

  12. No-regret algorithms for Online Convex Programs [pdf], diapositives [ppt]
    de Geoffrey Gordon,
    présenté par Nicolas Chapados

Séminaires 2005-2006

[07/09/2005] A Hybrid Pareto Model for Conditional Density Estimation of Asymmetric Fat-Tailed Data par Julie Carreau [résumé] [pdf]
[14/09/2005] A Brief Tutorial on Reinforcement Learning par Doina Precup [résumé] [pdf]
[21/09/2005] The K-Shortest-Paths Approach to Approximate Dynamic Programming par Nicolas Chapados [résumé] [pdf]
[28/09/2005] Active Learning in Partially Observable Markov Decision Processes par Robin Jaulmes [résumé] [ppt]
[05/10/2005] Music/Voice and Genre Classification par Norman Casagrande et James Bergstra [résumé] [pdf]
[12/10/2005] Musical Rhythm Similarity Measures with Symbolic Input : Models, Algorithms and Applications par Godfried Toussaint [résumé]
[19/10/2005] Neural Networks in Graphical Domains par Marco Gori [résumé] [pdf] [key]
[26/10/2005] Automatic learning of adaptive treatment strategies using kernel-based reinforcement learning par Joelle Pineau [résumé] [pdf]
[02/11/2005] Echo State Networks : a Tutorial par Dan Popovici [résumé] [ppt]
[09/11/2005] Dimensionality reduction for policy evaluation in MDPs par Philipp Keller [résumé] [pdf]
[16/11/2005] Convolutional Neural Networks and Vision Applications par Yoshua Bengio [résumé] [pdf]
[16/11/2005] RTBSS : An Online POMDP Algorithm for Complex Environments par Sebastien Pacquet [résumé] [pdf]
[30/11/2005] Empirical Artificial Intelligence par Rich Sutton [résumé] [pdf]
[10/01/2006] Onset Detection with Artificial Neural Networks for MIREX2005 par Alexandre Lacoste [résumé] [ppt]
[17/01/2006] Predictive State Representations par Masoumeh Tabaeh Izadi [résumé] [ppt]
[24/01/2006] Highlights of Hinton’s Contrastive Divergence Pre-NIPS Workshop par Yoshua Bengio et Pascal Lamblin [résumé] [ppt]
[07/02/2006] La Gestion Active de Portefeuille par Marc Boucher [résumé] [ppt]
[28/02/2006] Junction Tree Harmonisation par Jean-François Paiement [résumé] [pdf]
[20/03/2006] Effective learning of deep belief nets, with application to handwritten digits and face images par Simon Osindero [résumé]
[21/03/2006] Learning to Control an Octopus Arm with Gaussian Process Temporal Difference Learning par Yaakov Engel [résumé] [pdf]
[22/03/2006] Reinforcement Learning with Gaussian Processes par Yaakov Engel [pdf]
[24/03/2006] Performance guarantees and stability of approximate ERM par Alexander Rakhlin [résumé]
[27/03/2006] Algorithmes d’inspiration géométrique, corrigés pour l’apprentissage en haute dimension par Pascal Vincent [résumé]
[11/04/2006] Discriminant Mixture of 3D Molecular Surface Models par Pascal Lamblin [résumé] [pdf]
[18/04/2006] Continuous Neural Network par Nicolas Le Roux [résumé] [pdf]
[25/04/2006] Detection and Control for the Treatment of Epilepsy par Robert D. Vincent [résumé] [pdf]
[28/04/2006] Regret minimization under partial monitor par Gilles Stoltz [résumé]
[02/05/2006] Collaborative Filtering for Drug Discovery par Dumitru Erhan [résumé] [pdf]
[09/05/2006] Observation Space Reduction and Active Learning for Partially Observable Markov Decision Processes par Amin Atrash [résumé]
[17/05/2006] Music Plus One par Christopher Raphael [résumé]
[18/05/2006] Decision-making with Predictive State Representations (PSRs) par Michal James [résumé]
[13/06/2006] Neural Basis of Learning par François Rivest [résumé] [pdf]
[20/06/2006] The decoder in statistical machine translation : how does it work ? par Alexandre Patry [résumé] [pdf]
[27/06/2006] Global Optimization and Evolutionary Algorithms par Javad Sadri [résumé]

Best-of NIPS 2006

  1. Temporal Abstraction in Temporal-difference Networks [pdf], diapositives [pdf]
    de Richard Sutton, Eddie Rafols, Anna Koop,
    présenté par Marc Gendron-Bellemare

  2. Learning Influence among Interacting Markov Chains [pdf], diapositives [pdf]
    de Dong Zhang, Daniel Gatica-Perez, Samy Bengio, Deb Roy,
    présenté par Pablo Samuel Castro

  3. Robust Fisher Discriminant Analysis [pdf], diapositives [ppt]
    de Seung-Jean Kim, Alessandro Magnani, Stephen Boyd,
    présenté par Erick Delage

  4. TD(0) Leads to Better Policies than Approximate Value Iteration [pdf], diapositives [pdf]
    de Benjamin Van Roy,
    présenté par Philipp Keller
  5. Metric Learning by Collapsing Classes [pdf], diapositives [ppt]
    de Amir Globerson, Sam Roweis,
    présenté par Dumitru Erhan

  6. Towards Human-level AI : Yann LeCun’s talk, diapositives [pdf]
    de Yann LeCun,
    présenté par Alexandre Lacoste

  7. Highlights on the ’Inductive Transfer : 10 Years Later’ Workshop [html], diapositives [pdf]
    de Danny Silver, Goekhan Bakir, Kristin Bennett, Rich Caruana, Massimiliano Pontil, Stuart Russell, Prasad Tadepalli,
    présenté par Hugo Larochelle
  8. Rodeo : Sparse Nonparametric Regression in High Dimensions [pdf], diapositives [pdf]
    de John Lafferty, Wasserman Larry,
    présenté par Olivier Delalleau
  9. Beyond Gaussian Processes : On the Distributions of Infinite Networks [pdf], diapositives [pdf]
    de Ricky Der, Daniel Lee,
    présenté par Julie Carreau
  10. Inferring Motor Programs From Images of Handwritten Digits [pdf], diapositives [pdf]
    de Geoff Hinton, Vinod Nair,
    présenté par Nicolas Le Roux
  11. Gaussian Process Dynamical Models [pdf], diapositives [ppt]
    de Jack Wang, Fleet David, Hertzmann Aaron,
    présenté par Nicolas Chapados
  12. Divergences, surrogate loss functions and experimental design [pdf], diapositives [pdf]
    de XuanLong Nguyen, Wainwright Martin, Jordan Michael,
    présenté par James Bergstra
  13. Bayesian Sparse Sampling for On-line Reward Optimization [pdf], diapositives [ppt]
    de Dale Schuurmans, au "Workshop on Value of Information in Inference, Learning and Decision-Making",
    présenté par Dan Popovici
  14. Distance Metric Learning for Large Margin Nearest Neighbor Classification [pdf], diapositives [pdf]
    de Kilian Q. Weinberger, John Blitzer, Lawrence K. Saul,
    présenté par Gilles Godbout
  15. Infinite latent feature models and the Indian buffet process [pdf]
    de Tom Griffiths, Ghahramani Zoubin,
    présenté par Aaron Courville

-  Ancienne Page Web

Pour accéder à l’ancienne page des séminaires LISA, cliquer ici