Informatique et recherche
opérationnelle
IFT6010

Intelligence Artificielle
Traitement statistique des langues naturelles

Hiver 2003


Accueil

Cours après cours

Devoirs

Horaires et locaux

Au sujet du
livre de cours

Consultez vos notes

Liens utiles

Contact

Les séminaires
RALI/LLI

Plan de cours

Préalable | Plan | Notation

Objectif

La linguistique informatique est une discipline vieille d'un demi-siècle. Les besoins croissants de traitement automatique de l'information, nés de l'essor massif de l'internet et de la disponibilité grandissante de ressources textuelles, ont récemment permis à cette discipline de s'imposer dans le secteur industriel comme une technologie touchant des millions de personnes. La recherche d'information, la traduction automatique, la correction grammaticale ou encore la reconnaissance de la parole sont des applications maintenant disponibles et accessibles à tous.

L'avenir de cette discipline est prospère et les possibilités de carrières académiques ou industrielles sont nombreuses à qui possède une bonne connaissance des techniques quantitatives qui sont maintenant incontournables dans les diverses applications langagières existantes. Ce cours a donc pour objectif de familiariser l'étudiant à ces techniques, ainsi qu'aux problématiques de base du traitement des langues. Une large place sera faite à l'étude d'applications concrètes.

Préalables

Les techniques décrites dans ce cours mettent en oeuvre des connaissances mathématiques qui seront rappelées. Il est cependant conseillé à l'étudiant de posséder, outre des connaissances mathématiques de base, une propension à vouloir les utiliser.

L'orientation pratique de ce cours requiert de l'étudiant des connaissances en programmation (i.e. IFT1020).

Plan

  • Cuisiner les ressources textuelles
    • Tour d'horizon rapide des ressources disponibles. Éléments de terminologie.
    • Compter des mots: une première rencontre avec la loi de Zipf
    • Shell-scripts ou "véritables" langages de programmation ?
    • Importance des structures de données (tables de hachage, pat-trees, gtrie)
    • Ressources formatées
  • Inférence statistique et modèles n-gram
    • Le "jeu de Shanon"
    • Modèles de langue: cas des modèles n-gram
    • Estimation par maximum de vraisemblance
    • Performance d'un modèle de langue
    • Problème classique de la sous-représentation des données
    • Techniques de lissage
    • algorithme EM
    • Techniques d'élagage
    • Améliorations possibles: quelques pistes
    • Le package CMU-SLM
  • Modèles markoviens: application à l'étiquetage grammatical
    • Théorie des modèles de Markov cachés (HMM)
    • Application à l'étiquetage grammatical
    • Application au parenthésage
  • Grammaires probabilistes
    • Différentes approches au problème
    • Les PCFGs (Grammaires hors-contexte probabilisées)
    • Quelques algorithmes d'analyse générique (Earley, CYK)
    • Apprentissage de grammaires avec l'algorithme Inside-Outside
    • Apprentissage de grammaires avec le Penn Treebank
    • Analyseurs et modèles de langue
    • Les links grammars
  • Introduction à la traduction automatique
    • Importance du bilinguisme en traitement des langues
    • Ressources bilingues
    • Outils d'aide à la traduction
    • Traduction automatique probabiliste: panorama
    • Améliorations possibles: quelques pistes
  • Sélection de présentations sur ...
    • La désambiguisation sémantique
    • Les applications du clustering
    • Extraction de collocations, application à la classification de messages
    • La reconnaissance de la parole

Prenez note qu'habituellement, les mercredis de 11h30 à 12h30 se tiennent les séminaires conjoints du RALI/LLI. Vous êtes conviés à assister à ces séminaires qui abordent différents aspects de la linguistique (informatique ou non).

Notation

IFT6010 est un cours de 4 crédits. L'évaluation aura lieu comme suit:
  • Un examen théorique en fin de session (30%)
    le seuil théorique minimal est de 50%

  • Trois travaux pratiques (70%)
    TP1: 20%
    TP2: 25%
    TP3: 25%
    Le TP3 pourra éventuellement prendre la forme d'une revue de littérature sur un sujet de votre choix (à discuter avec moi), ou proposé.


Dernière mise à jour : Tue Mar 11 11:14:32 EST 2003
felipe@iro.umontreal.ca