Informatique et recherche
opérationnelle
IFT6010

Intelligence Artificielle
Traitement statistique des langues naturelles

Hiver 2003


Accueil

Cours après cours

Devoirs

Horaires et locaux

Au sujet du
livre de cours

Consultez vos notes

Liens utiles

Contact

Les séminaires
RALI/LLI

Quelques infos sur le TP2

Avant propos: Je n'ai pas accès au rapport des personnes suivantes:

  • arraslei: le postscript présent n'est ni lisible sous Linux, ni sous windows.
  • bououlii: le format htm remis nécessite des ressources (ex: images) qui n'ont pas été remises.

Tests: 5 tests ont été effectués sur vos TP2 mettant tous en jeu un bitexte de 447 phrases. Seuls les tps suivants ont passé les tests automatiquement (c'est-à-dire sans que j'ai besoin d'ajuster les consignes du sujet aux gré des programmes): berubejf, bissettc, boisvem, leonard et nepveul
Mention spéciale au programme de arraslei qui bien qu'écrit en JAVA tourne plus vite que plusieurs des TPS écrits en C.

  • test0: Lancement de votre programme sans argument

    À l'exception de bououlii, tous les programmes étaient capables de m'afficher le format de la ligne de commande (bravo !) sans planter.

  • test1: Alignement IBM1 avec le petit modèle (9000-e2f)

    Tous les programmes ont été capables de me sortir un alignement sans planter (encore bravo !).
    Voici le résultat de l'évaluation en ordre croissant de score AER (cad le système gagnant en tête):

                         candidat          P          R         Ps         Rs        AER   |P|   |S|
                   bissettc/test1 0.45666962 0.25591160 0.30444642 0.76473502 0.45560962 10143 10143
                    nepveul/test1 0.42858530 0.24386740 0.28624138 0.73006439 0.48650345 10299 10299
                    jodoinp/test1 0.43648780 0.24718232 0.27141463 0.68895493 0.49216124 10250 10250
                   berubejf/test1 0.40390505 0.23314917 0.26196401 0.67781080 0.51974320 10448 10448
                    leonard/test1 0.40024783 0.23198895 0.29153345 0.60970778 0.52281642 10491  8445
                    boisvem/test1 0.39785863 0.23198895 0.27044404 0.66666667 0.52487665 10554  9954
                   arraslei/test1 0.39828326 0.23071823 0.25817835 0.67038138 0.52606213 10485 10485
                   paiemeje/test1 0.38884248 0.23143646 0.28211298 0.60970778 0.53183442 10773  8727
                   moreauau/test1 0.43796690 0.16519337 0.29412626 0.49727588 0.53999078  6827  6827
                   bououlii/test1 0.37402742 0.22309392 0.33165305 0.47251114 0.55062693 10796  5753
    
  • test2: Alignement IBM2 avec le petit modèle (9000-e2f)

    Les mêmes systèmes restent en piste, voici le classement:

                         candidat          P          R         Ps         Rs        AER   |P|   |S|
                    nepveul/test2 0.52169334 0.27370166 0.31581719 0.74269440 0.41236883  9496  9496
                   bissettc/test2 0.48808679 0.26596685 0.34653239 0.74987618 0.43586794  9863  8738
                   arraslei/test2 0.50259067 0.26259669 0.29205879 0.68400198 0.44312710  9457  9457
                   bououlii/test2 0.48128509 0.25574586 0.27408829 0.17682021 0.46426478  9618  2605
                    jodoinp/test2 0.46451211 0.24696133 0.27216045 0.64858841 0.48107752  9623  9623
                    leonard/test2 0.41931696 0.23674033 0.30741474 0.65403665 0.51392299 10219  8591
                   paiemeje/test2 0.39282664 0.22872928 0.26153667 0.55720654 0.53776497 10539  8603
                   berubejf/test2 0.38108471 0.21972376 0.23169797 0.59881129 0.55817330 10436 10436
                    boisvem/test2 0.36565828 0.21436464 0.21767645 0.51783061 0.58147311 10611  9606
                   moreauau/test2 0.39371947 0.15585635 0.25554780 0.45344230 0.58475411  7165  7165
    
  • test3: Alignement IBM3 avec le petit modèle (9000-e2f)

    Beaucoup moins de systèmes passent le test (ceux qui ne sont pas listés ci-après plantent).
    Un système se détache des autres au niveau des performances.

                         candidat          P          R         Ps         Rs        AER   |P|   |S|
                    nepveul/test3 0.47951378 0.25281768 0.29906738 0.70678554 0.45291215  9543  9543
                    jodoinp/test3 0.43962690 0.23696133 0.25789258 0.62308073 0.50666958  9756  9756
                   bissettc/test3 0.37589565 0.22607735 0.28044007 0.65651313 0.54717237 10886  9453
                   berubejf/test3 0.37571104 0.21895028 0.24307926 0.63496781 0.55251610 10548 10548
                    leonard/test3 0.36023108 0.21359116 0.23127097 0.61466072 0.57020986 10732 10732
                    boisvem/test3 0.30477040 0.18883978 0.17796278 0.44997524 0.64649576 11215 10210
    
  • test3: Le véritable test: Alignement IBM2 avec le grand modèle (plain-e2f)

    J'ai pris la peine d'aller rechercher les dernières versions remises pour ce test (du moins pour ceux qui m'ont signalé des modifications jusqu'à dimanche midi). Le programme jodoimp plante après un bel effort de 22 minutes de calculs, le programme paiemeje s'arrête (boucle infinie) après avoir affiché les premiers alignements.
    Les temps (tels que retournés par la commande time) sont indiqués dans la dernière colonne.

                         
                          candidat          P          R         Ps         Rs        AER   |P|   |S|   time
                    khairalz/test4 0.68291881 0.34436464 0.39487236 0.89252105 0.25279149  9127  9127   88.07
                     nepveul/test4 0.67393437 0.34154696 0.39060286 0.88732046 0.26084325  9173  9173  128.96
                    arraslei/test4 0.67265991 0.34104972 0.38803531 0.88187221 0.26341277  9177  9177   65.70
                     leonard/test4 0.66345007 0.33806630 0.39964258 0.88608222 0.26875800  9223  8953  147.77
                    bissettc/test4 0.65721091 0.33535912 0.39808953 0.88756810 0.27271357  9236  9003   41.39
                     boisvem/test4 0.63852132 0.33591160 0.40109622 0.81550272 0.29144543  9522  8210  240.00
                    bououlii/test4 0.62429946 0.32618785 0.27551449 0.16245666 0.31278253  9457  2381  101.16
                    berubejf/test4 0.59718750 0.31674033 0.34385417 0.81748390 0.33758616  9600  9600   38.82
                    moreauau/test4 0.57665385 0.32314917 0.33451642 0.84026746 0.34828290 10143 10143  105.01
    




Dernière mise à jour : Sun Apr 20 19:01:47 EDT 2003
felipe@iro.umontreal.ca