r236 - 23 Jun 2011 - 11:44:46 - RaulChandias?You are here: TWiki >  Public Web  > FaceDatabase > FacesDatabases
-- Main.RaulChandias - 09 Jun 2011

Introduction

Le but de cet article est de répertorier les bases de données de visages qui sont disponibles aux étudiants.

1ère base: Pictures of Facial Affect (POFA)

Emplacement de la base d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/POFA

Cette base d'images contient 110 photographies d'expressions faciales

site duquel la base a été obtenue

Images en Noir et Blanc

  Format                            TIFF    
Dimensions                    384 par 570
Bit depth                       
8         
Résolution horizontale  
400 dpi   
Résolution verticale      
400 dpi   

Variations des photographies

  1. identité de la personne : chaque sujet est identifié par un identifiant de 2 lettres qui apparait dans la photo dans le coin supérieur gauche.  Le fichier ~/POFA/POFA_Brochure associe à chaque photo cet identifiant.   
  2. pose du visage par rapport au corps: vue frontale du visage seulement.  Seulement le visage et le cou sont montrés.
  3. expression / émotion : joyeux, tristesse, crainte, colère, surprise, dégoût et neutre  Le fichier ~/POFA/POFA_Brochure associe à chaque photo une émotion    
  4. position relative de la caméra par rapport au corps (distance, angles) : vue frontale du visage seulement.  
  5. position des yeux, du nez, de la bouche: N/A
  6. ouverture-fermeture des yeux : pour quelques images, les sujets ferment les yeux.  Selon les émotions exprimées, les yeux sont grands ouverts ou presque fermés.
  7. position de la pupille :N/A
  8. attributs: pas de barbe ni moustache ni lunettes
  9. type racial : caucasien
  10. âge : hommes et femmes adultes.  Quelques images présentent des personnes âgées dans la cinquantaine.
  11. Illumination : l’intensité des images est variable.  Certaines images sont plus claires que d’autres.

Étiquettes associées aux images

Les fichiers d'images sont identifiés de 1 à 110. En plus de ce nom de fichier, un code unique apparaît dans chaque photo avec chaque personne photographiée idenifiée par une ou deux lettres.

Les expressions faciales varient d'un sujet à l'autre. Les étiquettes des images ne permettent pas d'identifier à priori l'émotion exprimée dans la photo. 

Par contre, le fichier "POFA_Brochure" qui se trouve dans le répertoire ~/POFA/ associe l'étiquette de chaque photo à une émotion.

Quelques échantillons

001.jpg   002.jpg

2ième base: Japanese and Caucassian Facial Expressions of Emotions (JACFEE)

Emplacement de la base d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/JACFEE

Cette base d'images contient 130 photographies d'expressions faciales

site duquel la base JACFEE a été obtenue

Images en couleur         
Format                          JPEG      
Dimensions                   1027 par 687
Bit depth                      
24
  Résolution horizontale 
779 dpi
Résolution verticale     
     779 dpi      

Variations des photographies

  1. identité de la personne : chaque sujet est identifié par 2 ou 3 caractères.
  2. pose du visage par rapport au corps: vue frontale du visage seulement.  Seulement le visage et le cou sont montrés.
  3. expression / émotion : colère, mépris (contempt), crainte, heureux, neutre, tristesse, dégoût et surprise.  Le fichier ~/JACFEE/standard_expressor_set/Standard Expressor JACFEE Listing associe à chaque photo une émotion et son code FACS                                                                                                                                                                                                                                                                             
  4. position relative de la caméra par rapport au corps (distance, angles) : vue frontale du visage seulement. 
  5. position des yeux, du nez, de la bouche : N/A
  6. ouverture-fermeture des yeux : Selon les émotions exprimées, les yeux sont grands ouverts ou presque fermés.
  7. position de la pupille: N/A
  8. attributs: pas de barbe ni moustache ni lunettes
  9. type racial : caucasien ou japonais.  Le fichier ~/JACFEE/standard_expressor_set/Standard Expressor JACFEE Listing associe à chaque photo l'ethnicité de la personne                                                                                                                                                                                                                                                                            
  10. âge : hommes et femmes adultes.  Le fichier ~/JACFEE/standard_expressor_set/Standard Expressor JACFEE Listing associe à chaque photo "male" ou "female"
  11. Illumination : l’intensité des images est variable.  Certaines images sont plus claires que d’autres.

Étiquettes associées aux images

Les 2 ou 3 premiers caractères de l'étiquette identifient la personne, mais aucun code n'est utilisé dans les étiquettes pour pouvoir identifier à priori les émotions exprimées dans les photos.

Par contre, le fichier "Standard Expressor JACFEE Listing" qui se trouve dans le répertoire ~/JACFEE/standard_expressor_set/standard_expressor_set associe l'étiquette de chaque photo à une émotion.

Quelques échantillons

AG-1C01.jpg DM-3C31.jpg

3ième base: Radboud Faces Database

Emplacement de la base de d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/Radboud

Cette base d'images contient 8040 photographies d'expressions faciales. Un total de 67 modèles ont été photographiés.

site duquel la base a été obtenue

Images en couleur          
Format                             JPEG      
Dimensions                    681 par 1024
Bit depth                       
24          
Résolution horizontale  
96 dpi     
  Résolution verticale      
96 dpi      

Variations des photographies

  1. identité de la personne : chaque sujet est identifié par un nombre de 2 chiffres.  Voir la section suivante pour voir comment l'étiquette affiche cette information
  2. pose du visage par rapport au corps: Chaque émotion a été photographiée selon 3 directions de regard sans changer l'orientation de la tête: en regardant à gauche, à droite et en regardant devant soit.  Voir la section suivante pour voir comment l'étiquette affiche cette information.
  3. expression / émotion : heureux, neutre, colère, tristesse, crainte, dégoût, surprise et outrage (contempt).   Voir la section suivante pour voir comment l'étiquette affiche cette information.
  4. position relative de la caméra par rapport au corps (distance, angles) : Chaque photo a été prise simultanément selon 5 angles de caméra différents: 0, 45, 90, 135 et 180 degrés,   Voir la section suivante pour voir comment l'étiquette affiche cette information.
  5. position des yeux, du nez, de la bouche : N/A
  6. ouverture-fermeture des yeux : Selon les émotions exprimées, les yeux sont grands ouverts ou presque fermés
  7. position de la pupille : N/A
  8. attributs: pas de maquillage ni bijoux ni lunettes et tous portent une chemise noire
  9. type racial : caucasien ou marocain.  Voir la section suivante pour voir comment l'étiquette affiche cette information.
  10. âge : hommes et femmes adultes et enfants.   Voir la section suivante pour voir comment cette information est affichée dans l'étiquette.
  11. Illumination : l'éclairage est uniforme.

Étiquettes associées aux images

Les étiquettes des images sont composées de 6 parties. Par exemple, soit l'étiquette Rafd045_21_Caucasian_male_angry_right

Rafd apparaît au début de chaque étiquette et est une abréviation pour Radboud Faces Database.

La première partie (e.g. 045) correspond à l'orientation de la tête. Les angles utilisées pour les orientations sont 0 (vue du profil droit), 45 (vue de côté de la partie droite du visage), 90 (vue de face), 135 (vue de côté de la partie gauche du visage) et 180 (vue du profil gauche).

La deuxième partie (e.g. 21) identifie la personne. Donc par exemple, toutes les étiquettes d'images ayant 21 sont associées à des images de la même personne.

La troisième partie (e.g. Caucassian) identifie l'ethnicité de la personne.

La quatrième partie (e.g. male) identifie le sexe de la personne.

La cinquième partie (e.g. angry) identifie l'emotion exprimée par la personne. 8 émotions sont démontrées par chaque participant: heureux, neutre, colère, tristesse, crainte, dégoût, surprise et outrage (contempt).

La sixième partie (e.g. right) identifie la direction du regard sans que l'orientation de la tête soit changée. Les directions possibles sont frontal, left, et right.

Quelques échantillons

Rafd000_01_Caucasian_female_angry_frontal.jpg Rafd000_03_Caucasian_male_surprised_right.jpg Rafd090_60_Moroccan_male_angry_left.jpg

4ième base: MSFDE

Emplacement de la base de d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/MSFDE

Cette base d'images contient 224 photographies d'expressions faciales.

site duquel la base a été obtenue

 Images en Noir et Blanc   
Format                             TIFF
Dimensions                      800 par 560 
Bit depth                         
8        
Résolution horizontale    
160 dpi   
Résolution verticale        
160 dpi   

Variations des photographies

  1. identité de la personne : on n'associe pas aux sujets un identifiant unique.
  2. pose du visage par rapport au corps: Pour l'émotion de honte, la tête est inclinée vers le bas.  Pour les autres émotions, la tête est bien droite.
  3. expression / émotion : heureux, colère, tristesse, crainte, dégoût et honte.  Voir la section suivante pour voir comment l'étiquette affiche cette information.
  4. position relative de la caméra par rapport au corps (distance, angles) : vue frontale seulement
  5. position des yeux, du nez, de la bouche :N/A
  6. ouverture-fermeture des yeux : les yeux sont plus ou moins ouverts selon l'émotion exprimée.
  7. position de la pupille :N/A
  8. attributs: pas de barbe ni moustache ni lunettes
  9. type racial : caucasien, asiatique, africain, hispanique.  Voir la section suivante pour voir comment l'étiquette affiche cette information.
  10. âge : hommes et femmes adultes.  Voir la section suivante pour voir comment l'étiquette affiche cette information.
  11. Illumination : l’intensité est variable

Étiquettes associées aux images

Les étiquettes sont composées de 3 chiffres. La signification des ces 3 chiffres est la suivante:

Le premier chiffre indique le group ethnique de la personne:

  1. Asiatique
  2. Caucasien
  3. Africain
  4. Hispanique

Le deuxième chiffre indique le sexe de la personne:

  • Les chiffres de 0 à 4 correspondent au sexe masculin
  • Les chiffres de 5 à 9 correspondent au sexe féminin

Le troisième chiffre indique l'émotion exprimée:

  1. Colère
  2. Joie
  3. Tristesse
  4. Crainte
  5. Dégoût
  6. Honte

Quelques échantillons:

451M.jpg     33neutral.jpg

5ième base: umist

Emplacement de la base d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/umist

Faces en Noir et Blanc de 8 bit [0-255], quelques images (vues) de 20 personnes différentes.
Un total de 575 images, de dimensions 112x92 pixels, manuellement recadrées par Daniel Graham à UMist

site duquel la base à été obtenue

Variations des photographies

  1. identité de la personne : Chaque sujet est identifié par 2 caractères.
  2. pose du visage par rapport au corps: seulement le visage est montré
  3. expression / émotion : neutre, sourire (en montrant ou pas les dents)
  4.  position relative de la caméra par rapport au corps (distance, angles) : vues de profil, côté droit
  5. position des yeux, du nez, de la bouche :N/A
  6. ouverture-fermeture des yeux : les yeux sont toujours ouverts
  7. position de la pupille :N/A
  8. attributs: lunettes, barbe
  9. type racial : asiatique, caucasien
  10. âge : hommes et femmes (20-60)

Apreçu des images

1a034.jpg  1e023.jpg

6ième base: CBCL Face Database

Emplacement de la base d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/cbcl

C'est une base de données qui est publique. Elle est divisée en 2 ensembles: un ensemble de test et un ensemble d'entraînement.

L'ensemble d'entraînement est composé de 2429 visages.

L'ensemble de test est composé de 472 visages.

site duquel la base a été obtenue

  Niveaux de gris (Grayscale)  
Format                                  PGM
Dimensions                           19 par 19
Résolution                             72 x 72 ppi

Note: GIMP et Netpbm peuvent être utilisés pour lire des fichiers image de format PGM.

Variations des photographies

Toutes les photos sont des vues frontales des visages.

7ième base: The Combined MIT/CMU Test Set with Ground Truth for Frontal Face Detection

Emplacement de la base d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/cmu

La base contient en tout 180 images. 

site duquel la base a été obtenue       

  Niveaux de gris (grayscale)   
  Format
  GIF 
  Dimensions
  variable
  Résolution
  72x72 ppi 
  Bit depth
  8

Variations des photographies

  1. identité de la personne :pour quelques images, l'étiquette de l'image fourni le nom de la personne photographiée. 
  2. pose du visage par rapport au corps: vue frontale et de côtés du visage
  3. expression / émotion : neutre, sourire (en montrant ou pas les dents)
  4.  position relative de la caméra par rapport au corps (distance, angles) : vue frontale et de côtés du visage
  5. position des yeux, du nez, de la bouche : On fournit les coordonnées x et y des yeux, du nez et de la bouche dans le fichier ~/cmu/list.html
  6. ouverture-fermeture des yeux :Pour certaines images, on ne voit pas les yeux car la personne portent des lunettes fumées.  À l'exception de quelques images, les sujets ont les yeux ouverts.
  7. position de la pupille :N/A
  8. attributs :chapeaux. moustaches et lunettes
  9. type racial : Caucasien et Afro-Américain
  10. âge : hommes et femmes adultes et enfants

Il y a des images composées de plusieurs personnes comme des groupes de musiciens.

Il y a des images qui présentent plus que le visage.

Étiquettes associées aux images

Le répertoire ~/cmu/, le fichier list.html contient les coordonnées des yeux, nez et bouche selon le format suivant avec une image par ligne (les vues extrêmes de côtés ont été ignorées):

nomdufichier oeil-gauche oeil-droit nez coin-gauche-bouche bouche-centre coin-droit-bouche

Pour chacune de ces caractéristiques du visage, on donne 2 nombres qui sont les coordonnées x et y de la caractéristique mesurées à partir du coin supérieur gauche.

Quelques échantillons

221.gif  cnn1714.gif

8ième base: Cohn-Kanade AU-Coded Facial Expression Database

Emplacement de la base d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/cmu_expression

Cette base est divisée en 2 bases:

Version 1 appelée Cohn-Kanade : contient 456 séquences de 97 personnes.  Chaque séquence commence avec une expression neutre et culmine avec l'expression
ciblée qui peut être la colère, surprise ou la tristesse.  Les étiquettes des émotions sont basées sur le code FACS. 

Version 2 appelée CK+:  contient des expressions ciblées et non-ciblées (spontanées).  Pour les expressions ciblées, le nombre de séquences a été augmenté de 22% et le nombre de sujets a été augmenté de 27% par rapport à la version 1.

site duquel la base a été obtenue

Variations des photographies

Cohn-Kanade et CK+

  1. identité de la personne : « S » suivi de 3 chiffres sont utilisés pour identifier les sujets.  Voir la section suivante pour voir comment l'étiquette affiche cette information.
  2. pose du visage par rapport au corps: vue frontale du visage.  On ne montre qu'à partir du cou.
  3. expression / émotion : 23 expressions faciales et 8 émotions de base (colère, dégoût, crainte, heureux, tristesse, surprise, mépris et neutre).  Un fichier excel "Cohn-Kanade Database FACS codes_updated based on 2002 manual_revised" associe à chaque expression cible le code FACS.  Il y a aussi un fichier  "Translating AU Scores Into Emotion Terms" qui permet de traduire ces codes FACS en émotions (e.g. crainte, surprise).
  4. position relative de la caméra par rapport au corps (distance, angles) : vue frontal seulement.
  5. position des yeux, du nez, de la bouche :N/A
  6. ouverture-fermeture des yeux : Selon l'émotion, les yeux sont plus ou moins ouverts.
  7. position de la pupille :N/A
  8. attributs: casquettes, lunettes
  9. type racial : Euro-américain, Afro-Américain, Latino ou Asiatique
  10. âge : hommes et femmes entre 18 et 50
  11. Illumination : constante

Étiquettes associées aux images

Les étiquettes ont le format suivant: 

SXXX_YYY_ZZZZZZZZ

La première partie SXXX identifie la personne photographiée.

La deuxième partie YYY identifie une séquence particulière de photos.  Une séquence peut être composée de plusieurs photos en débutant avec l'expression neutre et se terminant avec l'émotion cible.

La troisième partie ZZZZZZZZ identifie l'heure à laquelle la photo de la séquence YYY de l'individu SXXX a été prise.  À noter que la dernière photo de la séquence est toujours celle qui correspond à l'émotion cible.

Un fichier excel "Cohn-Kanade Database FACS codes_updated based on 2002 manual_revised" associe à chaque expression cible le code FACS.  Il y a aussi un fichier  "Translating AU Scores Into Emotion Terms" qui permet de traduire ces codes FACS en émotions (e.g. crainte, surprise).

Quelques échantillons

S052_001_00115103.png    S055_004_01070017.png

(©Jeffrey Cohn)

9ième base: FaceTubes

Emplacement de la base d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/facetubes

La base est divisé en 2 parties:

/data/lisa/data/faces/facetubes/large : ce répertoire contient les vidéos téléchargés de youtube ayant une résolution maximale de 640x360. 

/data/lisa/data/faces/facetubes/large_detect : ce répertoire contient le résultat du traitement des vidéos de youtube. 

10ième base: The Facial Recognition Technology (FERET) Database

Emplacement de la base d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/FERET

Les informations qui suivent ont été prises du document "documentation" se trouvant dans le répertoire ~/FERET/colorferet/dvd1/doc/

Cette base contient 11338 images faciales. 994 personnes ont été photographiées.

site duquel la base a été obtenu

 Images en couleur et en noir et blanc  
Format                                                PPM
Dimensions                                         512x768
Résolution                                           72x72 ppi

Tel qu'expliqué dans la documention, il y a aussi des versions  "petites" (256x484) et "miniatures" (128x192) pour chaque image.

Toutes les images ont été compressées avec "bzip2".  Pour la décompression des images, le programme "bunzip2" peut être utilisé.  Le binaire pour "bunzip2" est fourni dans le répertoire ~/FERET/colorferet/dvd1/binaires/

Variations des photographies

  1. identité de la personne : l’identifiant est du format cfrSXXXXX où X est un chiffre de 0 à .  Voir la section suivante pour voir comment l'étiquette affiche cette information.
  2. pose du visage par rapport au corps: 13 poses différentes.  Voir la section suivante pour voir comment l'étiquette affiche cette information.
  3. expression / émotion : Émotion peu variée.  Sourire et neutre.
  4. position relative de la caméra par rapport au corps (distance, angles) : 13 poses différentes.  Vues frontale et oblique. Voir la section suivante pour voir comment l'étiquette affiche cette information.
  5. position des yeux, du nez, de la bouche : le fichier data/ground_truths/xml/recordings.xml contient les coordonnées x,y des yeux, nez et de la bouche
  6. ouverture-fermeture des yeux : yeux toujours ouverts
  7. position de la pupille :N/A
  8. attributs: lunettes, moustache, barbe
  9. type racial : Africain-américain, Caucasien, Asiatique
  10. âge : 10-60
  11. Illumination: variable

*Étiquettes associées aux images*

Les images (512x768) ont des noms du type

~/data/images/00012/00012_930831_fb_a.ppm.bz2
                                   |            |             |    |
                                   |            |             |    \______ optional flag
                                   |            |              \________ FERET pose name
                                   |            \_______________ the image capture date
                                   \______________________ the subject ID

Les participants sont identifiés par un id unique composé de 5 chiffres. 

Les modèles ont été photographiés selon 13 positions différentes:

Tag  
  Meaning 
  fa   regular frontal image
  fb   alternative frontal image, taken shortly after the corresponding fa image
  pl   profile left
  hl   half left - head turned about 67.5 degrees left
  ql   quarter left - head turned about 22.5 degrees left
  pr   profile right
  hr   half right - head turned about 67.5 degrees right
  qr   quarter right - head turned about 22.5 degrees right
  ra   random image - head turned about 45 degree left
  rb   random image - head turned about 15 degree left
  rc   random image - head turned about 15 degree right
  rd   random image - head turned about 45 degree right
  re   random image - head turned about 75 degree right

Il est à noter que tous les modèles ont été photographiés selon une vue frontale (regular frontal image).

Voici le nombre d'images obtenues selon la position du sujet:

Pose
Angle
Images
Subjects
fa   0   1364   994  
fb   0   1358   993  
hl   +67.5  
1267   917  
hr   -67.5   1320   953  
pl   +90   1312   960  
pr   -90   1363 
994  
ql   +22.5   761      501  
qr     -22.5   761 
   501  
ra   +45   321   261  
rb   +15   321  
261  
rc   -15   610   423  
rd   -45   290   236  
re   -75     290 236  

Quelques échantillons

00050_931230_fa.jpg 00001_930831_fa_a.jpg

11ième base: Frey Face

Emplacement de la base d'images et quelques propriétés des images

La base se trouve dans le répertoire /data/lisa/data/faces/frey

Cette base contient 1965 images en noir et blanc du visage de Brendan Frey. La taille de chaque image est de 20x28.

Ces images ont été obtenues à partir d'un vidéo du visage de Brendan Frey composé de 1965 images.

site duquel la base a été obtenue

Variations des photographies