Un auto-encodeur débruitant est comme un auto-encodeur, à la différence que pendant l’apprentissage, l’entrée vue par l’auto-encodeur n’est pas l’entrée brute mais une version stochastiquement corrompue. L’auto-encodeur débruitant est donc entraîné à reconstruire l’entrée originale à partir de la version bruitée. Voir l’article d’ICML 2008: Denoising Auto-Encoders.
Différences principales entre les auto-encodeurs ordinaires et les auto-encodeurs débruitants:
Aspect | Auto-encodeurs ordinaires | Auto-encodeurs débruitants |
---|---|---|
ce que ça fait | trouver une représentation compacte | capter la distribution jointe des entrées |
critère d’apprentissage | déterministe | stochastique |
nombre d’unités cachées | on doit le limiter pour éviter d’apprendre l’identité | on peut avoir autant d’unités cachées que nécessaire pour capter la distribution |
choix de la capacité (nombre d’unités cachées) | impossible à partir du critère d’erreur de reconstruction, car toujours plus basse avec plus d’unités | on peut utiliser la moyenne de l’erreur de reconstruction |
choix du nombre d’itérations d’apprentissage | impossible à partir de l’erreur de reconstruction: utiliser l’erreur classification après ajustement supervisé | on peut faire du early stopping sur l’erreur de reconstruction moyenne |
choix de la quantité de corruption des entrées | non-applicable | on ne peut pas utiliser l’erreur de reconstruction: utiliser l’erreur de classification après ajustement supervisé |