Projet sur les pas de gradient des réseaux de neurones

Le but de ce projet est d'explorer différentes heuristiques pour choisir le ou les pas de gradient dans un réseau de neurones, et de les comparer sur au moins deux ensembles de données.

La comparaison devrait se faire selon la courbe de l'erreur (de test ou d'apprentissage) en fonction du temps de calcul. Il se peut que certaines heuristiques dominent pour un petit temps de calcul mais pas pour un plus grand.

Voici les différentes heuristiques à comparer. Dans tous les cas on veut comparer des réseaux qui ont la même architecture, entraînés sur les mêmes données.

Références

Voir les notes de cours sur les réseaux de neurones.