Le but de ce projet est d'étudier l'effet de l'augmentation de la dimensionalité des données sur différents algorithmes d'apprentissage, selon qu'ils soient plutôt "locaux" (comme la plupart des algorithmes non-paramétriques) ou "non-locaux" (comme les réseaux de neurones et les algorithmes paramétriques).
Dans une première étape il s'agit de construire un jeu de données artificielles de classification où les exemples sont tirés près de variétés non-linéaires de plus faible dimension, avec lequel on peut varier 3 caractéristiques:
Pour générer les variétés le plus simple est d'avoir une variété par classe et deux classes. Les variétés exemples devraient être générés ainsi:
Dans une deuxième étape il s'agit d'estimer l'erreur de généralisation quand on varie ces trois facteurs pour deux classes d'algorithmes d'apprentissage supervisé:
Vous pouvez utiliser un logiciel tout fait pour les SVMs (voir SVMTorch ou SVMLight). Vous devriez avoir au moins les SVMs et les réseaux de neurones dans l'étude. Notez que la régression logistique est un cas particulier des réseaux de neurones (sans couche cachée).
Essayez de varier les facteurs de façon à chercher des effets interessants et des différences sensibles entre les algorithmes locaux et non-locaux. On pourrait croire que les algorithmes locaux fonctionneront comparativement mieux en faible dimension et vice-versa en haute dimension (évidemment dans l'absolu on s'attend à ce que tous les algorithmes empirent avec la dimensionalité des variétés et le niveau de bruit).
SVMs: voir www.kernel-machines.org
.