Le traitement de l'information dans le cerveau repose sur une multitude de mécanismes neuronaux complexes. Bien que ces derniers aient été largement étudiés sous l'angle des neurosciences, leur intégration dans les modèles de réseaux de neurones artificiels pour améliorer les capacités d'apprentissage reste encore peu explorée. Les modèles actuels de l'état de l'art atteignent des performances remarquables sur diverses tâches en utilisant des mécanismes complexes, différents de ceux observés dans le cerveau, et plutôt adaptés au matériel informatique actuel, qui exige des ressources computationnelles de plus en plus coûteuses. Nous soutenons que les mécanismes observés dans les systèmes de neurones biologiques pourraient permettre des performances comparables tout en offrant une meilleure efficacité, une plus grande robustesse, entre autres avantages. Bien que certains travaux théoriques aient été menés sur les capacités de calcul de mécanismes neuronaux tels que les délais de transmission synaptique, il existe un besoin évident de méthodes pratiques permettant l’apprentissage de ces mécanismes dans les réseaux de neurones impulsionnels (Spiking Neural Networks) dans un cadre d’apprentissage automatique.
Dans cette thèse, nous introduisons de nouvelles méthodes et algorithmes pour intégrer des mécanismes neuronaux — en particulier la modulation du seuil et les délais de transmission synaptique — dans les réseaux de neurones impulsionnels. Nous démontrons comment ces mécanismes peuvent être implémentés sous forme de paramètres entraînables, et proposons des méthodes pour leur apprentissage. Nos résultats expérimentaux montrent que l’inclusion de ces mécanismes inspirées de la biologie peut significativement améliorer la capacité d’apprentissage et la performance fonctionnelle des SNN sur diverses tâches. |
Computation in the brain relies on a multitude of complex neural mechanisms. While these mechanisms have been extensively studied from a neuroscience perspective, their integration into artificial neural network models to enhance learning capabilities remains underexplored. Current state-of-the-art models achieve remarkable performance on various tasks by employing complex mechanisms that differ from those found in the brain and are instead tailored to current hardware, which requires increasingly expensive computational resources. We argue that the mechanisms observed in biological neural systems could enable comparable performance while offering improved efficiency, robustness, and other benefits. Although some theoretical work has explored the computational capabilities of neural mechanisms such as synaptic transmission delays, there is a clear need for practical methods that enable the learning of these mechanisms in spiking neural networks within a machine learning context.
In this thesis, we introduce novel methods and algorithms for incorporating neural mechanisms—specifically threshold modulation and synaptic transmission delays—into spiking neural networks. We demonstrate how these mechanisms can be implemented as trainable parameters and propose methods for their learning. Our experimental results show that the inclusion of these biologically inspired mechanisms can significantly enhance the learning capacity and functional performance of SNNs across various tasks. |