Malgré les progrès considérables et exponentiels des réseaux neuronaux artificiels (ANNs), leurs capacités actuelles sont encore loin de l'intelligence humaine. De nombreuses hypothèses des approches actuelles de l'apprentissage artificiel divergent des caractéristiques observées du cerveau, telles que les architectures ANN conventionnellement statiques et conçues à la main, opposées à la connectivité biologique dynamique et auto-modifiante. Cette thèse vise à faire avancer les choses en explorant l'apprentissage structurel en tant qu'outil inspiré du cerveau pour augmenter la puissance des ANNs, en prenant des mesures initiales pour étendre les espaces de recherche architecturaux et les paradigmes d'apprentissage à des applications pratiques réelles. À cette fin, le cadre d'apprentissage structurel proposé unifie plusieurs sous-domaines de la recherche en intelligence artificielle et identifie les principaux défis fondamentaux qui sont étudiés dans les travaux ultérieurs. En ce qui concerne la généralisation de l'espace de recherche architecturale, la recherche d'architecture neuronale (NAS) tenant compte de l'équivariance optimise les contraintes architecturales imposées par l'équivariance partielle aux groupes de symétrie, améliorant ainsi les performances et la généralisation des ANNs pour les tâches présentant des symétries. Les améliorations algorithmiques apportées à la recherche d'architecture neuronale différentiable, axées sur la planification dynamique et la régularisation, renforcent l'efficacité et la fiabilité du processus de recherche. La neurogenèse dans les ANNs, un problème peu étudié, est décomposée en décisions d'ordonnancement et d'initialisation vers une suite de stratégies de neurogenèse qui permettent la construction automatique et dynamique de réseaux performants. Enfin, les aspects de tous les résultats précédents sont synthétisés en vue d'une optimisation architecturale dans des environnements d'apprentissage dynamiques tels que l'apprentissage par transfert. Les résultats et les méthodologies présentés ont le potentiel d'avoir un impact significatif sur le pipeline standard des RNA, en réduisant les coûts d'ingénierie, de formation et de déploiement tout en augmentant leur efficacité et leur puissance pour les praticiens. |
Malgré les progrès considérables et exponentiels des réseaux neuronaux artificiels (ANNs), leurs capacités actuelles sont encore loin de l'intelligence humaine. De nombreuses hypothèses des approches actuelles de l'apprentissage artificiel divergent des caractéristiques observées du cerveau, telles que les architectures ANN conventionnellement statiques et conçues à la main, opposées à la connectivité biologique dynamique et auto-modifiante. Cette thèse vise à faire avancer les choses en explorant l'apprentissage structurel en tant qu'outil inspiré du cerveau pour augmenter la puissance des ANNs, en prenant des mesures initiales pour étendre les espaces de recherche architecturaux et les paradigmes d'apprentissage à des applications pratiques réelles. À cette fin, le cadre d'apprentissage structurel proposé unifie plusieurs sous-domaines de la recherche en intelligence artificielle et identifie les principaux défis fondamentaux qui sont étudiés dans les travaux ultérieurs. En ce qui concerne la généralisation de l'espace de recherche architecturale, la recherche d'architecture neuronale (NAS) tenant compte de l'équivariance optimise les contraintes architecturales imposées par l'équivariance partielle aux groupes de symétrie, améliorant ainsi les performances et la généralisation des ANNs pour les tâches présentant des symétries. Les améliorations algorithmiques apportées à la recherche d'architecture neuronale différentiable, axées sur la planification dynamique et la régularisation, renforcent l'efficacité et la fiabilité du processus de recherche. La neurogenèse dans les ANNs, un problème peu étudié, est décomposée en décisions d'ordonnancement et d'initialisation vers une suite de stratégies de neurogenèse qui permettent la construction automatique et dynamique de réseaux performants. Enfin, les aspects de tous les résultats précédents sont synthétisés en vue d'une optimisation architecturale dans des environnements d'apprentissage dynamiques tels que l'apprentissage par transfert. Les résultats et les méthodologies présentés ont le potentiel d'avoir un impact significatif sur le pipeline standard des RNA, en réduisant les coûts d'ingénierie, de formation et de déploiement tout en augmentant leur efficacité et leur puissance pour les praticiens. |