Nouveau document ! Que se passerait-il si vous pouviez garantir (en utilisant un mélange de vérification formelle et de théorie des PDE) qu'un réseau de neurones vous donnerait *toujours* la bonne réponse, même lorsqu'il fait des inférences arbitrairement éloignées des données d'entraînement ? Présentation de BEACONS. Lien arXiv ci-dessous. (1/15)

Dans les années 90, un excellent travail a été réalisé par Mhaskar, Pinkus et d'autres sur des versions *quantitatives* des célèbres théorèmes d'approximation universelle pour les réseaux de neurones : à quel point un réseau de neurones peu profond avec N neurones cachés peut-il approximer une fonction de dimension d ? (3/15)

Mais ces bornes d'erreur dans le pire des cas dépendent crucialement de la régularité de la fonction à approximer (c'est-à-dire que l'erreur dans le pire des cas évolue comme N^(-n/d), où n est le nombre de dérivées continues que possède la fonction). Cela pose un problème majeur pour l'extrapolation. (4/15)

Comment pouvons-nous jamais savoir quoi que ce soit sur la régularité d'une fonction, en dehors du sous-domaine sur lequel nous avons été formés ? C'est la raison essentielle pour laquelle on ne peut pas limiter les erreurs sur les approximations de fonctions par des réseaux de neurones loin de l'enveloppe convexe des données d'entraînement. (5/15)

Mais avec les BEACONS - Bounded-Error, Algebraically-COmposable Neural Solvers - nous exploitons le fait que la fonction que nous apprenons n'est pas arbitraire, mais qu'elle est plutôt la solution à une PDE (ou un système de PDE). Ainsi, nous pouvons appliquer des techniques comme la méthode des caractéristiques... (6/15)

...ou des théorèmes de régularité elliptique pour prédire *a priori* combien de dérivées continues doivent exister, n'importe où dans l'espace ou dans le temps, même arbitrairement loin du domaine d'entraînement, en exploitant la structure analytique des PDE elles-mêmes. D'où la partie "Erreur-Bondée". (7/15)

Mais de telles limites rigoureuses ne peuvent être prouvées que pour des réseaux de neurones peu profonds (avec une seule couche cachée). Que faire si nous voulons construire une architecture plus profonde et plus expressive ? C'est là que la partie "Algebraically-Composable" entre en jeu. En utilisant des idées de la théorie des catégories appliquées... (8/15)

...nous montrons comment il est possible de construire des architectures BEACONS plus profondes comme des compositions d'architectures plus superficielles, de manière à ce que les bornes d'erreur restent étroitement contrôlées. Plus précisément, nous "factorisons" notre solution PDE compliquée en une composition de fonctions plus simples... (9/15)

...de telle manière que les grandes limites sur les erreurs pour les parties discontinues de la solution soient arbitrairement supprimées par de petites limites sur les erreurs pour les parties lisses et à variation lente de la solution, généralisant ainsi efficacement la théorie des limiteurs de flux non linéaires. (10/15)

Il suffit de spécifier les équations que vous souhaitez résoudre, ainsi que les hyperparamètres du réseau de neurones à utiliser pour les résoudre, et notre cadre génère automatiquement un code C hautement optimisé pour entraîner et valider une architecture BEACONS pour ces équations, et inférer de nouvelles solutions. (12/15)

En même temps, il génère des preuves formelles de correction pour le solveur classique sous-jacent, ainsi que pour le solveur basé sur un réseau de neurones bootstrappé, avec des bornes extrapolatoires rigoureuses sur les erreurs L^infinity dans le pire des cas pour les solutions lisses et non lisses. (13/15)

Ces preuves sont représentées sous forme de code Racket symbolique, et donc sont entièrement exécutables (et donc vérifiables par machine). Pour une variété de systèmes d'équations à la fois linéaires et non linéaires, nous constatons que les architectures BEACONS surpassent de manière spectaculaire les réseaux de neurones traditionnels. (14/15)

L'objectif est d'élever le niveau global de rigueur mathématique sous-jacent à l'apprentissage automatique scientifique, en plaçant les méthodes basées sur les réseaux de neurones sur un pied d'égalité avec les méthodes numériques classiques, et en garantissant des propriétés telles que la conservation, la convergence, la stabilité et la correction. (15/15)