Les réseaux de neurones clairsemés orientent les physiciens vers des données utiles | Quanta Magazine

Supposons que vous ayez un livre de mille pages, mais que chaque page ne comporte qu'une seule ligne de texte. Vous êtes censé extraire les informations contenues dans le livre à l'aide d'un scanner, seul ce scanner particulier parcourt systématiquement chaque page, scannant un centimètre carré à la fois. Il vous faudrait beaucoup de temps pour parcourir tout le livre avec ce scanner, et la plupart de ce temps serait perdu à scanner l'espace vide. 

Telle est la vie de bien des physiciens expérimentateurs. Dans les expériences sur les particules, les détecteurs capturent et analysent de grandes quantités de données, même si seule une infime partie d'entre elles contient des informations utiles. "Sur une photographie d'un oiseau volant dans le ciel, par exemple, chaque pixel peut avoir un sens", a expliqué Kazuhiro Terao, physicien au SLAC National Accelerator Laboratory. Mais dans les images qu'un physicien regarde, souvent seule une petite partie compte réellement. Dans de telles circonstances, se pencher sur chaque détail consomme inutilement du temps et des ressources informatiques.

Mais cela commence à changer. Avec un outil d'apprentissage automatique connu sous le nom de réseau neuronal convolutif clairsemé (SCNN), les chercheurs peuvent se concentrer sur les parties pertinentes de leurs données et filtrer le reste. Les chercheurs ont utilisé ces réseaux pour accélérer considérablement leur capacité à effectuer des analyses de données en temps réel. Et ils prévoient d'employer des SCNN dans des expériences à venir ou existantes sur au moins trois continents. Le changement marque un changement historique pour la communauté des physiciens. 

"En physique, nous sommes habitués à développer nos propres algorithmes et approches informatiques", a déclaré Carlos Argüelles-Delgado, physicien à l'Université de Harvard. "Nous avons toujours été à l'avant-garde du développement, mais maintenant, du côté informatique, l'informatique ouvre souvent la voie." 

Caractères clairsemés

Le travail qui allait aboutir aux SCNN a commencé en 2012, lorsque Benjamin Graham, alors à l'Université de Warwick, voulait créer un réseau de neurones capable de reconnaître l'écriture chinoise. 

Les principaux outils à l'époque pour les tâches liées à l'image comme celle-ci étaient les réseaux de neurones convolutifs (CNN). Pour la tâche d'écriture manuscrite en chinois, un écrivain tracerait un caractère sur une tablette numérique, produisant une image de, disons, 10,000 3 pixels. Le CNN déplacerait ensuite une grille 3 par XNUMX appelée noyau sur toute l'image, en centrant le noyau sur chaque pixel individuellement. Pour chaque emplacement du noyau, le réseau effectuait un calcul mathématique compliqué appelé convolution qui recherchait des caractéristiques distinctives.

Les CNN ont été conçus pour être utilisés avec des images riches en informations telles que des photographies. Mais une image contenant un caractère chinois est la plupart du temps vide ; les chercheurs qualifient de rares les données présentant cette propriété. C'est une caractéristique commune à tout ce qui se trouve dans le monde naturel. "Pour donner un exemple de la rareté du monde", a déclaré Graham, si la Tour Eiffel était enfermée dans le plus petit rectangle possible, ce rectangle serait composé de "99.98% d'air et seulement 0.02% de fer".

Graham a essayé de peaufiner l'approche CNN afin que le noyau ne soit placé que sur des sections 3 par 3 de l'image qui contiennent au moins un pixel qui a une valeur non nulle (et qui n'est pas simplement vide). De cette manière, il a réussi à produire un système capable d'identifier efficacement le chinois manuscrit. Il a remporté un concours en 2013 en identifiant des caractères individuels avec un taux d'erreur de seulement 2.61 %. (Les humains ont obtenu un score de 4.81 % en moyenne.) Il a ensuite porté son attention sur un problème encore plus important : la reconnaissance d'objets en trois dimensions.

En 2017, Graham était passé à Facebook AI Research et avait encore affiné sa technique et publié le détails pour le premier SCNN, qui a centré le noyau uniquement sur les pixels qui avaient une valeur non nulle (plutôt que de placer le noyau sur n'importe quelle section 3 par 3 qui avait au moins un pixel « non nul »). C'est cette idée générale que Terao a apportée au monde de la physique des particules.

Plans souterrains

Terao est impliqué dans des expériences au Fermi National Accelerator Laboratory qui sondent la nature des neutrinos, parmi les particules élémentaires connues les plus insaisissables. Ce sont aussi les particules les plus abondantes dans l'univers avec une masse (bien que peu), mais elles apparaissent rarement à l'intérieur d'un détecteur. En conséquence, la plupart des données pour les expériences sur les neutrinos sont rares et Terao était constamment à la recherche de meilleures approches pour l'analyse des données. Il en a trouvé un dans les SCNN.

En 2019, il a appliqué des SCNN à des simulations des données attendues de l'expérience Deep Underground Neutrino Experiment, ou DUNE, qui sera la plus grande expérience de physique des neutrinos au monde lorsqu'elle sera mise en ligne en 2026. Le projet tirera des neutrinos du Fermilab, juste à l'extérieur de Chicago, à travers 800 miles de terre jusqu'à un laboratoire souterrain dans le Dakota du Sud. En cours de route, les particules « oscilleront » entre les trois types connus de neutrinos, et ces oscillations pourraient révéler des propriétés détaillées des neutrinos.

Les SCNN ont analysé les données simulées plus rapidement que les méthodes ordinaires et ont nécessité beaucoup moins de puissance de calcul pour ce faire. Les résultats prometteurs signifient que les SCNN seront probablement utilisés pendant la phase expérimentale réelle.

En 2021, pendant ce temps, Terao a aidé à ajouter des SCNN à une autre expérience sur les neutrinos au Fermilab connue sous le nom de MicroBooNE. Ici, les scientifiques examinent les conséquences des collisions entre les neutrinos et les noyaux des atomes d'argon. En examinant les traces créées par ces interactions, les chercheurs peuvent déduire des détails sur les neutrinos d'origine. Pour ce faire, ils ont besoin d'un algorithme capable d'examiner les pixels (ou, techniquement, leurs homologues tridimensionnels appelés voxels) dans une représentation tridimensionnelle du détecteur, puis de déterminer quels pixels sont associés à quelles trajectoires de particules.

Parce que les données sont si rares - une poignée de minuscules lignes dans un grand détecteur (environ 170 tonnes d'argon liquide) - les SCNN sont presque parfaits pour cette tâche. Avec un CNN standard, l'image devrait être divisée en 50 morceaux, à cause de tous les calculs à faire, a déclaré Terao. "Avec un CNN clairsemé, nous analysons l'intégralité de l'image en une seule fois - et le faisons beaucoup plus rapidement."

Déclencheurs opportuns

L'un des chercheurs qui a travaillé sur MicroBooNE était un stagiaire de premier cycle nommé Felix Yu. Impressionné par la puissance et l'efficacité des SCNN, il a apporté les outils avec lui sur son prochain lieu de travail en tant qu'étudiant diplômé dans un laboratoire de recherche de Harvard officiellement affilié à l'observatoire IceCube Neutrino au pôle Sud.

L'un des principaux objectifs de l'observatoire est d'intercepter les neutrinos les plus énergétiques de l'univers et de les retracer jusqu'à leurs sources, dont la plupart se trouvent en dehors de notre galaxie. Le détecteur est composé de 5,160 XNUMX capteurs optiques enfouis dans la glace de l'Antarctique, dont seule une infime fraction s'allume à un moment donné. Le reste du tableau reste sombre et n'est pas particulièrement informatif. Pire encore, bon nombre des « événements » enregistrés par les détecteurs sont des faux positifs et ne sont pas utiles pour la chasse aux neutrinos. Seuls les événements dits de niveau déclencheur font l'objet d'une analyse plus approfondie, et des décisions instantanées doivent être prises pour déterminer ceux qui méritent cette désignation et ceux qui seront définitivement ignorés.

Les CNN standard sont trop lents pour cette tâche, les scientifiques d'IceCube se sont donc longtemps appuyés sur un algorithme appelé LineFit pour leur signaler des détections potentiellement utiles. Mais cet algorithme n'est pas fiable, a déclaré Yu, "ce qui signifie que nous pourrions manquer des événements intéressants". Encore une fois, il s'agit d'un environnement de données clairsemées parfaitement adapté à un SCNN.

Yu - avec Argüelles-Delgado, son directeur de thèse, et Jeff Lazar, étudiant diplômé de l'Université du Wisconsin, Madison - ont quantifié cet avantage, montrant dans un article récent que ces réseaux seraient environ 20 fois plus rapides que les CNN typiques. "C'est assez rapide pour fonctionner sur chaque événement qui sort du détecteur", environ 3,000 XNUMX par seconde, a déclaré Lazar. "Cela nous permet de prendre de meilleures décisions sur ce qu'il faut jeter et ce qu'il faut garder."

Les auteurs ont également utilisé avec succès un SCNN dans une simulation utilisant des données officielles IceCube, et la prochaine étape consiste à tester leur système sur une réplique du système informatique du pôle Sud. Si tout va bien, Argüelles-Delgado pense qu'ils devraient installer leur système à l'observatoire de l'Antarctique l'année prochaine. Mais la technologie pourrait voir une utilisation encore plus large. "Nous pensons que [les SCNN pourraient bénéficier] à tous les télescopes à neutrinos, pas seulement à IceCube", a déclaré Argüelles-Delgado.

Au-delà des neutrinos

Philip Harris, physicien au Massachusetts Institute of Technology, espère que les SCNN pourront aider le plus grand collisionneur de particules de tous : le Large Hadron Collider (LHC) au CERN. Harris a entendu parler de ce type de réseau de neurones par un collègue du MIT, l'informaticien Song Han. "Song est un expert dans la création d'algorithmes rapides et efficaces", a déclaré Harris - parfait pour le LHC, où 40 millions de collisions se produisent chaque seconde.

Lorsqu'ils se sont parlé il y a quelques années, Song a parlé à Harris d'un projet de véhicule autonome qu'il poursuivait avec des membres de son laboratoire. L'équipe de Song utilisait des SCNN pour analyser des cartes laser 3D de l'espace devant le véhicule, dont une grande partie est vide, pour voir s'il y avait des obstacles devant.

Harris et ses collègues sont confrontés à des défis similaires au LHC. Lorsque deux protons entrent en collision à l'intérieur de la machine, le crash crée une sphère en expansion faite de particules. Lorsqu'une de ces particules frappe le collecteur, une pluie de particules secondaires se produit. "Si vous pouvez cartographier toute l'étendue de cette douche", a déclaré Harris, "vous pouvez déterminer l'énergie de la particule qui l'a provoquée", ce qui pourrait être un objet d'intérêt particulier - quelque chose comme le boson de Higgs, que les physiciens découvert en 2012, ou une particule de matière noire, que les physiciens recherchent toujours.

"Le problème que nous essayons de résoudre consiste à relier les points", a déclaré Harris, tout comme une voiture autonome pourrait relier les points d'une carte laser pour détecter une obstruction.

Les SCNN accéléreraient l'analyse des données au LHC d'au moins un facteur 50, a déclaré Harris. "Notre objectif ultime est de faire entrer [SCNN] dans le détecteur" - une tâche qui nécessitera au moins un an de paperasse et une adhésion supplémentaire de la communauté. Mais lui et ses collègues ont bon espoir.

Au total, il est de plus en plus probable que les SCNN - une idée conçue à l'origine dans le monde de l'informatique - joueront bientôt un rôle dans les plus grandes expériences jamais menées en physique des neutrinos (DUNE), en astronomie des neutrinos (IceCube) et en physique des hautes énergies (le LHC). .

Graham a déclaré qu'il était agréablement surpris d'apprendre que les SCNN avaient fait leur chemin vers la physique des particules, bien qu'il n'ait pas été totalement choqué. "Dans un sens abstrait", a-t-il dit, "une particule se déplaçant dans l'espace est un peu comme la pointe d'un stylo se déplaçant sur une feuille de papier."