Le reti neurali sparse indirizzano i fisici verso dati utili | Rivista Quanta

Supponiamo di avere un libro di mille pagine, ma ogni pagina ha una sola riga di testo. Dovresti estrarre le informazioni contenute nel libro usando uno scanner, solo che questo particolare scanner passa sistematicamente attraverso ogni singola pagina, scansionando un pollice quadrato alla volta. Ci vorrebbe molto tempo per leggere l'intero libro con quello scanner, e la maggior parte di quel tempo sarebbe sprecata scansionando lo spazio vuoto. 

Questa è la vita di molti fisici sperimentali. Negli esperimenti con le particelle, i rivelatori catturano e analizzano grandi quantità di dati, anche se solo una piccola parte di essi contiene informazioni utili. "In una fotografia di, diciamo, un uccello che vola nel cielo, ogni pixel può essere significativo", ha spiegato Kazuhiro Terao, fisico presso lo SLAC National Accelerator Laboratory. Ma nelle immagini che un fisico guarda, spesso conta solo una piccola parte. In circostanze del genere, esaminare attentamente ogni dettaglio consuma inutilmente tempo e risorse computazionali.

Ma questo sta iniziando a cambiare. Con uno strumento di apprendimento automatico noto come rete neurale convoluzionale sparsa (SCNN), i ricercatori possono concentrarsi sulle parti rilevanti dei loro dati e escludere il resto. I ricercatori hanno utilizzato queste reti per accelerare notevolmente la loro capacità di eseguire analisi dei dati in tempo reale. E hanno in programma di impiegare gli SCNN in esperimenti imminenti o esistenti in almeno tre continenti. L'interruttore segna un cambiamento storico per la comunità dei fisici. 

"In fisica, siamo abituati a sviluppare i nostri algoritmi e approcci computazionali", ha affermato Carlos Argüelles-Delgado, un fisico dell'Università di Harvard. "Siamo sempre stati in prima linea nello sviluppo, ma ora, dal punto di vista computazionale, l'informatica è spesso all'avanguardia". 

Caratteri sparsi

Il lavoro che avrebbe portato agli SCNN è iniziato nel 2012, quando Benjamin Graham, allora all'Università di Warwick, voleva realizzare una rete neurale in grado di riconoscere la calligrafia cinese. 

Gli strumenti principali all'epoca per compiti legati alle immagini come questo erano le reti neurali convoluzionali (CNN). Per il compito di scrittura a mano cinese, uno scrittore traccerebbe un carattere su una tavoletta digitale, producendo un'immagine di, diciamo, 10,000 pixel. La CNN sposta quindi una griglia 3 per 3 chiamata kernel sull'intera immagine, centrando il kernel su ciascun pixel individualmente. Per ogni posizionamento del kernel, la rete eseguiva un complicato calcolo matematico chiamato convoluzione che cercava caratteristiche distintive.

Le CNN sono state progettate per essere utilizzate con immagini dense di informazioni come le fotografie. Ma un'immagine contenente un carattere cinese è per lo più vuota; i ricercatori si riferiscono ai dati con questa proprietà come sparsi. È una caratteristica comune di qualsiasi cosa nel mondo naturale. "Per dare un esempio di quanto possa essere scarso il mondo", ha detto Graham, se la Torre Eiffel fosse racchiusa nel rettangolo più piccolo possibile, quel rettangolo sarebbe composto da "99.98% di aria e solo lo 0.02% di ferro".

Graham ha provato a modificare l'approccio della CNN in modo che il kernel venga posizionato solo su sezioni 3 per 3 dell'immagine che contengono almeno un pixel con valore diverso da zero (e non è solo vuoto). In questo modo, è riuscito a produrre un sistema in grado di identificare efficacemente il cinese scritto a mano. Ha vinto un concorso del 2013 identificando i singoli caratteri con un tasso di errore di solo il 2.61%. (Gli esseri umani hanno ottenuto in media il 4.81%.) Successivamente ha rivolto la sua attenzione a un problema ancora più grande: il riconoscimento di oggetti tridimensionali.

Nel 2017, Graham era passato a Facebook AI Research e aveva ulteriormente affinato la sua tecnica e pubblicato , il dettagli per il primo SCNN, che centrava il kernel solo sui pixel che avevano un valore diverso da zero (piuttosto che posizionare il kernel su qualsiasi sezione 3 per 3 che avesse almeno un pixel "diverso da zero"). È stata questa idea generale che Terao ha portato nel mondo della fisica delle particelle.

Colpi sotterranei

Terao è coinvolto in esperimenti presso il Fermi National Accelerator Laboratory che sondano la natura dei neutrini, tra le particelle elementari conosciute più sfuggenti. Sono anche le particelle più abbondanti nell'universo con massa (anche se non molto), ma raramente si presentano all'interno di un rivelatore. Di conseguenza, la maggior parte dei dati per gli esperimenti sui neutrini è scarsa e Terao era costantemente alla ricerca di approcci migliori all'analisi dei dati. Ne ha trovato uno negli SCNN.

Nel 2019, ha applicato gli SCNN alle simulazioni dei dati attesi dal Deep Underground Neutrino Experiment, o DUNE, che sarà il più grande esperimento di fisica dei neutrini al mondo quando sarà online nel 2026. Il progetto sparerà neutrini dal Fermilab, appena fuori Chicago, attraverso 800 miglia di terra fino a un laboratorio sotterraneo nel South Dakota. Lungo il percorso, le particelle "oscilleranno" tra i tre tipi noti di neutrini e queste oscillazioni potrebbero rivelare proprietà dettagliate dei neutrini.

Gli SCNN hanno analizzato i dati simulati più velocemente dei metodi ordinari e per farlo hanno richiesto una potenza di calcolo notevolmente inferiore. I risultati promettenti indicano che gli SCNN saranno probabilmente utilizzati durante l'attuale corsa sperimentale.

Nel 2021, nel frattempo, Terao ha contribuito ad aggiungere SCNN a un altro esperimento sui neutrini al Fermilab noto come MicroBooNE. Qui, gli scienziati esaminano le conseguenze delle collisioni tra i neutrini ei nuclei degli atomi di argon. Esaminando le tracce create da queste interazioni, i ricercatori possono dedurre dettagli sui neutrini originali. Per fare ciò, hanno bisogno di un algoritmo in grado di guardare i pixel (o, tecnicamente, le loro controparti tridimensionali chiamate voxel) in una rappresentazione tridimensionale del rivelatore e quindi determinare quali pixel sono associati a quali traiettorie di particelle.

Poiché i dati sono così scarsi - un'infarinatura di minuscole linee all'interno di un grande rivelatore (circa 170 tonnellate di argon liquido) - gli SCNN sono quasi perfetti per questo compito. Con una CNN standard, l'immagine dovrebbe essere suddivisa in 50 pezzi, a causa di tutti i calcoli da fare, ha detto Terao. "Con una CNN sparsa, analizziamo l'intera immagine in una sola volta e lo facciamo molto più velocemente."

Trigger tempestivi

Uno dei ricercatori che ha lavorato a MicroBooNE era uno stagista universitario di nome Felix Yu. Impressionato dalla potenza e dall'efficienza degli SCNN, ha portato con sé gli strumenti nel suo prossimo posto di lavoro come studente laureato presso un laboratorio di ricerca di Harvard formalmente affiliato con l'IceCube Neutrino Observatory al Polo Sud.

Uno degli obiettivi chiave dell'osservatorio è intercettare i neutrini più energetici dell'universo e risalire alle loro fonti, la maggior parte delle quali si trova al di fuori della nostra galassia. Il rilevatore è composto da 5,160 sensori ottici sepolti nel ghiaccio antartico, solo una piccola parte dei quali si illumina in un dato momento. Il resto dell'array rimane scuro e non è particolarmente informativo. Peggio ancora, molti degli "eventi" registrati dai rivelatori sono falsi positivi e non utili per la caccia al neutrino. Solo i cosiddetti eventi a livello di trigger fanno il taglio per ulteriori analisi, e devono essere prese decisioni istantanee su quali sono degni di tale designazione e quali saranno permanentemente ignorati.

Le CNN standard sono troppo lente per questo compito, quindi gli scienziati di IceCube si sono affidati a lungo a un algoritmo chiamato LineFit per comunicare loro rilevamenti potenzialmente utili. Ma quell'algoritmo è inaffidabile, ha detto Yu, "il che significa che potremmo perdere eventi interessanti". Ancora una volta, è un ambiente di dati sparsi ideale per un SCNN.

Yu - insieme ad Argüelles-Delgado, il suo consulente di dottorato, e Jeff Lazar, uno studente laureato presso l'Università del Wisconsin, Madison - ha quantificato tale vantaggio, mostrando in un recente documento che queste reti sarebbero circa 20 volte più veloci delle tipiche CNN. "È abbastanza veloce da funzionare su ogni evento che esce dal rilevatore", circa 3,000 al secondo, ha detto Lazar. "Ciò ci consente di prendere decisioni migliori su cosa buttare e cosa tenere".

Gli autori hanno anche impiegato con successo un SCNN in una simulazione utilizzando i dati ufficiali di IceCube, e il passo successivo è testare il loro sistema su una replica del sistema informatico del Polo Sud. Se tutto va bene, Argüelles-Delgado ritiene che il prossimo anno dovrebbe installare il proprio sistema presso l'osservatorio antartico. Ma la tecnologia potrebbe vedere un uso ancora più ampio. "Pensiamo che [gli SCNN potrebbero beneficiare] tutti i telescopi per neutrini, non solo IceCube", ha detto Argüelles-Delgado.

Oltre i neutrini

Philip Harris, un fisico del Massachusetts Institute of Technology, spera che gli SCNN possano dare una mano al più grande collisore di particelle di tutti: il Large Hadron Collider (LHC) al CERN. Harris ha sentito parlare di questo tipo di rete neurale da un collega del MIT, l'informatico Song Han. "Song è un esperto nel rendere gli algoritmi veloci ed efficienti", ha detto Harris, perfetto per l'LHC, dove si verificano 40 milioni di collisioni ogni secondo.

Quando hanno parlato un paio di anni fa, Song ha raccontato a Harris di un progetto di veicolo autonomo che stava portando avanti con i membri del suo laboratorio. Il team di Song stava usando gli SCNN per analizzare mappe laser 3D dello spazio davanti al veicolo, gran parte del quale è vuoto, per vedere se c'erano ostacoli davanti.

Harris ei suoi colleghi affrontano sfide simili all'LHC. Quando due protoni si scontrano all'interno della macchina, lo scontro crea una sfera in espansione fatta di particelle. Quando una di queste particelle colpisce il collettore, si verifica una pioggia di particelle secondarie. "Se riesci a mappare l'intera estensione di questo sciame", ha detto Harris, "puoi determinare l'energia della particella che lo ha dato origine", che potrebbe essere un oggetto di particolare interesse - qualcosa come il bosone di Higgs, che i fisici scoperto nel 2012, o una particella di materia oscura, che i fisici stanno ancora cercando.

"Il problema che stiamo cercando di risolvere si riduce a collegare i punti", ha detto Harris, proprio come un'auto a guida autonoma potrebbe collegare i punti di una mappa laser per rilevare un ostacolo.

Gli SCNN accelererebbero l'analisi dei dati all'LHC di almeno un fattore 50, ha detto Harris. "Il nostro obiettivo finale è inserire [SCNN] nel rilevatore", un compito che richiederà almeno un anno di scartoffie e un ulteriore consenso da parte della comunità. Ma lui ei suoi colleghi sono fiduciosi.

Complessivamente, è sempre più probabile che gli SCNN - un'idea originariamente concepita nel mondo dell'informatica - giocheranno presto un ruolo nei più grandi esperimenti mai condotti nella fisica dei neutrini (DUNE), nell'astronomia dei neutrini (IceCube) e nella fisica delle alte energie (l'LHC) .

Graham ha detto di essere rimasto piacevolmente sorpreso nell'apprendere che gli SCNN si erano fatti strada verso la fisica delle particelle, sebbene non ne fosse del tutto scioccato. "In senso astratto", ha detto, "una particella che si muove nello spazio è un po' come la punta di una penna che si muove su un pezzo di carta".