Rzadkie sieci neuronowe wskazują fizykom przydatne dane | Magazyn Quanta

Załóżmy, że masz tysiącstronicową książkę, ale każda strona zawiera tylko jeden wiersz tekstu. Masz wydobyć informacje zawarte w książce za pomocą skanera, tylko ten konkretny skaner systematycznie przegląda każdą stronę, skanując jeden cal kwadratowy na raz. Przejrzenie całej książki za pomocą tego skanera zajęłoby dużo czasu, a większość tego czasu zmarnowałabyś na skanowanie pustej przestrzeni. 

Takie jest życie wielu fizyków doświadczalnych. W eksperymentach z cząsteczkami detektory przechwytują i analizują ogromne ilości danych, mimo że tylko niewielka ich część zawiera przydatne informacje. „Na zdjęciu, powiedzmy, ptaka lecącego po niebie, każdy piksel może mieć znaczenie” — wyjaśnił Kazuhiro Terao, fizyk w SLAC National Accelerator Laboratory. Ale w obrazach, na które patrzy fizyk, często tylko niewielka ich część ma znaczenie. W takich okolicznościach ślęczenie nad każdym szczegółem niepotrzebnie pochłania czas i zasoby obliczeniowe.

Ale to zaczyna się zmieniać. Dzięki narzędziu do uczenia maszynowego, znanemu jako rzadka konwolucyjna sieć neuronowa (SCNN), badacze mogą skupić się na odpowiednich częściach swoich danych i odfiltrować resztę. Naukowcy wykorzystali te sieci, aby znacznie przyspieszyć swoją zdolność do analizy danych w czasie rzeczywistym. I planują wykorzystać SCNN w nadchodzących lub istniejących eksperymentach na co najmniej trzech kontynentach. Zmiana oznacza historyczną zmianę dla społeczności fizyków. 

„W fizyce jesteśmy przyzwyczajeni do opracowywania własnych algorytmów i metod obliczeniowych” – powiedział Carlosa Argüelles-Delgado, fizyk z Uniwersytetu Harvarda. „Zawsze byliśmy w czołówce rozwoju, ale teraz, jeśli chodzi o obliczenia, informatyka często przoduje”. 

Rzadkie postacie

Prace, które miały doprowadzić do powstania SCNN, rozpoczęły się w 2012 r., kiedy to Benjamin Graham, wówczas na Uniwersytecie w Warwick, chciał stworzyć sieć neuronową, która mogłaby rozpoznawać chińskie pismo odręczne. 

Najważniejszymi narzędziami w tamtym czasie do takich zadań związanych z obrazami były konwolucyjne sieci neuronowe (CNN). W przypadku chińskiego pisma odręcznego pisarz prześledziłby znak na tablecie cyfrowym, tworząc obraz o wielkości, powiedzmy, 10,000 3 pikseli. Następnie CNN przesunąłby siatkę 3 na XNUMX zwaną jądrem na cały obraz, wyśrodkowując jądro na każdym pikselu z osobna. Dla każdego umieszczenia jądra sieć wykonywała skomplikowane obliczenia matematyczne zwane splotem, które szukały wyróżniających cech.

Sieci CNN zostały zaprojektowane do użytku z obrazami o dużej zawartości informacji, takimi jak fotografie. Ale obraz zawierający chiński znak jest w większości pusty; badacze określają dane o tej właściwości jako rzadkie. To powszechna cecha wszystkiego w świecie przyrody. „Dając przykład tego, jak rzadki może być świat”, powiedział Graham, gdyby wieża Eiffla została zamknięta w najmniejszym możliwym prostokącie, prostokąt ten składałby się z „99.98% powietrza i zaledwie 0.02% żelaza”.

Graham próbował zmodyfikować podejście CNN, tak aby jądro było umieszczane tylko na fragmentach obrazu o wymiarach 3 na 3, które zawierają co najmniej jeden piksel o wartości niezerowej (i nie jest po prostu pusty). W ten sposób udało mu się stworzyć system, który mógł skutecznie identyfikować chiński odręcznie pisany. Wygrał konkurs z 2013 roku, identyfikując poszczególne postacie ze wskaźnikiem błędu wynoszącym zaledwie 2.61%. (Ludzie uzyskali średnio 4.81%.) Następnie zwrócił uwagę na jeszcze większy problem: rozpoznawanie obiektów trójwymiarowych.

Do 2017 roku Graham przeniósł się do Facebook AI Research i jeszcze bardziej udoskonalił swoją technikę i opublikowany dotychczasowy detale dla pierwszego SCNN, który wyśrodkował jądro tylko na pikselach, które miały wartość różną od zera (zamiast umieszczania jądra na dowolnej sekcji 3 na 3, która miała co najmniej jeden „niezerowy” piksel). To była ogólna idea, którą Terao wniósł do świata fizyki cząstek elementarnych.

Strzały z podziemia

Terao jest zaangażowany w eksperymenty w Fermi National Accelerator Laboratory, które badają naturę neutrin, należących do najbardziej nieuchwytnych znanych cząstek elementarnych. Są to również najobficiej występujące cząstki we wszechświecie o masie (choć niewiele), ale rzadko pojawiają się w detektorze. W rezultacie większość danych do eksperymentów z neutrinami jest skąpa, a Terao nieustannie poszukiwał lepszych podejść do analizy danych. Znalazł jeden w SCNN.

W 2019 roku zastosował SCNN do symulacji danych oczekiwanych z Deep Underground Neutrino Experiment lub DUNE, który będzie największym na świecie eksperymentem fizyki neutrin, gdy zostanie udostępniony online w 2026 roku. Projekt będzie strzelał neutrinami z Fermilab, niedaleko Chicago, przez 800 mil ziemi do podziemnego laboratorium w Południowej Dakocie. Po drodze cząstki będą „oscylować” między trzema znanymi typami neutrin, a te oscylacje mogą ujawnić szczegółowe właściwości neutrin.

SCNN analizowały symulowane dane szybciej niż zwykłymi metodami i wymagały przy tym znacznie mniejszej mocy obliczeniowej. Obiecujące wyniki oznaczają, że sieci SCNN będą prawdopodobnie wykorzystywane podczas rzeczywistego przebiegu eksperymentu.

Tymczasem w 2021 roku Terao pomógł dodać SCNN do innego eksperymentu z neutrinami w Fermilab, znanego jako MicroBooNE. Tutaj naukowcy przyglądają się następstwom zderzeń neutrin z jądrami atomów argonu. Badając ślady utworzone przez te interakcje, naukowcy mogą wywnioskować szczegóły dotyczące oryginalnych neutrin. Aby to zrobić, potrzebują algorytmu, który może spojrzeć na piksele (lub technicznie ich trójwymiarowe odpowiedniki zwane wokselami) w trójwymiarowej reprezentacji detektora, a następnie określić, które piksele są powiązane z trajektoriami cząstek.

Ponieważ dane są tak rzadkie — niewielka liczba małych linii w dużym detektorze (około 170 ton ciekłego argonu) — sieci SCNN są prawie idealne do tego zadania. W przypadku standardowego CNN obraz musiałby zostać podzielony na 50 części ze względu na wszystkie obliczenia do wykonania, powiedział Terao. „Dzięki rzadkiemu CNN analizujemy cały obraz naraz — i robimy to znacznie szybciej”.

Terminowe wyzwalacze

Jednym z badaczy, którzy pracowali nad MicroBooNE, był stażysta Felix Yu. Będąc pod wrażeniem mocy i wydajności SCNN, zabrał ze sobą narzędzia do swojego następnego miejsca pracy jako absolwent laboratorium badawczego na Harvardzie formalnie powiązanego z IceCube Neutrino Observatory na biegunie południowym.

Jednym z kluczowych celów obserwatorium jest przechwytywanie najbardziej energetycznych neutrin we wszechświecie i śledzenie ich z powrotem do ich źródeł, z których większość znajduje się poza naszą galaktyką. Detektor składa się z 5,160 czujników optycznych zakopanych w lodzie Antarktydy, z których tylko niewielka część zapala się w danym momencie. Reszta tablicy pozostaje ciemna i nie jest szczególnie pouczająca. Co gorsza, wiele „zdarzeń” rejestrowanych przez detektory to fałszywe alarmy i nieprzydatne do polowania na neutrina. Tylko tak zwane zdarzenia na poziomie wyzwalacza nadają się do dalszej analizy i należy natychmiast podjąć decyzje, które z nich są godne tego oznaczenia, a które będą trwale ignorowane.

Standardowe CNN są zbyt wolne do tego zadania, więc naukowcy IceCube od dawna polegają na algorytmie o nazwie LineFit, aby informować ich o potencjalnie użytecznych wykryciach. Ale ten algorytm jest zawodny, powiedział Yu, „co oznacza, że ​​możemy przegapić interesujące wydarzenia”. Ponownie, jest to rzadkie środowisko danych, idealnie nadające się do SCNN.

Yu — wraz z Argüelles-Degado, jego promotorem doktoranckim, i Jeffem Lazarem, doktorantem na Uniwersytecie Wisconsin w Madison — oszacowali tę przewagę ilościowo, pokazując w ostatni artykuł że te sieci byłyby około 20 razy szybsze niż typowe CNN. „To wystarczająco szybko, aby uruchomić każde zdarzenie wychodzące z detektora”, około 3,000 na sekundę, powiedział Lazar. „Dzięki temu możemy podejmować lepsze decyzje dotyczące tego, co wyrzucić, a co zachować”.

Autorzy z powodzeniem zastosowali również SCNN w symulacji z wykorzystaniem oficjalnych danych IceCube, a następnym krokiem jest przetestowanie ich systemu na replice systemu komputerowego bieguna południowego. Jeśli wszystko pójdzie dobrze, Argüelles-Degado uważa, że ​​w przyszłym roku powinni zainstalować swój system w obserwatorium antarktycznym. Ale technologia może znaleźć jeszcze szersze zastosowanie. „Uważamy, że [SCNN mogą przynieść korzyści] wszystkim teleskopom neutrinowym, nie tylko IceCube” – powiedział Argüelles-Delgado.

Poza neutrinami

Philip Harris, fizyk z Massachusetts Institute of Technology, ma nadzieję, że SCNN mogą pomóc w największym zderzaczu cząstek ze wszystkich: Wielkim Zderzaczu Hadronów (LHC) w CERN. Harris usłyszał o tego rodzaju sieci neuronowej od kolegi z MIT, informatyka Song Hana. „Song jest ekspertem w tworzeniu szybkich i wydajnych algorytmów” – powiedział Harris – idealne rozwiązanie dla LHC, w którym w każdej sekundzie dochodzi do 40 milionów kolizji.

Kiedy rozmawiali kilka lat temu, Song opowiedział Harrisowi o projekcie pojazdu autonomicznego, który realizował z członkami swojego laboratorium. Zespół Songa używał sieci SCNN do analizowania laserowych map 3D przestrzeni przed pojazdem, z których większość jest pusta, aby sprawdzić, czy przed pojazdem znajdują się jakieś przeszkody.

Harris i jego koledzy stoją przed podobnymi wyzwaniami w LHC. Kiedy dwa protony zderzają się wewnątrz maszyny, zderzenie tworzy rozszerzającą się kulę złożoną z cząstek. Kiedy jedna z tych cząstek uderza w kolektor, następuje deszcz cząstek wtórnych. „Jeśli potrafisz sporządzić mapę pełnego zasięgu tego deszczu”, powiedział Harris, „możesz określić energię cząstki, która go spowodowała”, co może być obiektem szczególnego zainteresowania – czymś w rodzaju bozonu Higgsa, który fizycy odkryta w 2012 roku, czy też cząstka ciemnej materii, której fizycy wciąż poszukują.

„Problem, który próbujemy rozwiązać, sprowadza się do łączenia kropek” – powiedział Harris, tak jak samojezdny samochód może łączyć kropki na mapie laserowej w celu wykrycia przeszkody.

SCNN przyspieszyłoby analizę danych w LHC co najmniej 50-krotnie, powiedział Harris. „Naszym ostatecznym celem jest wprowadzenie [SCNN] do detektora” — zadanie, które zajmie co najmniej rok papierkowej roboty i dodatkowego wpisowego ze strony społeczności. Ale on i jego koledzy są pełni nadziei.

Ogólnie rzecz biorąc, jest coraz bardziej prawdopodobne, że SCNN – pomysł pierwotnie zrodzony w świecie informatyki – wkrótce odegrają rolę w największych eksperymentach, jakie kiedykolwiek przeprowadzono w fizyce neutrin (DUNE), astronomii neutrin (IceCube) i fizyce wysokich energii (LHC). .

Graham powiedział, że był mile zaskoczony, gdy dowiedział się, że SCNN trafiły do ​​fizyki cząstek elementarnych, chociaż nie był całkowicie zszokowany. „W sensie abstrakcyjnym”, powiedział, „cząsteczka poruszająca się w przestrzeni jest trochę jak czubek pióra poruszający się po kartce papieru”.