Розріджені нейронні мережі вказують фізикам на корисні дані | Журнал Quanta

Припустімо, у вас є тисяча сторінок книги, але кожна сторінка містить лише один рядок тексту. Ви повинні отримати інформацію, що міститься в книзі, за допомогою сканера, тільки цей конкретний сканер систематично переглядає кожну сторінку, скануючи один квадратний дюйм за раз. Вам знадобиться багато часу, щоб прочитати всю книгу за допомогою цього сканера, і більшість цього часу буде витрачено на сканування порожнього простору. 

Таким є життя багатьох фізиків-експериментаторів. В експериментах із частинками детектори фіксують і аналізують величезні обсяги даних, навіть якщо корисну інформацію містить лише крихітна їх частина. «На фотографії, скажімо, птаха, що летить у небі, кожен піксель може мати значення», — пояснив Казухіро Терао, фізик Національної прискорювальної лабораторії SLAC. Але на зображеннях, на які дивиться фізик, часто насправді має значення лише невелика частина. У таких обставинах розгляд кожної деталі марно забирає час і обчислювальні ресурси.

Але це починає змінюватися. За допомогою інструменту машинного навчання, відомого як розріджена згорточна нейронна мережа (SCNN), дослідники можуть зосередитися на відповідних частинах своїх даних і відсіяти решту. Дослідники використовували ці мережі, щоб значно прискорити свою здатність виконувати аналіз даних у реальному часі. І вони планують використовувати SCNN у майбутніх або вже існуючих експериментах принаймні на трьох континентах. Перехід знаменує собою історичну зміну для спільноти фізиків. 

«У фізиці ми звикли розробляти власні алгоритми та обчислювальні підходи», — сказав він Карлос Аргуельєс-Дельгадо, фізик Гарвардського університету. «Ми завжди були в авангарді розвитку, але зараз, коли йдеться про обчислення, інформатика часто лідирує». 

Розріджені символи

Робота, яка призведе до SCNN, почалася в 2012 році, коли Бенджамін Грем, який тоді навчався в Уорікському університеті, хотів створити нейронну мережу, яка могла б розпізнавати китайський почерк. 

Головними інструментами того часу для таких завдань, пов’язаних із зображеннями, були згорточні нейронні мережі (CNN). Для завдання китайського рукописного тексту письменник накреслить символ на цифровому планшеті, створивши зображення розміром, скажімо, 10,000 3 пікселів. Потім CNN перемістить сітку 3 на XNUMX, яка називається ядром, по всьому зображенню, центруючи ядро ​​на кожному пікселі окремо. Для кожного розміщення ядра мережа виконувала б складний математичний розрахунок, званий згорткою, який шукав відмінні риси.

CNN були розроблені для використання з інформаційно насиченими зображеннями, такими як фотографії. Але зображення, що містить китайський ієрогліф, здебільшого порожнє; дослідники називають дані з цією властивістю розрідженими. Це загальна риса всього в природному світі. «Щоб навести приклад того, наскільки розрідженим може бути світ, — сказав Грем, — якби Ейфелеву вежу помістили в найменший можливий прямокутник, то цей прямокутник складався б із «99.98% повітря та лише на 0.02% заліза».

Грехем спробував налаштувати підхід CNN так, щоб ядро ​​розміщувалося лише на ділянках зображення розміром 3 на 3, які містять принаймні один піксель із ненульовим значенням (а не просто порожнім). Таким чином йому вдалося створити систему, яка могла б ефективно ідентифікувати рукописну китайську мову. Він виграв конкурс 2013 року, ідентифікуючи окремі символи з рівнем помилок лише 2.61%. (Люди отримали в середньому 4.81% результатів.) Далі він звернув увагу на ще більшу проблему: розпізнавання тривимірних об’єктів.

До 2017 року Грем перейшов у Facebook AI Research і ще більше вдосконалив свою техніку опублікований деталі для першого SCNN, який центрував ядро ​​лише на пікселях, які мали ненульове значення (замість розміщення ядра на будь-якому розділі 3 на 3, який мав принаймні один «ненульовий» піксель). Саме цю загальну ідею Терао приніс у світ фізики елементарних частинок.

Підземні постріли

Terao бере участь в експериментах у Національній прискорювальній лабораторії Фермі, які досліджують природу нейтрино, серед найбільш невловимих відомих елементарних частинок. Вони також є найпоширенішими частинками у Всесвіті з масою (хоча й невеликою), але вони рідко з’являються всередині детектора. Як наслідок, більшість даних для нейтринних експериментів є рідкісними, і Терао постійно шукав кращі підходи до аналізу даних. Він знайшов один у SCNN.

У 2019 році він застосував SCNN для моделювання даних, отриманих від експерименту Deep Underground Neutrino Experiment, або DUNE, який стане найбільшим у світі експериментом з нейтринної фізики, коли його запустять у 2026 році. Проект стрілятиме нейтрино з лабораторії Fermilab, неподалік від Чикаго, через 800 миль землі до підземної лабораторії в Південній Дакоті. По дорозі частинки будуть «осцилювати» між трьома відомими типами нейтрино, і ці коливання можуть виявити детальні властивості нейтрино.

SCNN аналізували змодельовані дані швидше, ніж звичайні методи, і вимагали для цього значно меншої обчислювальної потужності. Багатообіцяючі результати означають, що SCNN, ймовірно, будуть використовуватися під час фактичного експерименту.

Тим часом у 2021 році Terao допоміг додати SCNN до іншого нейтринного експерименту в Fermilab, відомого як MicroBooNE. Тут вчені розглядають наслідки зіткнень між нейтрино та ядрами атомів аргону. Вивчаючи сліди, створені цією взаємодією, дослідники можуть зробити висновок про оригінальні нейтрино. Для цього їм потрібен алгоритм, який може розглядати пікселі (або, технічно, їх тривимірні аналоги, які називаються вокселями) у тривимірному представленні детектора, а потім визначати, які пікселі пов’язані з траєкторіями частинок.

Через те, що дані дуже мізерні — невелика кількість крихітних ліній у великому детекторі (приблизно 170 тонн рідкого аргону) — SCNN майже ідеальні для цього завдання. За словами Терао, зі стандартним CNN зображення довелося б розбити на 50 частин через усі обчислення, які необхідно виконати. «Завдяки розрідженому CNN ми аналізуємо все зображення одразу — і робимо це набагато швидше».

Своєчасні тригери

Одним із дослідників, які працювали над MicroBooNE, був студент-стажер на ім’я Фелікс Ю. Вражений потужністю та ефективністю SCNN, він приніс інструменти з собою на своє наступне місце роботи, будучи аспірантом у дослідницькій лабораторії Гарварду, формально пов’язаній з нейтринною обсерваторією IceCube на Південному полюсі.

Однією з ключових цілей обсерваторії є перехоплення найенергетичніших нейтрино Всесвіту та відстеження їх джерел, більшість із яких знаходяться за межами нашої галактики. Детектор складається з 5,160 оптичних датчиків, похованих в антарктичному льоду, лише крихітна частина яких світиться в будь-який момент часу. Інша частина масиву залишається темною і не особливо інформативною. Гірше того, багато «подій», які фіксують детектори, є хибними спрацьовуваннями і не корисні для полювання на нейтрино. Лише так звані події тригерного рівня враховуються для подальшого аналізу, і потрібно приймати миттєві рішення щодо того, які з них заслуговують цього позначення, а які назавжди ігноруватимуться.

Стандартні CNN надто повільні для цього завдання, тому вчені IceCube давно покладаються на алгоритм під назвою LineFit, щоб повідомляти їм про потенційно корисні виявлення. Але цей алгоритм ненадійний, сказав Ю, «а це означає, що ми можемо пропустити цікаві події». Знову ж таки, це середовище розріджених даних, ідеально підходить для SCNN.

Ю — разом із Аргуельєсом-Дельгадо, його докторським радником, і Джеффом Лазаром, аспірантом Університету Вісконсіна, Медісон — кількісно оцінив цю перевагу, показавши в недавній документ що ці мережі будуть приблизно в 20 разів швидшими за типові CNN. «Цього достатньо швидко, щоб працювати з кожною подією, яка виходить із детектора», — приблизно 3,000 кожну секунду, — сказав Лазар. «Це дозволяє нам приймати кращі рішення про те, що викинути, а що залишити».

Автори також успішно застосували SCNN у симуляції з використанням офіційних даних IceCube, і наступним кроком є ​​тестування своєї системи на копії обчислювальної системи Південного полюса. Якщо все піде добре, Argüelles-Delgado вважає, що наступного року свою систему слід встановити в антарктичній обсерваторії. Але ця технологія може знайти ще ширше застосування. «Ми вважаємо, що [SCNN можуть бути корисними] для всіх нейтринних телескопів, а не лише для IceCube», — сказав Аргуеллес-Дельгадо.

За межами нейтрино

Філіп Гарріс, фізик з Массачусетського технологічного інституту, сподівається, що SCNN можуть допомогти на найбільшому з усіх коллайдерів частинок: Великому адронному колайдері (LHC) у CERN. Гарріс почув про такий вид нейронної мережі від свого колеги з Массачусетського технологічного інституту, комп’ютерника Сон Хана. «Сонг є експертом у тому, щоб зробити алгоритми швидкими та ефективними», — сказав Харріс, що ідеально підходить для LHC, де щосекунди відбувається 40 мільйонів зіткнень.

Коли вони розмовляли пару років тому, Сонг розповів Гаррісу про проект автономного транспортного засобу, який він реалізує разом із співробітниками своєї лабораторії. Команда Сонга використовувала SCNN для аналізу 3D-лазерних карт простору перед транспортним засобом, значна частина якого порожня, щоб побачити, чи є якісь перешкоди попереду.

Гарріс і його колеги стикаються з подібними проблемами на LHC. Коли два протони стикаються всередині машини, аварія створює розширювальну сферу з частинок. Коли одна з цих частинок потрапляє на колектор, виникає вторинний злив частинок. «Якщо ви можете нанести на карту повний масштаб цього дощу, — сказав Гарріс, — ви можете визначити енергію частинки, яка його породила», що може бути об’єктом особливого інтересу — щось на зразок бозона Хіггса, який фізики досліджують. відкрита в 2012 році, або частинка темної матерії, яку фізики досі шукають.

«Проблема, яку ми намагаємося вирішити, зводиться до з’єднання крапок», — сказав Гарріс, так само, як безпілотний автомобіль може з’єднати крапки на лазерній карті, щоб виявити перешкоду.

За словами Гарріса, SCNN прискорить аналіз даних на LHC принаймні в 50 разів. «Наша кінцева мета — залучити [SCNN] до детектора» — це завдання займе щонайменше рік документальної роботи та додаткової участі спільноти. Але він і його колеги мають надію.

Загалом стає все більш вірогідним, що SCNN — ідея, спочатку зароджена у світі інформатики — незабаром зіграють роль у найбільших експериментах, які коли-небудь проводилися в нейтринній фізиці (DUNE), нейтринній астрономії (IceCube) і фізиці високих енергій (LHC). .

Грем сказав, що він був приємно здивований, дізнавшись, що SCNN зробили свій шлях до фізики елементарних частинок, хоча він не був повністю шокований. «У абстрактному розумінні, — сказав він, — частинка, що рухається в просторі, схожа на кінчик ручки, що рухається по аркушу паперу».