Разреженные нейронные сети указывают физикам на полезные данные | Журнал Кванта

Предположим, у вас есть книга на тысячу страниц, но на каждой странице есть только одна строка текста. Вы должны извлечь информацию, содержащуюся в книге, с помощью сканера, только этот конкретный сканер систематически просматривает каждую страницу, сканируя один квадратный дюйм за раз. Вам потребуется много времени, чтобы просмотреть всю книгу с помощью этого сканера, и большая часть этого времени будет потрачена впустую на сканирование пустого места. 

Такова жизнь многих физиков-экспериментаторов. В экспериментах с частицами детекторы собирают и анализируют огромное количество данных, хотя лишь малая их часть содержит полезную информацию. «На фотографии, скажем, птицы, летящей в небе, каждый пиксель может иметь значение», — пояснил Казухиро Терао, физик Национальной ускорительной лаборатории SLAC. Но на изображениях, на которые смотрит физик, часто действительно имеет значение лишь малая их часть. В таких обстоятельствах тщательное изучение каждой детали напрасно отнимает время и вычислительные ресурсы.

Но это начинает меняться. С помощью инструмента машинного обучения, известного как разреженная сверточная нейронная сеть (SCNN), исследователи могут сосредоточиться на соответствующих частях своих данных и отсеивать остальные. Исследователи использовали эти сети, чтобы значительно ускорить анализ данных в реальном времени. И они планируют использовать SCNN в предстоящих или существующих экспериментах как минимум на трех континентах. Переключение знаменует собой историческое изменение для сообщества физиков. 

«В физике мы привыкли разрабатывать собственные алгоритмы и вычислительные подходы, — сказал Карлос Аргуэльес-Дельгадо, физик Гарвардского университета. «Мы всегда были в авангарде развития, но сейчас, в области вычислений, информатика часто лидирует». 

Разреженные символы

Работа, которая привела к созданию SCNN, началась в 2012 году, когда Бенджамин Грэм, тогда работавший в Уорикском университете, хотел создать нейронную сеть, которая могла бы распознавать китайский почерк. 

Основными инструментами в то время для таких задач, связанных с изображениями, были сверточные нейронные сети (CNN). В задаче китайского почерка писатель обводил иероглиф на цифровом планшете, создавая изображение размером, скажем, в 10,000 3 пикселей. Затем CNN будет перемещать сетку 3 на XNUMX, называемую ядром, по всему изображению, центрируя ядро ​​​​на каждом пикселе в отдельности. Для каждого размещения ядра сеть будет выполнять сложный математический расчет, называемый сверткой, который ищет отличительные признаки.

CNN были разработаны для использования с информационными изображениями, такими как фотографии. Но изображение, содержащее китайский иероглиф, в основном пусто; исследователи называют данные с этим свойством разреженными. Это общая черта всего в мире природы. «В качестве примера того, насколько разреженным может быть мир, — сказал Грэм, — если бы Эйфелева башня была заключена в наименьший возможный прямоугольник, этот прямоугольник состоял бы из «99.98% воздуха и всего 0.02% железа».

Грэм попытался настроить подход CNN таким образом, чтобы ядро ​​размещалось только на участках изображения размером 3 на 3, которые содержат хотя бы один пиксель с ненулевым значением (а не просто пустой). Таким образом, ему удалось создать систему, которая могла эффективно идентифицировать рукописный китайский язык. Он выиграл конкурс 2013 года, идентифицируя отдельные символы с частотой ошибок всего 2.61%. (Люди набрали в среднем 4.81 %.) Затем он обратил свое внимание на еще более серьезную проблему: распознавание трехмерных объектов.

К 2017 году Грэм перешел в Facebook AI Research и усовершенствовал свою технику и методы. опубликованный домен подробнее для первой SCNN, которая центрировала ядро ​​​​только на пикселях с ненулевым значением (вместо того, чтобы размещать ядро ​​​​на любой секции 3 на 3, в которой был хотя бы один «ненулевой» пиксель). Именно эту общую идею Терао привнес в мир физики элементарных частиц.

Подземные выстрелы

Терао участвует в экспериментах в Национальной ускорительной лаборатории Ферми, которые исследуют природу нейтрино, среди самых неуловимых известных элементарных частиц. Они также являются самыми распространенными частицами во Вселенной с массой (хотя и небольшой), но они редко обнаруживаются внутри детектора. В результате большая часть данных для нейтринных экспериментов скудна, и Терао постоянно искал лучшие подходы к анализу данных. Он нашел один в SCNN.

В 2019 году он применил SCNN для моделирования данных, ожидаемых от Deep Underground Neutrino Experiment, или DUNE, который станет крупнейшим в мире экспериментом по физике нейтрино, когда он будет запущен в 2026 году. через 800 миль земли в подземную лабораторию в Южной Дакоте. По пути частицы будут «колебаться» между тремя известными типами нейтрино, и эти колебания могут выявить подробные свойства нейтрино.

SCNN анализировали смоделированные данные быстрее, чем обычные методы, и для этого требовалось значительно меньше вычислительной мощности. Многообещающие результаты означают, что SCNN, вероятно, будут использоваться во время реального экспериментального запуска.

Тем временем в 2021 году Терао помог добавить SCNN в другой нейтринный эксперимент в Fermilab, известный как MicroBooNE. Здесь ученые смотрят на последствия столкновений нейтрино с ядрами атомов аргона. Изучая следы, созданные этими взаимодействиями, исследователи могут сделать выводы об исходных нейтрино. Для этого им нужен алгоритм, который может рассматривать пиксели (или, технически, их трехмерные аналоги, называемые вокселами) в трехмерном представлении детектора, а затем определять, какие пиксели связаны с какими траекториями частиц.

Поскольку данных очень мало — небольшое количество крошечных линий внутри большого детектора (примерно 170 тонн жидкого аргона) — SCNN почти идеально подходят для этой задачи. По словам Терао, со стандартной CNN изображение пришлось бы разбить на 50 частей из-за необходимости выполнения всех вычислений. «С разреженной CNN мы анализируем все изображение сразу — и делаем это намного быстрее».

Своевременные триггеры

Одним из исследователей, работавших над MicroBooNE, был студент-стажер по имени Феликс Ю. Впечатленный мощностью и эффективностью SCNN, он взял инструменты с собой на свое следующее рабочее место в качестве аспиранта Гарвардской исследовательской лаборатории, официально связанной с нейтринной обсерваторией IceCube на Южном полюсе.

Одной из ключевых целей обсерватории является перехват самых энергичных нейтрино во Вселенной и отслеживание их источников, большинство из которых находится за пределами нашей галактики. Детектор состоит из 5,160 оптических датчиков, закопанных в антарктический лед, и лишь малая часть из них загорается в любой момент времени. Остальная часть массива остается темной и не особенно информативной. Хуже того, многие «события», которые регистрируют детекторы, являются ложными срабатываниями и бесполезны для охоты за нейтрино. Только так называемые триггерные события подлежат дальнейшему анализу, и необходимо принимать мгновенные решения относительно того, какие из них достойны этого обозначения, а какие будут постоянно игнорироваться.

Стандартные CNN слишком медленны для этой задачи, поэтому ученые IceCube долгое время полагались на алгоритм под названием LineFit, чтобы сообщать им о потенциально полезных обнаружениях. Но этот алгоритм ненадежен, сказал Ю, «а это значит, что мы можем упустить интересные события». Опять же, это среда разреженных данных, идеально подходящая для SCNN.

Ю — вместе с Аргуэльесом-Дельгадо, его научным руководителем, и Джеффом Лазаром, аспирантом Висконсинского университета в Мэдисоне — количественно оценили это преимущество, показав в недавняя статья что эти сети будут примерно в 20 раз быстрее, чем типичные CNN. «Этого достаточно, чтобы обрабатывать каждое событие, поступающее от детектора», — сказал Лазар, около 3,000 событий в секунду. «Это позволяет нам принимать более взвешенные решения о том, что выбросить, а что оставить».

Авторы также успешно использовали SCNN в моделировании с использованием официальных данных IceCube, и следующим шагом является тестирование их системы на реплике вычислительной системы Южного полюса. Если все пойдет хорошо, Аргуэльес-Дельгадо считает, что в следующем году они должны установить свою систему в антарктической обсерватории. Но технология может найти еще более широкое применение. «Мы думаем, что [SCNN могут принести пользу] всем нейтринным телескопам, а не только IceCube», — сказал Аргуэльес-Дельгадо.

Помимо нейтрино

Филип Харрис, физик из Массачусетского технологического института, надеется, что SCNN смогут помочь в самом большом из всех коллайдеров частиц: Большом адронном коллайдере (БАК) в ЦЕРНе. Харрис услышал об этом типе нейронной сети от коллеги из Массачусетского технологического института, ученого-компьютерщика Сонга Хана. «Сонг — эксперт по созданию быстрых и эффективных алгоритмов, — сказал Харрис, — идеально подходит для БАК, где каждую секунду происходит 40 миллионов столкновений.

Когда они разговаривали пару лет назад, Сонг рассказал Харрису о проекте автономных транспортных средств, над которым он работал вместе с сотрудниками своей лаборатории. Команда Сонга использовала SCNN для анализа трехмерных лазерных карт пространства перед автомобилем, большая часть которого пуста, чтобы увидеть, нет ли впереди каких-либо препятствий.

Харрис и его коллеги сталкиваются с аналогичными проблемами на БАК. Когда два протона сталкиваются внутри машины, при столкновении создается расширяющаяся сфера из частиц. Когда одна из этих частиц попадает на коллектор, возникает ливень вторичных частиц. «Если вы сможете наметить всю протяженность этого потока, — сказал Харрис, — вы сможете определить энергию частицы, которая его породила», что может представлять особый интерес — что-то вроде бозона Хиггса, который физики открытая в 2012 году, или частица темной материи, которую физики все еще ищут.

«Проблема, которую мы пытаемся решить, сводится к соединению точек», — сказал Харрис, точно так же, как беспилотный автомобиль может соединять точки лазерной карты для обнаружения препятствия.

По словам Харриса, SCNN ускорят анализ данных на LHC как минимум в 50 раз. «Наша конечная цель — ввести [SCNN] в детектор» — задача, которая потребует не менее года бумажной работы и дополнительной поддержки со стороны сообщества. Но он и его коллеги полны надежд.

В целом становится все более вероятным, что SCNN — идея, первоначально зародившаяся в мире компьютерных наук, — вскоре сыграют роль в крупнейших экспериментах, когда-либо проводившихся в нейтринной физике (DUNE), нейтринной астрономии (IceCube) и физике высоких энергий (БАК). .

Грэм сказал, что был приятно удивлен, узнав, что SCNN пробились в физику элементарных частиц, хотя он не был полностью шокирован. «В абстрактном смысле, — сказал он, — частица, движущаяся в пространстве, немного похожа на кончик пера, движущийся по листу бумаги».