Не трансформером единым: масштабируемые сферические CNN для научных приложений

Друзья, разбавлю ваш (и свой) думскроллинг образовательным контентом. 💔

Мир не плоский. Есть много данных, которые лучше описываются сферической топологией. Например, данные о климате, космосе, панорамные съемки, что уж скрывать, в медицине только рентген и SPECT - планарные снимки, а МРТ, КТ И PET в виде сырого сигнала - вообще-то нет.

Оказывается, обрабатывать такие данные с помощью нейронных сетей не так просто. Проекция сферы на плоскость даёт сильные искажения в районе полюсов и потерю информации. Применение обычных сверточных нейросетей (CNN) или трансформеров (ViT) наталкивается на проблему выборки: как определить равномерную сетку на сфере. Да ещё и теряется важное свойство инвариантности вращения. При повороте входных данных на любой угол выходные данные тоже должны повернутся на тот же угол. Это важно для объектов с разной 3D ориентацией, напр, молекул или человека в томографе.

Сферические CNN решают эти проблемы, используя операции сферической свертки и кросс-корреляции, которые сохраняют инвариантность вращения. Главное ограничение в вычислительной нагрузке, т.к. обощенных преобразований Фурье уже не избежать. Поэтому сферические CNN имели меньше слоев и параметров, чем плоские CNN, и работали с данными низкого разрешения.

В статье для ICML 2023 Google AI преодолели эти ограничения и опубликовали оперсорс библиотеку на JAX, где реализовали:
- сферические свертки с дополниной степенью свободы, связанной с поляризацией;
- ввели новый слой активации, уменьшающий фазовые сдвиги между слоями;
- ввели спектральную batch нормализацию;
- ввели новый остаточный блок (который для предотвращения затухания градиентов), распараллелив передачу высокочастотных и низкочастотных признаков.

Точность и эффективность проверили на задачах прогнозирования погоды до 28 дней и регрессии молекулярных свойств, получили красивые результаты, выдали нам порцию вдохновения и новую блестящую лопату копать МЛ дальше.

🗞 Статья
🔣 Код

Первые за два тысячелетия люди, увидевшие слова на нераскрытых свитках, безнадежно повреждённых после извержения Везувия

Захватывающе развивается история соревнования, в котором люди удивительным образом сотрудничают, чтобы восстановить знания из римской библиотеки, чуть было не утраченной в 79 году н.э.

О Кейси мы писали, он был первым человеком, предложившим доказательство наличия чернил в неоткрытых свитках и объект поиска (паттерн, похожий на потрескавшуюся грязь). Его подход получил официальное признание и приз в $10 000 за решение задачи детекции чернил.

Первым человеком, обнаружившим целое слово на фрагменте папируса был Люк Фарритор, 21-летний студент и стажер SpaceX. Он увидел в Discord обсуждение идеи Кейси, и начал проводить вечера, тренируя модель на паттернах потрескавшихся чернил (которые сам вручную разметил). Группа учёных единогласно аннотировала слово ΠΟΡΦΥΡΑϹ (пурпурный), на изображении которое засабмитил Люк. Он получил за свою модель First Letters Prize в размере $40 000, успешно выполнив критерий найти не менее 10 букв на площади 4 см² свитка.

Тем временем другой участник, Юсеф Надер, PhD студент по биоробототехнике из Берлина, просмотрел работы-победители премии Ink Detection на Kaggle, использовал domain transfer, чтобы адаптировать решение к свиткам, а несколько недель спустя подал заявку на участие в Vesuvius Challenge, т.к ему удалось найти несколько букв, причем не полагаясь на метод Кейси. Читая о первых результатах Люка в Twitter и Discord, он решил сосредоточиться на той же области свитка.

Его подход позволил учёным не только более уверенно прочитать слово "пурпурный", но и начать размышлять о возможных словах выше (ανυοντα / ANYONTA, «достижение») и ниже (ομοιων /ΟΜΟΙΩΝ, «похожий»). Юсеф получил приз $10 000 за второе место в той же категории.

Сейчас главный приз как никогда достижим, и совсем не поздно принять участие. Если вы в безопасности, это может помочь не провалиться в бездну. Давайте продолжать беречь друг друга и учиться друг у друга

🌐Discord
🖥Luke
🖥Yousseff
🌐Сайт

Новый способ эффективно кодировать пространственные данные для нейросетей

Исследователи предложили улучшенный способ кодирования географических координат (широты и долготы) для использования в нейронных сетях.

Обычно координаты преобразуют в векторы признаков при помощи тригонометрических функций. Но эти методы не оптимальны для данных на сферической поверхности Земли.

Ученые предлагают использовать сферические гармоники - специальные ортогональные функции на сфере. Они лучше подходят для геоданных.

Сферические гармоники можно представить как набор математических функций, которые вместе образуют своего рода "карту" поверхности сферы. Каждая функция отвечает за свою "зону" на сфере. Их комбинацией можно точно описать любую точку на сфере, в нашем случае - на Земле. Таким образом, сферические гармоники - это как бы географическая сетка, накладываемая на планету.

Кроме того, в качестве нейросети предлагается архитектура Siren. Она эффективно обрабатывает плавные сигналы от сферических гармоник.

Архитектура нейросетей Siren в свою очередь похожа на радар, который умеет улавливать плавные сигналы. В отличие от обычных нейросетей, построенных из прямоугольных импульсов, Siren использует плавные синусоидальные сигналы. Это позволяет ей лучше понимать данные от сферических гармоник.

Таким образом, сферические гармоники задают удобную "сетку" для геоданных, а Siren как радар умеет извлекать из неё нужную информацию. Вместе они обеспечивают эффективное кодирование местоположений.

Преимущества нового подхода:

- Устойчивость в полярных областях, где старые методы дают сбои.

- Вычислительная эффективность за счёт предварительных вычислений.

- Простая настройка разрешения путём изменения числа многочленов.

Получается, что данный метод позволяет лучше кодировать геоданные для использования в нейросетях!

📚Статья
🖥 Код
🖥 Туториал на колабе