Разреженные сверточные нейросети (SCNN) прокладывают себе дорогу в крупнейшие эксперименты нейтринной физики, нейтринной астрономии и физике высоких энергий

Нейтрино - одна из самых неуловимых и в то же время распространенных элементарних частиц во Вселенной, обладающих с массой. Но они редко оказываются внутри детектора. В результате данные в экспериментах физики элементарных частиц скудны. Как в толстой книге, где среди пустых страниц есть всего пара слов. Тщательно изучать каждый кв мм книги - пустая трата ресурсов.

Именно в такой ситуации полезны разреженные сверточные сети (SCNN), т.к. они размещают ядро ​​​​свертки не на всех подряд 3х3 сегментах, а в центре сегмента с хотя бы одним ненулевым пикселем. В статье авторы продемонстрировали, что в нейтринных экспериментах SCNN примерно в 20 раз быстрее, чем CNN.

В 2021 SCNN отлично показали себя в MicroBooNE. Здесь ученые смотрели на последствия столкновений нейтрино с ядрами атомов аргона. Информации было очень мало — небольшое количество крошечных линий внутри большого детектора (170 тонн жидкого аргона) — и SCNN идеально подошли для этой задачи.

Именно из-за скорости SCNN отличный кандидат для анализа данных крупнейшего в мире эксперимента по физике нейтрино Deep Underground Neutrino Experiment (DUNE), который будет запущен в 2026 году.

По той же причине использование SCNN запланировано в астрофизике. Детектор IceCube состоит из 5160 оптических датчиков, закопанных в антарктический лед, и SCNN смогут обрабатывать каждое событие, поступающее от детектора (~3000 в секунду с разных датчиков).

Тот же принцип сработает в большом адронном коллайдере (LHC) в CERN, где происходит 40 миллионов столкновений в секунду. Задача отследить и определить энергию частицы, которая породила лавину вторичных частиц после столкновения протонов. Интерес представляют тот самый бозон Хиггса, или частица темной материи, которую физики все еще ищут, а SCNN теперь им поможет.

📖Статья
🔳На фото нейтринная обсерватория IceCube на Южном полюсе.

@GingerSpacetail

Сверхпроводники комнатной температуры

Последние пару дней интернет активно обсуждает возможное открытие сверхпроводников комнатной температуры. Уже есть подтверждение от американской национальной лаборатории LBNL, что как минимум симуляции это открытие подтверждают (что вообщем то ничего не значит).

Я не очень силен в физике такого рода, поэтому предлагаю обсудить, чего нам (MLщикам) ожидать от этого открытия, если оно подтвердится:

1. Скорость: Более быстрые и энергоэффективные процессоры позволят ускорить исследования и обучение моделей ИИ.

2. Квантовые вычисления: Ускорится конвергенция квантового ИИ, что позволит создавать новые типы алгоритмов.

3. Нейросети на носимых устройствах: Более совершенные модели ИИ могут работать на локальных устройствах, что позволит обрабатывать данные в режиме реального времени.

4. Энергоэффективные центры обработки данных: Снижение энергопотребления в центрах обработки данных уменьшит углеродный след ИИ.

Потенциальные ограничения:

1. Производство: предположим, что сверхпроводники комнатной температуры могут существовать в лабораторных условиях, их производство и надежная интеграция в сложные системы - дело небыстрое.

2. Перестройка инфраструктуры: Переход от существующих систем на основе полупроводников к системам на основе сверхпроводников потребует много времени и средств.

3. Безопасность и надежность: Любая новая технология, особенно такая фундаментальная, как сверхпроводники, вызывает опасения по поводу надежности, возможных отказов и непредвиденных последствий.

4. Экономические соображения: Компании, вложившие значительные средства в традиционные технологии, могут сопротивляться переходу к решениям на основе сверхпроводников или замедлять его.

Предполагаемые сроки:

1. Переход от открытия в лаборатории к массовому производству (1-3 года): но нужно учитывать, что производство, контроль качества и создание цепочки поставок - нетривиальные задачи.

2. Интеграция в существующие технологии (5-15 лет): Следующим шагом, после того как массовые сверхпроводники будут созданы, станет их интеграция в существующие технологические решения, такие как компьютерные чипы или центры обработки данных.

3. Широкое коммерческое использование (10-20 лет): С момента открытия до повсеместного использования в ИИ и других отраслях может пройти несколько десятилетий, учитывая технологические, экономические и социальные факторы.

В целом, несмотря на то, что открытие сверхпроводников комнатной температуры станет революционным, путь от открытия до практического, широкого применения, особенно в ИИ, сложен и может занять несколько десятилетий.

Вспомните момент, когда впервые увидели световое шоу или оказались в центре иммерсивной выставки. Это было похоже на волшебство, не так ли? Но за этим волшебством стоят люди, которые управляют светом, звуком и пространством так же умело, как художник — кистью. Их творения заставляют замирать от восторга и ощущать мир по-новому.

Сегодня человечество уже перешагнуло одной ногой порог новой эры искусства и дизайна, где машины, использующие нейросети, становятся мощными инструментами для создания невероятных интерактивных медиа-проектов. И вы можете стать частью этой революции!

Contented, самая крупная школа дизайна в России по версии SmartRanking, предлагает уникальный курс «Профессия дизайнер интерактивных медиа». Здесь вы:

* Погрузитесь в мир графики, звука и технологий компьютерного зрения;
* Получите возможность работать в дистанционной лаборатории, оснащенной последними технологиями машинного обучения;
* Реализуете 3 практические работы и дипломный проект под руководством топовых специалистов индустрии;
* Присоединитесь к сильному комьюнити, где сможете обменяться опытом с экспертами рынка и найти партнеров для своих будущих проектов.

Присоединяйтесь к ним сейчас и получите скидку 45% на все тарифы курса по промокоду SCIENCE (сообщите его менеджеру), а также курс английского языка для дизайнеров в подарок.

Подробнее тут: https://go.contented.ru/TDEVRg

#Реклама ООО "Скилфэкотри", Kra23Wbde

🎵 Open-Sourcing AudioCraft: Скачок в генеративном ИИ для аудио! 🎧

Meta представляет AudioCraft, пакет нейросетей упрощающий генеративное аудио для всех:

- MusicGen: Создание музыки из текста. 🎶 (обучается на принадлежащей Meta/лицензионной музыке)
- AudioGen: Создание реалистичных звуков, таких как лай собаки или гудок автомобиля, из текстовых подсказок. 🐕🚗 (Публичная база данных звуковых эффектов)
- EnCodec: Последнее обновление обеспечивает высококачественную генерацию музыки с минимальным количеством артефактов. 🔊

🚀 Сегодняшний релиз:
- Улучшенный декодер EnCodec
- Предварительно обученная модель AudioGen
- Все веса модели и код для AudioCraft

Доступно для исследований и более глубокого понимания технологий. Обучайте свои модели на пользовательских наборах данных и будьте в авангарде эволюции аудио ИИ.

🤿 Глубокое погружение
🎸 Демо

Присоединяйтесь к аудиореволюции! 🌍

🛰️ IBM и NASA выложили свою огроменную геопространственную нейросеть на 🤗

Компания IBM в сотрудничестве с NASA открыла доступ к своей самой большой геопространственной нейросети и выложила ее на Hugging Face. Их цель? Расширить сферу применения спутниковых данных NASA и ускорить открытия, связанные с климатом.

🌞 Экстремальная жара, лесные пожары, засухи - последствия изменения климата видны повсюду. Составив карту последствий, можно прогнозировать будущие уязвимые зоны и разрабатывать стратегию адаптационных мер.

🚀 Что делает эту разработку революционной?
- Компания IBM совместно с NASA инициировала создание нейросети способной оперативно анализировать спутниковые снимки.
- Благодаря этому проекту около 250 000 терабайт данных NASA станут более доступными для общественности.
- Возможности модели? Анализировать геопространственные данные в 4 раза быстрее, чем другие модели глубокого обучения, используя при этом вдвое меньший объем размеченных данных.

В коммерческом плане IBM планирует включить эту модель в свою платформу искусственного интеллекта и данных watsonx в рамках пакета IBM Environmental Intelligence Suite (EIS) в конце этого года.

📌 Практическое применение:
- Составление карты прошлых наводнений и лесных пожаров в США.
- Прогнозирование зон потенциального риска.
- При определенных доработках можно отслеживать вырубку лесов, прогнозировать урожайность и даже контролировать выбросы парниковых газов.

IBM, NASA и Hugging Face надеются, что исследователи во всем мире возьмут эту модель с открытым исходным кодом, доработают ее и разработают другие геопространственные приложения.

Это начинание соответствует программе NASA "Год открытой науки", направленной на развитие обмена данными и моделями ИИ. Оно перекликается с давним стремлением IBM к демократизации ИИ.

Попробуйте эту геопространственную модель на Hugging Face уже сегодня и убедитесь, как ИИ меняет наше представление о мире! 🌎🌱🌦️

Как с помощью телеграм-бота разобраться, какие видео содержат ответы на вопросы?

Освойте метрики ранжирования в задаче NDCG из Симулятора ML. Вам предстоит помочь телеграм-боту CyberTolya понять, какие видео с YouTube-канала karpovꓸcourses релевантны вопросам студентов. Кстати, сейчас эта задача доступна в бесплатной демоверсиии курса. 

В Симуляторе более 50 задач бизнеса, решив которые вы прокачаетесь не только в рекомендательных системах, но и в динамическом ценообразовании, матчинге, моделях прогноза, А/В-тестах и тестировании кода на Python.

Симулятор работает в режиме подписки и постоянно пополняется новыми задачами.

Присоединяйтесь!

#реклама

📉LR scheduling: как учить лучше и до конца?

Вы когда-нибудь задумывались о том, чтобы обучить действительно большую модель (например LLAMA2)? Вас не смущало, что некоторые результаты говорят о том, что модель можно было бы обучить еще, но уже поздно что-то менять потому что ваш learning rate эффективно равен нулю?

Давайте обсудим невероятную технику, которая скрывается в одной из статей про трансформеры и может нам очень помочь улучшить результаты.

Мечта: Обучать бесконечно. Сохранять чекпоинты в любое время. Решать, не пора ли остановиться. Или, если есть новые данные, просто продолжить с того места, на котором остановились. Это особенно важно в эпоху, когда тренировочные забеги могут опустошить карманы.

Откровение: Многие могут не знать, но это вполне достижимо! Забудьте о косинусном анилинге.

Вот формула:
1. Разминка, как обычно, на "w" шагов.
2. Настройте LR на: max_lr * sqrt(w/шаг).
3. Готовы к оценке? Выполните "охлаждение", линейно доведя LR до 0, прежде чем взять последнюю контрольную точку.

Предположим, что ваша цель - оценка на 200 тыс. шагов. Сохраните там контрольную точку (с нее можно возобновить работу!). Но перед оценкой выполните охлаждение, чтобы модель работала так, как будто она подверглась косинусному анилингу.

Для гиков: Эта гениальная идея взята из раздела 3.5 данной работы: arxiv.org/abs/2106.04560

Интересно, как новый подход противостоит обычным LR-расписаниям? В статье показано, что метод rsqrt остается довольно близким к линейному анилингу. Но настоящее чудо наблюдается во время охлаждения - именно тогда оценки валидации резко возрастают!

Подводя итоги: Мы часто придерживаемся косинусных/линейных распадов, заранее обязуясь считать шаги. Но не пора ли нам освободиться от этих ограничений? Будущее гибко!

По мотивам

​​Open FWI - эталонные датасеты для сейсмической инверсии при машинном обучении

Чтоб мы делали без сейсмики? Волновое поле может рассказать многое про архитектуру Земли, этим и пользуются при поиске ресурсов или при предсказании явлений внутри Земной коры. Наверное одной из основных задач сейсмических геофизиков, а они вообще умные ребята, является реконструкция карт скоростей сейсмических волн в горных породах при наличии известных сейсмических измерений. То есть полная инверсия волнового поля (Full Waveform Inversion (FWI)). Геофизики решают сложные дифференциальные уравнения, чтобы решить задачу инверсии, а с недавнего времени начали применять глубокое обучение.

По этому поводу, исследователи из майкрософт и нескольких топовых университетов выпустили эталонные датасеты для машинного обучения при решении задач сейсмической инверсии - OpenFWI:
- 12 датасетов
- 2.1 TB
- сложная геология

Вместе с датасетами авторы опубликовали модели обученные на датасетах OpenFWI!
В догонку OpenFWI исследователи выпустили еще одну статью под названием "Does Full Waveform Inversion Benefit from Big Data?", где рассуждают, что чем больше данных для обучения модели, тем она точнее (ну как бы да).

Сайт
Данные
Статья про OpenFWI
Статья про то, что чем больше данных для обучения, тем лучше инверсия

17.08 Лекторий о том, как мы воспринимаем реальность.

Вы когда-нибудь задумывались, почему мы видим мир именно таким, каким видим? Почему то, что кажется реальностью одному человеку, может совершенно по-разному восприниматься другим?

На лектории "Взгляд изнутри" мы попытаемся заглянуть в самые глубины человеческого сознания и разобраться, как устроено наше восприятие реальности, от чего оно зависит и как его можно расширить.

Своими взглядами поделятся:

🔆 Станислав Лео – Экзистенциальный и психоделический психотерапевт, предприниматель создатель бота «Эпикур»

🔆 Саша Березович – Психотерапевтка, СДВГ-информированная специалистка и авторка канала «Саша об СДВГ»

🔆 Захар Коган – Аналитики исследователь, автор BOI DIARIES

🔆 Екатерина Прасова – Соосновательница ArtNeuroVerse Biennale и мама художницы с аутизмом

📍 Almacén Gallery HaPninim 1, Tel Aviv
🕦 17 августа, в 19:00
💰 Стоимость билета: 80 шек

Билеты: https://get-in.com/lectorium

Google AI научились избавляться от следов от самолета в небе.

Вы когда-нибудь замечали облака в форме линии за самолетами? Эти штуки (contrails) ответственны за 35% воздействия авиации на глобальное изменение климата. Сегодня, Google опубликовали способ с бороться с этой проблемой.

Что они сделали:
- Разметили спутниковые снимки: в ручную разметили датасет с контрэйлами

- Объединили базы данных: Сочетание данных о погоде, спутниках и полетах + обученная нейросеть = позволило посчитать где будут образовываться контрэйлы.

- Интегрировались с авиакомпаниями: Совместно с авиакомпанией American Airlines были проведены испытания, в результате которых контраилы были снижены на 54%.

🌱 Этот прорывной проект показывает, что коммерческие авиакомпании могут достоверно снизить свое воздействие на климат, сделав небо немного дружелюбнее к нашей планете (и им это особо ничего не будет стоить).

Посмотрите полный рассказ об этом исследовании и узнайте больше о том, как искусственный интеллект помогает очистить небо!

Видео
Сайт проекта

UPD От подписчика: Нормальное исследование, анализ кучи данных по температуре влажности атмосферы дает диспетчерам и пилотам возможность менять высоту самолета так чтоб минимизировать вероятность возникновения долгоиграющего конденсационного следа по маршруту.

Кстати, вы можете помочь в детектировании гравитационных волн! Точнее, в определении глитчей в инструменте. Они иногда похожи на настоящие сигналы и сильно мешаются.

В проекте Gravity Spy вы пытаетесь распознать разные типы глитчей и классифицировать их (а потом на этом тренируют нейронку).

Го ловить новые глитчи!

https://www.zooniverse.org/projects/zooniverse/gravity-spy

PUG: Photorealistic and Semantically Controllable Synthetic Data for Representation Learning

Meta представила Photorealistic Unreal Graphics (PUG) - новое исследование, посвященное созданию семантически контролируемых наборов данных с помощью Unreal Engine, который хорошо известен своими фотореалистичными интерактивными средами.

В последнее время произошел значительный прогресс фундаментальных моделей компьютерного зрения, однако многие существующие бенчмарки не позволяют оценить, насколько хорошо эти модели понимают окружающую среду. Бенчмарк PUG показывает, что многие современные модели все еще не справляются с базовыми задачами классификации объектов, которые легко даются человеку. Датасет PUG поможет правильно протестировать и найти способы повышения надежности этих моделей.

Датасет состоит из:
PUG: Animals — предназначен для оценки генерализации на out-of-distribution сэмплах и изучения скрытого пространства представлений.
PUG: ImageNet — бенчмарк для тонкой оценки надежности классификаторов по нескольким факторам вариации.
PUG: SPAR (Scene, Position, Attribute, Relation) используется для оценки визуально-языковых моделей.
PUG: AR4T (Attribute and Relation for training) - датасет для файнтюнинга визуально-языковых моделей

Датасеты доступны по лицензией CC-BY-NC с дополнением, что они не должны использоваться для генеративного ИИ.

От себя добавлю, что потребность в таком датасете назрела уже давно и я удивлен, что до этого никто подобных датасетов не делал. Для одной из наших работ нам нужен датасет с информацией обо всех признаках высокого уровня. Мне удалось найти только несколько датасетов сомнительного качества (dSprites, , 3dshapes, Cars3D, SmallNORB, mpi3d, clevr-xai, ImageNet-S, SyB3R). Кидайте свои варианты в комменты.

Статья | Код

@karray

Курс по соревновательному Data Science👨‍💻

🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно!

🎯 В отличие от большинства курсов по машинному обучению, этот курс сконцентрирован на практике, а не на теории. Поэтому на нем будет более 200 практических заданий, интервью с Kaggle Grand Masters и, конечно же, внутренние соревнования для отработки техник.

⚡️В программе курса тебя ждет:
* Продвинутая работа с pandas и numpy
* Генерация, визуализация и фильтрация признаков
* Модуль про SOTA градиентные бустинги и то как их тюнить
* Стекинг и блендинг моделей
* Ускорение вычислений и оптимизация памяти
* Парсинг данных из открытых источников
* Работа с Kaggle Api и различными облачными вычислительными сервисам
* Нейронки для табличных данных
* Интервью с Kaggle Grand Masters и многое другое

🚀 Еще ребята проводят еженедельные открытые вебинары, на которых разбирают решения победителей с чемпионатов, делают обзоры предстоящих соревнование и рассказывают про необычные техники, с которыми сталкиваются на практике.

🔗 Подписывайся на их телеграмм канал, чтобы подробнее узнать про курс и следить за открытыми вебинарами.

#реклама

Как со временем меняется производительность моделей ChatGPT?

Исследователи из Berkeley и Stanford обнаружили, что производительность моделей ChatGPT может сильно меняться за короткий промежуток времени.

Например, GPT-4 (март 2023 г.) хорошо справился с определением простых и составных чисел (точность 84%), но GPT-4 (июнь 2023 г.) плохо справился с этими же вопросами (точность 51%). Интересно, что GPT-3.5 в июне справлялась с этой задачей гораздо лучше, чем в марте. 🤨
В июне GPT-4 стал менее охотно отвечать на деликатные вопросы и обсуждать опросы общественного мнения, чем в марте. 🤬
GPT-4 в июне показал лучшие результаты в ответах на многосегментные вопросы, чем в марте, тогда как производительность GPT-3.5 в этой задаче снизилась. ❔

Результаты исследования подчеркивают необходимость постоянного мониторинга LLMs 👀

📚Статья

@innovationitsme