ClimateLearn - машинное обучение в предсказании климата и погоды

ClimateLearn - это библиотека в питоне для доступа к самым современным климатическим данным и моделям машинного обучения стандартизированным и простым способом. Эта библиотека предоставляет доступ к нескольким наборам данных, зоопарку базовых подходов, а также набору метрик и визуализаций для крупномасштабного сравнительного анализа методов статистического масштабирования и временного прогнозирования.

В этом ноутбуке можно поучиться как пользоваться.

#ML #AI #climate

🔬 МЛ в научных исследованиях: За рамками базовой подготовки

Возможно, кого-то это удивит, но многие научные группы испытывают трудности с тем, что бы их модели машинного обучения работали после того как их обучили.

Сколько бы бессонных ночей вы не смотрели на свой лосс, для модели это лишь начало.

Важнейшее значение имеют инженерные практики, которые, похоже, только сейчас начинают осваивать многие специалисты в области ML. Давайте обсудим три основополагающие практики:

1️⃣ Воспроизводимость. Недостаточно просто сохранить веса моделей. Суть научного исследования заключается в последовательном воспроизведении результатов. Для этого крайне важна подробная запись - исходного кода, конфигураций, гиперпараметров, наборов данных и метрик обучения.

2️⃣ Отладка. Модели не бывают идеальными с первой попытки. Итерационные процессы включают в себя опробование различных алгоритмов и конфигураций. Кроме того, понимание того, с какими данными не справляется модель, может значительно улучшить ее. К сожалению, некоторые команды до сих пор прибегают к использованию электронных таблиц для отслеживания результатов экспериментов (или не ведут никаких записей вообще)

3️⃣ Мониторинг.
Модели не статичны, они могут деградировать. Этот "дрейф" может быть быстрым или постепенным. Регулярные обновления могут смягчить эту проблему, но только при наличии надежной системы мониторинга.

По мотивам

Как думаете, какие еще важные нюансы следует учесть? Пишите в комменты

DeepMind снова практикуется в управлении плазмой с помощью интеллектуальных алгоритмов.

Компания DeepMind, известная тем, что заставляет искусственный интеллект делать то, о чем мы и подумать не могли, вернулась с очередной инновацией. На этот раз речь идет об управлении так называемой "плазмой".

Представьте себе плазму как энергетическое облако, немного дикое и сложное в управлении. Традиционные способы управления ею были хороши, но, прямо скажем, несколько устарели. Компания DeepMind предлагает новый подход.

Они, по сути, переработали методику работы с ИИ:

1. Они отточили навыки ИИ, сделав его гораздо лучше в лепке плазмы - точность повысилась до 65%.
2. Сократили досадные ошибки. Теперь плазма ведет себя так, как должна, а не как попало.
3. Ускорили время обучения. Это все равно, что в три раза быстрее довести свой ИИ от нуля до героя.

И это не просто теория. Они испытали свой метод на реальной машине - токамаке TCV, и результаты оказались верными.

Проще говоря, DeepMind взяли свои наработки прошлого года и все улучшил и допилили.

☢️ Статья

Форум "Передовые модели": Большие шишки объединяются для обеспечения безопасности ИИ

Авторы: OpenAI и компания, а также представители Anthropic, Google и Microsoft.

📅 26 июля 2023 г.

📌 Кратко:

Технологические гиганты, включая Anthropic, Google, Microsoft и OpenAI, объединяют усилия для создания *Фронтирного модельного форума*. Их цель? Обеспечить безопасную, ответственную и полезную для общества разработку моделей ИИ будущего.

📢 Что нового?

1. О Форуме передовых моделей: Это новое отраслевое сотрудничество сосредоточено на самых передовых моделях ИИ, так называемых "пограничных моделях". Считайте, что это болиды "Формулы-1" в мире ИИ - высокопроизводительные, универсальные, но требующие самых высоких мер безопасности.

2. Основные цели:
* Усилить исследования в области безопасности ИИ.
* Выявление лучших практик ответственного развития ИИ.
* Сотрудничество с широким кругом заинтересованных сторон по вопросам безопасности и доверия.
* Применение ИИ для решения крупных общественных проблем, от изменения климата до кибербезопасности.

3. Как попасть в клуб: Форум приглашает к сотрудничеству организации, создающие сложные модели ИИ, приверженные идее безопасности ИИ и стремящиеся к реализации миссии Форума.

4. Следующие шаги: В течение года Форум сосредоточится на таких направлениях, как обмен передовым опытом, расширение исследований в области безопасности ИИ и создание возможностей для обмена информацией.

👌Выводы:

По сути, Frontier Model Forum - это коллективная мудрость. Поскольку ИИ продолжает стремительно развиваться, такой единый подход является многообещающим шагом для преодоления проблем и ответственного использования его преимуществ.

🔗 Ссылка

DeepLearning.AI вместе с Hugging Face запускают курс по генеративному ИИ.

В рамках новой коллаборации DeepLearning.AI и Hugging Face, только что было объявлено о запуске нового курса Создание генеративных приложений ИИ с помощью Gradio.

Gradio, продукт компании Hugging Face, набирает популярность благодаря своей уникальной возможности превращать сложный код в простые в использовании демонстрации на Hugging Face Spaces. Это сотрудничество подчеркивает растущее внимание отрасли к тому, чтобы сделать приложения ИИ и машинного обучения более доступными для широкой аудитории.

Курс под руководством Аполинарио Пассоса, признанного инженера по машинному обучению в компании Hugging Face, предоставит участникам возможность:

1. Разработать приложение для обобщения текста, удобное даже для тех, кто не умеет кодить.
2. Создать приложение для загрузки изображений, которое затем снабжает загруженное изображение подписями.
3. Создать приложение, способное генерировать изображение на основе заданного текста.
4. Интегрировать функции: генерация подписи к загруженному изображению и последующее создание нового изображения на основе этой подписи.
5. Создать интерактивный чат-интерфейс с использованием Falcon - ведущей открытой LLM из рейтинга Open LLM Leaderboard.

DeepLearning.AI подчеркивает, что по завершении программы участники будут обладать ноу-хау для создания интерактивных демонстраций и приложений, что позволит улучшить процесс проверки и ускорить сдачу проекта.

В настоящее время запись на курс открыта, и, что примечательно, он доступен бесплатно.

😻 Записаться

Друзья, конкурс! Задача совместить буквы L, Л и ל в одну и сделать из этого логотип. Кидайте варианты, лучшему приз 1000р?

ТЗ: Разработать логотип для "Лектория", органично объединив три буквы: L из латинского алфавита, Л из кириллицы и ל из еврейского алфавита. Окончательный вариант дизайна должен объединить эти буквы в единый гармоничный символ, олицетворяющий единство разных языков и сохраняющий при этом современную и легко узнаваемую эстетику. Интеграция должна быть плавной, а основные элементы каждой буквы должны быть сохранены, чтобы объединенный дизайн намекал на все три оригинальных символа. Стремитесь к универсальному дизайну, который можно масштабировать под разные размеры, сохраняя при этом его отличительные особенности и четкость.

Еще один этюд на тему поиска статей.

Всем привет! Подписчики канала сделали приложение, которое объединяет все статьи с arXiv, bioRxiv, chemRxiv и medRxiv в одном UI.
Попробовать можно тут: https://synthical.com/

Ключевые функции:
- Similarity search всех статей
- Рекомендации статей на основе истории чтения
- Упрощалка статей с использованием LLM (в данный момент только тайтл и абстракт, в следующей версии - любой кусок статьи, хоть пару страниц целиком)
- Популярные статьи
- Букмарки, комменты
- Можно создавать общие папки со статьями и шерить их со своей командой

Ребята очень хотят услышать от вас комментарии: расскажите, что вам нравится, и чего не хватает.

Потыкать и дать обратную связь

#этополюбви

Мета-Трансформер: Мультимодальное чудо!

Мечтали ли вы когда-нибудь о модели, способной беспрепятственно объединять данные из текстов, изображений, аудио- и видеофайлов и т.д.? Представляем вам Meta-Transformer - новое мультимодальное чудо, которое открывает новые горизонты в мире искусственного интеллекта!

📃 Краткий обзор
- Назначение: преодоление разрыва между различными модальностями, такими как текст, изображения, аудио, видео и даже табличные данные.
- Волшебный элемент: Отсутствие необходимости в парных мультимодальных обучающих данных. Да, именно так!

📌 Основные возможности:

1. Токенизация данных в последовательности: Преобразование различных типов данных в эмбединги токенов в общем пространстве. Будь то эмбединги WordPiece для текста, 3D-свертка для видео или выборка по самой дальней точке для облаков точек - здесь есть все!

2. Унифицированный энкодер: Использует энкодер на основе трансформера (сродни знаменитому ViT) для преобразования токенов в нечто осмысленное. Кроме того, он предварительно обучен на наборе данных LAION-2B.

3. Модально-агностическое обучение: Уникальный подход, который гарантирует, что каждая модальность данных получит заслуженное внимание.

📊 Основные показатели:

- Текст: Хорошие результаты в бенчмарках GLUE, хотя такие мощные решения, как BERT и RoBERTa, по-прежнему лидируют.

- Изображения: В некоторых областях, таких как классификация изображений в режиме zero-shot, превосходит такие модели, как Swin Transformer.

- Аудио: Соревнуется с моделями аудиотрансформеров, демонстрируя точность 97,0%.

- Видео: Не является лидером по точности, но отличается эффективностью за счет меньшего числа обучаемых параметров.

- Временные ряды: Лидирует в таких бенчмарках, как ETTh1 и Traffic.

💡 Примечание: Основная оговорка - это вычислительная сложность, которая составляет O(n^2 x D).

🔗 Код
💾 Статья

Meta-Transformer заново определяет границы возможного в мультимодальном ИИ. Это настоящее свидетельство постоянно развивающегося мира машинного обучения! 🚀

Разреженные сверточные нейросети (SCNN) прокладывают себе дорогу в крупнейшие эксперименты нейтринной физики, нейтринной астрономии и физике высоких энергий

Нейтрино - одна из самых неуловимых и в то же время распространенных элементарних частиц во Вселенной, обладающих с массой. Но они редко оказываются внутри детектора. В результате данные в экспериментах физики элементарных частиц скудны. Как в толстой книге, где среди пустых страниц есть всего пара слов. Тщательно изучать каждый кв мм книги - пустая трата ресурсов.

Именно в такой ситуации полезны разреженные сверточные сети (SCNN), т.к. они размещают ядро ​​​​свертки не на всех подряд 3х3 сегментах, а в центре сегмента с хотя бы одним ненулевым пикселем. В статье авторы продемонстрировали, что в нейтринных экспериментах SCNN примерно в 20 раз быстрее, чем CNN.

В 2021 SCNN отлично показали себя в MicroBooNE. Здесь ученые смотрели на последствия столкновений нейтрино с ядрами атомов аргона. Информации было очень мало — небольшое количество крошечных линий внутри большого детектора (170 тонн жидкого аргона) — и SCNN идеально подошли для этой задачи.

Именно из-за скорости SCNN отличный кандидат для анализа данных крупнейшего в мире эксперимента по физике нейтрино Deep Underground Neutrino Experiment (DUNE), который будет запущен в 2026 году.

По той же причине использование SCNN запланировано в астрофизике. Детектор IceCube состоит из 5160 оптических датчиков, закопанных в антарктический лед, и SCNN смогут обрабатывать каждое событие, поступающее от детектора (~3000 в секунду с разных датчиков).

Тот же принцип сработает в большом адронном коллайдере (LHC) в CERN, где происходит 40 миллионов столкновений в секунду. Задача отследить и определить энергию частицы, которая породила лавину вторичных частиц после столкновения протонов. Интерес представляют тот самый бозон Хиггса, или частица темной материи, которую физики все еще ищут, а SCNN теперь им поможет.

📖Статья
🔳На фото нейтринная обсерватория IceCube на Южном полюсе.

@GingerSpacetail

Сверхпроводники комнатной температуры

Последние пару дней интернет активно обсуждает возможное открытие сверхпроводников комнатной температуры. Уже есть подтверждение от американской национальной лаборатории LBNL, что как минимум симуляции это открытие подтверждают (что вообщем то ничего не значит).

Я не очень силен в физике такого рода, поэтому предлагаю обсудить, чего нам (MLщикам) ожидать от этого открытия, если оно подтвердится:

1. Скорость: Более быстрые и энергоэффективные процессоры позволят ускорить исследования и обучение моделей ИИ.

2. Квантовые вычисления: Ускорится конвергенция квантового ИИ, что позволит создавать новые типы алгоритмов.

3. Нейросети на носимых устройствах: Более совершенные модели ИИ могут работать на локальных устройствах, что позволит обрабатывать данные в режиме реального времени.

4. Энергоэффективные центры обработки данных: Снижение энергопотребления в центрах обработки данных уменьшит углеродный след ИИ.

Потенциальные ограничения:

1. Производство: предположим, что сверхпроводники комнатной температуры могут существовать в лабораторных условиях, их производство и надежная интеграция в сложные системы - дело небыстрое.

2. Перестройка инфраструктуры: Переход от существующих систем на основе полупроводников к системам на основе сверхпроводников потребует много времени и средств.

3. Безопасность и надежность: Любая новая технология, особенно такая фундаментальная, как сверхпроводники, вызывает опасения по поводу надежности, возможных отказов и непредвиденных последствий.

4. Экономические соображения: Компании, вложившие значительные средства в традиционные технологии, могут сопротивляться переходу к решениям на основе сверхпроводников или замедлять его.

Предполагаемые сроки:

1. Переход от открытия в лаборатории к массовому производству (1-3 года): но нужно учитывать, что производство, контроль качества и создание цепочки поставок - нетривиальные задачи.

2. Интеграция в существующие технологии (5-15 лет): Следующим шагом, после того как массовые сверхпроводники будут созданы, станет их интеграция в существующие технологические решения, такие как компьютерные чипы или центры обработки данных.

3. Широкое коммерческое использование (10-20 лет): С момента открытия до повсеместного использования в ИИ и других отраслях может пройти несколько десятилетий, учитывая технологические, экономические и социальные факторы.

В целом, несмотря на то, что открытие сверхпроводников комнатной температуры станет революционным, путь от открытия до практического, широкого применения, особенно в ИИ, сложен и может занять несколько десятилетий.

Вспомните момент, когда впервые увидели световое шоу или оказались в центре иммерсивной выставки. Это было похоже на волшебство, не так ли? Но за этим волшебством стоят люди, которые управляют светом, звуком и пространством так же умело, как художник — кистью. Их творения заставляют замирать от восторга и ощущать мир по-новому.

Сегодня человечество уже перешагнуло одной ногой порог новой эры искусства и дизайна, где машины, использующие нейросети, становятся мощными инструментами для создания невероятных интерактивных медиа-проектов. И вы можете стать частью этой революции!

Contented, самая крупная школа дизайна в России по версии SmartRanking, предлагает уникальный курс «Профессия дизайнер интерактивных медиа». Здесь вы:

* Погрузитесь в мир графики, звука и технологий компьютерного зрения;
* Получите возможность работать в дистанционной лаборатории, оснащенной последними технологиями машинного обучения;
* Реализуете 3 практические работы и дипломный проект под руководством топовых специалистов индустрии;
* Присоединитесь к сильному комьюнити, где сможете обменяться опытом с экспертами рынка и найти партнеров для своих будущих проектов.

Присоединяйтесь к ним сейчас и получите скидку 45% на все тарифы курса по промокоду SCIENCE (сообщите его менеджеру), а также курс английского языка для дизайнеров в подарок.

Подробнее тут: https://go.contented.ru/TDEVRg

#Реклама ООО "Скилфэкотри", Kra23Wbde

🎵 Open-Sourcing AudioCraft: Скачок в генеративном ИИ для аудио! 🎧

Meta представляет AudioCraft, пакет нейросетей упрощающий генеративное аудио для всех:

- MusicGen: Создание музыки из текста. 🎶 (обучается на принадлежащей Meta/лицензионной музыке)
- AudioGen: Создание реалистичных звуков, таких как лай собаки или гудок автомобиля, из текстовых подсказок. 🐕🚗 (Публичная база данных звуковых эффектов)
- EnCodec: Последнее обновление обеспечивает высококачественную генерацию музыки с минимальным количеством артефактов. 🔊

🚀 Сегодняшний релиз:
- Улучшенный декодер EnCodec
- Предварительно обученная модель AudioGen
- Все веса модели и код для AudioCraft

Доступно для исследований и более глубокого понимания технологий. Обучайте свои модели на пользовательских наборах данных и будьте в авангарде эволюции аудио ИИ.

🤿 Глубокое погружение
🎸 Демо

Присоединяйтесь к аудиореволюции! 🌍

🛰️ IBM и NASA выложили свою огроменную геопространственную нейросеть на 🤗

Компания IBM в сотрудничестве с NASA открыла доступ к своей самой большой геопространственной нейросети и выложила ее на Hugging Face. Их цель? Расширить сферу применения спутниковых данных NASA и ускорить открытия, связанные с климатом.

🌞 Экстремальная жара, лесные пожары, засухи - последствия изменения климата видны повсюду. Составив карту последствий, можно прогнозировать будущие уязвимые зоны и разрабатывать стратегию адаптационных мер.

🚀 Что делает эту разработку революционной?
- Компания IBM совместно с NASA инициировала создание нейросети способной оперативно анализировать спутниковые снимки.
- Благодаря этому проекту около 250 000 терабайт данных NASA станут более доступными для общественности.
- Возможности модели? Анализировать геопространственные данные в 4 раза быстрее, чем другие модели глубокого обучения, используя при этом вдвое меньший объем размеченных данных.

В коммерческом плане IBM планирует включить эту модель в свою платформу искусственного интеллекта и данных watsonx в рамках пакета IBM Environmental Intelligence Suite (EIS) в конце этого года.

📌 Практическое применение:
- Составление карты прошлых наводнений и лесных пожаров в США.
- Прогнозирование зон потенциального риска.
- При определенных доработках можно отслеживать вырубку лесов, прогнозировать урожайность и даже контролировать выбросы парниковых газов.

IBM, NASA и Hugging Face надеются, что исследователи во всем мире возьмут эту модель с открытым исходным кодом, доработают ее и разработают другие геопространственные приложения.

Это начинание соответствует программе NASA "Год открытой науки", направленной на развитие обмена данными и моделями ИИ. Оно перекликается с давним стремлением IBM к демократизации ИИ.

Попробуйте эту геопространственную модель на Hugging Face уже сегодня и убедитесь, как ИИ меняет наше представление о мире! 🌎🌱🌦️

Как с помощью телеграм-бота разобраться, какие видео содержат ответы на вопросы?

Освойте метрики ранжирования в задаче NDCG из Симулятора ML. Вам предстоит помочь телеграм-боту CyberTolya понять, какие видео с YouTube-канала karpovꓸcourses релевантны вопросам студентов. Кстати, сейчас эта задача доступна в бесплатной демоверсиии курса. 

В Симуляторе более 50 задач бизнеса, решив которые вы прокачаетесь не только в рекомендательных системах, но и в динамическом ценообразовании, матчинге, моделях прогноза, А/В-тестах и тестировании кода на Python.

Симулятор работает в режиме подписки и постоянно пополняется новыми задачами.

Присоединяйтесь!

#реклама

📉LR scheduling: как учить лучше и до конца?

Вы когда-нибудь задумывались о том, чтобы обучить действительно большую модель (например LLAMA2)? Вас не смущало, что некоторые результаты говорят о том, что модель можно было бы обучить еще, но уже поздно что-то менять потому что ваш learning rate эффективно равен нулю?

Давайте обсудим невероятную технику, которая скрывается в одной из статей про трансформеры и может нам очень помочь улучшить результаты.

Мечта: Обучать бесконечно. Сохранять чекпоинты в любое время. Решать, не пора ли остановиться. Или, если есть новые данные, просто продолжить с того места, на котором остановились. Это особенно важно в эпоху, когда тренировочные забеги могут опустошить карманы.

Откровение: Многие могут не знать, но это вполне достижимо! Забудьте о косинусном анилинге.

Вот формула:
1. Разминка, как обычно, на "w" шагов.
2. Настройте LR на: max_lr * sqrt(w/шаг).
3. Готовы к оценке? Выполните "охлаждение", линейно доведя LR до 0, прежде чем взять последнюю контрольную точку.

Предположим, что ваша цель - оценка на 200 тыс. шагов. Сохраните там контрольную точку (с нее можно возобновить работу!). Но перед оценкой выполните охлаждение, чтобы модель работала так, как будто она подверглась косинусному анилингу.

Для гиков: Эта гениальная идея взята из раздела 3.5 данной работы: arxiv.org/abs/2106.04560

Интересно, как новый подход противостоит обычным LR-расписаниям? В статье показано, что метод rsqrt остается довольно близким к линейному анилингу. Но настоящее чудо наблюдается во время охлаждения - именно тогда оценки валидации резко возрастают!

Подводя итоги: Мы часто придерживаемся косинусных/линейных распадов, заранее обязуясь считать шаги. Но не пора ли нам освободиться от этих ограничений? Будущее гибко!

По мотивам

​​Open FWI - эталонные датасеты для сейсмической инверсии при машинном обучении

Чтоб мы делали без сейсмики? Волновое поле может рассказать многое про архитектуру Земли, этим и пользуются при поиске ресурсов или при предсказании явлений внутри Земной коры. Наверное одной из основных задач сейсмических геофизиков, а они вообще умные ребята, является реконструкция карт скоростей сейсмических волн в горных породах при наличии известных сейсмических измерений. То есть полная инверсия волнового поля (Full Waveform Inversion (FWI)). Геофизики решают сложные дифференциальные уравнения, чтобы решить задачу инверсии, а с недавнего времени начали применять глубокое обучение.

По этому поводу, исследователи из майкрософт и нескольких топовых университетов выпустили эталонные датасеты для машинного обучения при решении задач сейсмической инверсии - OpenFWI:
- 12 датасетов
- 2.1 TB
- сложная геология

Вместе с датасетами авторы опубликовали модели обученные на датасетах OpenFWI!
В догонку OpenFWI исследователи выпустили еще одну статью под названием "Does Full Waveform Inversion Benefit from Big Data?", где рассуждают, что чем больше данных для обучения модели, тем она точнее (ну как бы да).

Сайт
Данные
Статья про OpenFWI
Статья про то, что чем больше данных для обучения, тем лучше инверсия