AI для Всех
15K subscribers
1.33K photos
181 videos
11 files
1.52K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
📉LR scheduling: как учить лучше и до конца?

Вы когда-нибудь задумывались о том, чтобы обучить действительно большую модель (например LLAMA2)? Вас не смущало, что некоторые результаты говорят о том, что модель можно было бы обучить еще, но уже поздно что-то менять потому что ваш learning rate эффективно равен нулю?

Давайте обсудим невероятную технику, которая скрывается в одной из статей про трансформеры и может нам очень помочь улучшить результаты.

Мечта: Обучать бесконечно. Сохранять чекпоинты в любое время. Решать, не пора ли остановиться. Или, если есть новые данные, просто продолжить с того места, на котором остановились. Это особенно важно в эпоху, когда тренировочные забеги могут опустошить карманы.

Откровение: Многие могут не знать, но это вполне достижимо! Забудьте о косинусном анилинге.

Вот формула:
1. Разминка, как обычно, на "w" шагов.
2. Настройте LR на: max_lr * sqrt(w/шаг).
3. Готовы к оценке? Выполните "охлаждение", линейно доведя LR до 0, прежде чем взять последнюю контрольную точку.

Предположим, что ваша цель - оценка на 200 тыс. шагов. Сохраните там контрольную точку (с нее можно возобновить работу!). Но перед оценкой выполните охлаждение, чтобы модель работала так, как будто она подверглась косинусному анилингу.

Для гиков: Эта гениальная идея взята из раздела 3.5 данной работы: arxiv.org/abs/2106.04560

Интересно, как новый подход противостоит обычным LR-расписаниям? В статье показано, что метод rsqrt остается довольно близким к линейному анилингу. Но настоящее чудо наблюдается во время охлаждения - именно тогда оценки валидации резко возрастают!

Подводя итоги: Мы часто придерживаемся косинусных/линейных распадов, заранее обязуясь считать шаги. Но не пора ли нам освободиться от этих ограничений? Будущее гибко!

По мотивам
🔥23😁43👍3😱1
Forwarded from Earth&Climate Tech
​​Open FWI - эталонные датасеты для сейсмической инверсии при машинном обучении

Чтоб мы делали без сейсмики? Волновое поле может рассказать многое про архитектуру Земли, этим и пользуются при поиске ресурсов или при предсказании явлений внутри Земной коры. Наверное одной из основных задач сейсмических геофизиков, а они вообще умные ребята, является реконструкция карт скоростей сейсмических волн в горных породах при наличии известных сейсмических измерений. То есть полная инверсия волнового поля (Full Waveform Inversion (FWI)). Геофизики решают сложные дифференциальные уравнения, чтобы решить задачу инверсии, а с недавнего времени начали применять глубокое обучение.

По этому поводу, исследователи из майкрософт и нескольких топовых университетов выпустили эталонные датасеты для машинного обучения при решении задач сейсмической инверсии - OpenFWI:
- 12 датасетов
- 2.1 TB
- сложная геология

Вместе с датасетами авторы опубликовали модели обученные на датасетах OpenFWI!
В догонку OpenFWI исследователи выпустили еще одну статью под названием "Does Full Waveform Inversion Benefit from Big Data?", где рассуждают, что чем больше данных для обучения модели, тем она точнее (ну как бы да).

Сайт
Данные
Статья про OpenFWI
Статья про то, что чем больше данных для обучения, тем лучше инверсия
👍11🔥2🤯2😁1
Forwarded from Лекторий
17.08 Лекторий о том, как мы воспринимаем реальность.

Вы когда-нибудь задумывались, почему мы видим мир именно таким, каким видим? Почему то, что кажется реальностью одному человеку, может совершенно по-разному восприниматься другим?

На лектории "Взгляд изнутри" мы попытаемся заглянуть в самые глубины человеческого сознания и разобраться, как устроено наше восприятие реальности, от чего оно зависит и как его можно расширить.

Своими взглядами поделятся:

🔆 Станислав Лео – Экзистенциальный и психоделический психотерапевт, предприниматель создатель бота «Эпикур»

🔆 Саша Березович – Психотерапевтка, СДВГ-информированная специалистка и авторка канала «Саша об СДВГ»

🔆 Захар Коган – Аналитики исследователь, автор BOI DIARIES

🔆 Екатерина Прасова – Соосновательница ArtNeuroVerse Biennale и мама художницы с аутизмом

📍 Almacén Gallery HaPninim 1, Tel Aviv
🕦 17 августа, в 19:00
💰 Стоимость билета: 80 шек

Билеты: https://get-in.com/lectorium
🤯8😱2🔥1😁1
Google AI научились избавляться от следов от самолета в небе.

Вы когда-нибудь замечали облака в форме линии за самолетами? Эти штуки (contrails) ответственны за 35% воздействия авиации на глобальное изменение климата. Сегодня, Google опубликовали способ с бороться с этой проблемой.

Что они сделали:
- Разметили спутниковые снимки: в ручную разметили датасет с контрэйлами

- Объединили базы данных: Сочетание данных о погоде, спутниках и полетах + обученная нейросеть = позволило посчитать где будут образовываться контрэйлы.

- Интегрировались с авиакомпаниями: Совместно с авиакомпанией American Airlines были проведены испытания, в результате которых контраилы были снижены на 54%.

🌱 Этот прорывной проект показывает, что коммерческие авиакомпании могут достоверно снизить свое воздействие на климат, сделав небо немного дружелюбнее к нашей планете (и им это особо ничего не будет стоить).

Посмотрите полный рассказ об этом исследовании и узнайте больше о том, как искусственный интеллект помогает очистить небо!

Видео
Сайт проекта

UPD От подписчика: Нормальное исследование, анализ кучи данных по температуре влажности атмосферы дает диспетчерам и пилотам возможность менять высоту самолета так чтоб минимизировать вероятность возникновения долгоиграющего конденсационного следа по маршруту.
17👍13🔥11🤯3
Кстати, вы можете помочь в детектировании гравитационных волн! Точнее, в определении глитчей в инструменте. Они иногда похожи на настоящие сигналы и сильно мешаются.

В проекте Gravity Spy вы пытаетесь распознать разные типы глитчей и классифицировать их (а потом на этом тренируют нейронку).

Го ловить новые глитчи!

https://www.zooniverse.org/projects/zooniverse/gravity-spy
🔥13👍32
Media is too big
VIEW IN TELEGRAM
PUG: Photorealistic and Semantically Controllable Synthetic Data for Representation Learning

Meta представила Photorealistic Unreal Graphics (PUG) - новое исследование, посвященное созданию семантически контролируемых наборов данных с помощью Unreal Engine, который хорошо известен своими фотореалистичными интерактивными средами.

В последнее время произошел значительный прогресс фундаментальных моделей компьютерного зрения, однако многие существующие бенчмарки не позволяют оценить, насколько хорошо эти модели понимают окружающую среду. Бенчмарк PUG показывает, что многие современные модели все еще не справляются с базовыми задачами классификации объектов, которые легко даются человеку. Датасет PUG поможет правильно протестировать и найти способы повышения надежности этих моделей.

Датасет состоит из:
PUG: Animals — предназначен для оценки генерализации на out-of-distribution сэмплах и изучения скрытого пространства представлений.
PUG: ImageNet — бенчмарк для тонкой оценки надежности классификаторов по нескольким факторам вариации.
PUG: SPAR (Scene, Position, Attribute, Relation) используется для оценки визуально-языковых моделей.
PUG: AR4T (Attribute and Relation for training) - датасет для файнтюнинга визуально-языковых моделей

Датасеты доступны по лицензией CC-BY-NC с дополнением, что они не должны использоваться для генеративного ИИ.

От себя добавлю, что потребность в таком датасете назрела уже давно и я удивлен, что до этого никто подобных датасетов не делал. Для одной из наших работ нам нужен датасет с информацией обо всех признаках высокого уровня. Мне удалось найти только несколько датасетов сомнительного качества (dSprites, , 3dshapes, Cars3D, SmallNORB, mpi3d, clevr-xai, ImageNet-S, SyB3R). Кидайте свои варианты в комменты.

Статья | Код

@karray
😱73👍3🔥1
Курс по соревновательному Data Science👨‍💻

🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно!

🎯 В отличие от большинства курсов по машинному обучению, этот курс сконцентрирован на практике, а не на теории. Поэтому на нем будет более 200 практических заданий, интервью с Kaggle Grand Masters и, конечно же, внутренние соревнования для отработки техник.

⚡️В программе курса тебя ждет:
* Продвинутая работа с pandas и numpy
* Генерация, визуализация и фильтрация признаков
* Модуль про SOTA градиентные бустинги и то как их тюнить
* Стекинг и блендинг моделей
* Ускорение вычислений и оптимизация памяти
* Парсинг данных из открытых источников
* Работа с Kaggle Api и различными облачными вычислительными сервисам
* Нейронки для табличных данных
* Интервью с Kaggle Grand Masters и многое другое

🚀 Еще ребята проводят еженедельные открытые вебинары, на которых разбирают решения победителей с чемпионатов, делают обзоры предстоящих соревнование и рассказывают про необычные техники, с которыми сталкиваются на практике.

🔗 Подписывайся на их телеграмм канал, чтобы подробнее узнать про курс и следить за открытыми вебинарами.

#реклама
😢10👍4😱31🔥1🤩1
Как со временем меняется производительность моделей ChatGPT?

Исследователи из Berkeley и Stanford обнаружили, что производительность моделей ChatGPT может сильно меняться за короткий промежуток времени.

Например, GPT-4 (март 2023 г.) хорошо справился с определением простых и составных чисел (точность 84%), но GPT-4 (июнь 2023 г.) плохо справился с этими же вопросами (точность 51%). Интересно, что GPT-3.5 в июне справлялась с этой задачей гораздо лучше, чем в марте. 🤨
В июне GPT-4 стал менее охотно отвечать на деликатные вопросы и обсуждать опросы общественного мнения, чем в марте. 🤬
GPT-4 в июне показал лучшие результаты в ответах на многосегментные вопросы, чем в марте, тогда как производительность GPT-3.5 в этой задаче снизилась.

Результаты исследования подчеркивают необходимость постоянного мониторинга LLMs 👀

📚Статья

@innovationitsme
11🤯7🔥1
Сходил на хакатон в Кремниевой Долине. Андрей Карпаты, Сергей Брин, Граймс, ElutherAI и dadabots 🤯. А сам хакатон проходил в огроменном особняке!
🤯79🔥37👍86
Forwarded from эйай ньюз
Аннотированный код

Наткнулся на классный сайт, где собран код некоторых популярных моделей (или их частей), например Stable Diffusion, GPT, Switch Tranformer, MPL-Mixer и др. Весь цимес в том, что каждая строка кода задокументирована, и показаны соответствующие математические формулы.

Будет полезно тем, кто любит начининать изучать модели сразу с кода. Как раз занятие на воскресенье.

На скринах - код DDIM и Adam.

https://nn.labml.ai/

@ai_newz
🔥51🤩3👍2
Forwarded from Лекторий
17.08 Лекторий о том, как мы воспринимаем реальность.

Вы
когда-нибудь задумывались, почему мы видим мир именно таким, каким видим? Почему то, что кажется реальностью одному человеку, может совершенно по-разному восприниматься другим?

На лектории "Взгляд изнутри" мы попытаемся заглянуть в самые глубины человеческого сознания и разобраться, как устроено наше восприятие реальности, от чего оно зависит и как его можно расширить.

Своими взглядами поделятся:

🔆 Станислав Лео – Экзистенциальный и психоделический психотерапевт, предприниматель создатель бота «Эпикур»

🔆 Саша Березович – Психотерапевтка, СДВГ-информированная специалистка и авторка канала «Саша об СДВГ»

🔆 Захар Коган – Аналитик и исследователь, автор BOI DIARIES

🔆 Екатерина Прасова – Соосновательница ArtNeuroVerse Biennale и мама художницы с аутизмом

📍 Almacén Gallery HaPninim 1, Tel Aviv
🕦 17 августа, в 19:00
💰 Стоимость билета: 80 шек

ПОСЛЕДНИЕ Билеты: https://get-in.com/lectorium
🔥4👍2😁2🤯1😢1
🔬 Искусственный интеллект помогает создать лучшие батареи!

7 лет назад начался проект, в котором ИИ играл ключевую роль. Исследователи из Стенфорда разработали алгоритмы машинного обучения для отбора материалов, которые могли бы стать основой более стабильных и долговечных батарей.

🤖 С помощью ИИ из более чем 12 000 известных литийсодержащих материалов было отобрано 21 перспективное соединение. Машинное обучение предсказало, что LBS (не путать с LK99) может обладать электрохимическими свойствами, превосходящими существующие материалы.

⚡️ LBS оказался самым стабильным серосодержащим литий-ионным электролитом, который может удерживать высокие уровни заряда без разрушения.

🔋 Это открытие не только подтвердило эффективность скрининга на основе машинного обучения, но и ускорило процесс открытия полезных соединений, который без ИИ мог бы занять гораздо больше времени.

🧪 Теперь команда планирует дальнейшее улучшение LBS и исследование новых материалов для более безопасных твердотельных батарей.

Статья
Блог-пост
👍18🔥12🤯4
Forwarded from Институт AIRI
⚡️Самый долгожданный пост этого лета!

Записи лекций и семинаров летней школы по искусственному интеллекту «Лето с AIRI» с ведущими учеными из научно-исследовательских организаций и ВУЗов выложены на YouTube-канал.

🖇 Сохраняйте ссылку на плейлист

В этом году на Школе было много направлений: от обучения с подкреплением, робототехники, 3D компьютерного зрения до детектирования и диагностики аномалий в промышленности.

Институт AIRI
🔥13🤯6👍21😱1