EpochAI продолжают радовать: они только что запустили интерактивный симулятор обучения моделей

Инструмент может проанализировать эффективность обучения на заданных чипах и с заданными характеристиками трейна: глубины модели, размера датасета и пр. Графики на выходе показывают, как меняется наилучшая достижимая утилизация трейна (во флопсах) по мере масштабирования обучения. На картинке выше пример с AlexNet.

Также можно играться с гиперпараметрами модели: например, проверить, что будет с производительностью, если мы учим на A100 и поменяли размер батча 😇

Ссылка с подробностями

Сегодня исполняется 2 года ChatGPT 🥳

Всех причастных с Днем Математика!

Пусть ваш градиент всегда указывает в сторону глобального минимума, сингулярности исчезают под натиском регуляризаций, а все модели сходятся быстрее, чем вы успеете сказать «градиентный спуск» 🤓

В честь Дня Математика - математический кроссворд выходного дня. Предупреждаем: он не самый простой 🎩

По горизонтали:

1. Чем выше его значение, тем сильнее пики, чем ниже — тем более плоское распределение.
3. Основной инструмент для обучения моделей через минимизацию функции потерь.
6. В градиентных методах это используется для учета инерции обновления весов.
8. Его работы легли в основу теории цепей, где будущее состояние системы зависит только от текущего.
9. Его вершины — это потенциальные кандидаты на оптимум.
10. Если он равен нулю, строки или столбцы матрицы линейно зависимы.
13. Функция расстояния между распределениями, используемая, например, в байесовском обучении.
14. Самый замечательный термин математики.

По вертикали:

2. Классический пример применения его теоремы — фильтр для определения спама в письмах.
4. Свойство чисел, позволяющее определить равенство остатков при делении. Часто встречается в криптографии и при хэшировании данных.
5. Статистический метод, при котором из одной выборки многократно создаются новые с помощью случайного выбора с возвращением.
7. Мера неопределенности или хаотичности системы.
11. Операция отображения многомерных данных на пространство меньшей размерности. Часто применяется в t-SNE и PCA для визуализации.
12. Он бывает Белла, Жегалкина и даже Лежандра.
15. Без нее градиентный спуск невозможен.

Присылайте догадки в комментарии, только закрывайте спойлерами 🤫

Начался декабрь. Какие подарочки на Новый Год мы ждем от индустрии?

⚪️ Gemini 2. Уже несколько раз разные издания сообщали о том, что модель готовят к запуску в начале декабря, а вчера модель заметили в личных кабинетах некоторых пользователей Gemini. Первая версия была выпущена, кстати, ровно год назад.

Про Gemini 2, как и про следующую модель OpenAI, ходят слухи: якобы она не показывает значительного прироста качества и перестала масштабироваться. Однако пару дней назад на Арене появились тестовые модели Gremlin и Goblin (под которыми, кажется, и скрываются новые релизы Google) и пользователи пишут, что модели очень хороши в кодинге.

⚪️ Grok 3. О том, что модель релизнут в декабре, говорил сам Маск. Уже в августе он заявлял, что Grok 3 станет самым мощным ИИ в мире и будет обучен на самом огромном из существующих кластеров. Что ж, со сроками у Илона всегда были проблемы, но будем ждать.

⚪️ Проект Operator от OpenAI и полная версия o1. Последнее ждем уже давно, а Operator должен стать новинкой-сюрпризом. Напоминаем, что это это ИИ-агент для автономного управления компьютером.

Изначально релиз готовился на январь, но… на День Рождения ChatGPT мы никаких громких релизов не увидели, и, кроме того, если конкуренты действительно дропнут мощные новинки, OpenAI вряд ли станет долго держать туза в рукаве. Еще есть слабая надежда на SORA, но здесь все неоднозначно.

В общем, Happy December 🎩