На Hugging Face появился огромный датасет, состоящий полностью из синтетических данных
Подход, как сейчас модно, агентный. LLM (в данном случае GPT-4o + VLLM) генерирует ответы не просто так, а представляя себя каждый раз каким-нибудь персонажем: например, ученым-химиком или музыкантом.
Синтетические данные – это здорово, но у ним до сих пор относятся с осторожностью. Они недостаточно реалистичны, разнообразны и в них потенциально кроются галлюцинации. До сих пор неясно, будем ли мы когда-нибудь свободно пользоваться "синтетикой", но, как видите, работа над этим идет.
Подход, как сейчас модно, агентный. LLM (в данном случае GPT-4o + VLLM) генерирует ответы не просто так, а представляя себя каждый раз каким-нибудь персонажем: например, ученым-химиком или музыкантом.
Синтетические данные – это здорово, но у ним до сих пор относятся с осторожностью. Они недостаточно реалистичны, разнообразны и в них потенциально кроются галлюцинации. До сих пор неясно, будем ли мы когда-нибудь свободно пользоваться "синтетикой", но, как видите, работа над этим идет.
🤗42🔥17🤨5👍3👌1
Вот это круто: команда Meta впервые опубликовала свои роадмапы с планами разработки
Ну респект же?
Есть отдельные pdf для DataLoading, torchvision, compiler core и другого. Наверху пример из файла про torchtune. Интересно просмотреть даже по диагонали.
«Хотя вся разработка PyTorch происходит публично на GitHub, фактические документы по планированию не были общедоступными, поэтому мы решили изменить это для большей прозрачности.»
Ну респект же?
Есть отдельные pdf для DataLoading, torchvision, compiler core и другого. Наверху пример из файла про torchtune. Интересно просмотреть даже по диагонали.
❤49🔥14👍9
Data Secrets
Разбор модели DeepSeekMath: как научить LLM решать математические задачки Конкурс на Kaggle, в котором можно выиграть миллион долларов, научив LM математике, продолжается. А значит, у нас всех еще есть шанс 😉 Чтобы вас немного вдохновить и порадовать, мы…
Наконец опубликованы результаты AI Mathematical Olympiad на Kaggle!
Участники соревнования на протяжении трех месяцев учили модели решать задачи олимпиад старших классов на уровне человека. Мы подбробно рассказывали о соревновании здесь.
Итог: победили 5 команд, топ-4 из которых использовали в качестве базовой модели DeepSeekMath-7B. На своем сайте мы недавно делали занятный детальный разбор этой архитектуры, обязательно почитайте.
Первое место и $131 тыс. забрала архитектура Numina: она выбила 29/50 правильных ответов на тесте. Кратко о подходе:
1) Генерация Chain of Thought ризонинга, то есть своеобразного исходного плана решения
2) Перевод этих Chain of Thought в питоновский код
3) Исполнение этого кода в REPL
4) Если код ломается, шаги 1-3 повторяются в учетом ошибок
Сама модель, как мы уже говорили, зафайнтюнена на базе deepseek-math-7b-base, для этого использовался большой синтетический датасет ToRA и двухэтапный Supervised подход.
Кстати, Numina уже доступна на Hugging Face под лицензией Apache 2.0. Поздравляем победителей!
Участники соревнования на протяжении трех месяцев учили модели решать задачи олимпиад старших классов на уровне человека. Мы подбробно рассказывали о соревновании здесь.
Итог: победили 5 команд, топ-4 из которых использовали в качестве базовой модели DeepSeekMath-7B. На своем сайте мы недавно делали занятный детальный разбор этой архитектуры, обязательно почитайте.
Первое место и $131 тыс. забрала архитектура Numina: она выбила 29/50 правильных ответов на тесте. Кратко о подходе:
1) Генерация Chain of Thought ризонинга, то есть своеобразного исходного плана решения
2) Перевод этих Chain of Thought в питоновский код
3) Исполнение этого кода в REPL
4) Если код ломается, шаги 1-3 повторяются в учетом ошибок
Сама модель, как мы уже говорили, зафайнтюнена на базе deepseek-math-7b-base, для этого использовался большой синтетический датасет ToRA и двухэтапный Supervised подход.
Кстати, Numina уже доступна на Hugging Face под лицензией Apache 2.0. Поздравляем победителей!
👍59🐳14❤4🔥3🗿2👻1
Смотрите, что нашли: сайт с мини-задачами по ML в стиле LeetCode
Все также разделено на Easy, Medium и Hard, а также помечено категориями (есть линейная алгебра, ML и DL). Интерфейс простой, задачи интересные. Такое точно стоит сохранить💃
Все также разделено на Easy, Medium и Hard, а также помечено категориями (есть линейная алгебра, ML и DL). Интерфейс простой, задачи интересные. Такое точно стоит сохранить
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥99❤15👍10🎉4
Наш открытый вебинар «Spark UDAF: разрабатываем свой агрегатор» идеален для разработчиков, которые хотят овладеть навыком создания собственных агрегатных функций (UDAF).
На уроке мы рассмотрим:
- агрегирование данных в Spark и особенности стандартных агрегатных функций;
- создание собственных агрегатных функций;
- ответы на все возникающие вопросы.
Занятие будет полезно начинающим и специалистам в области аналитики данных и Data Engineering, а также руководителям и менеджерам команд разработки.
Развивайте свой потенциал в Spark и станьте мастером создания собственных агрегаторов!
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Please open Telegram to view this post
VIEW IN TELEGRAM
😁4👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Смотрите: это робот от DeepMind ездит по офису Google
Самое интересное: малыш двигается благодаря Gemini 1.5 Pro. Идея применять LLM в робототехнике не новая, но обычно мешает ограниченное контекстное окно. У Google оно рекордное – 1млн токенов – вот и получился приятный результат.
За подробностями в статью.
Самое интересное: малыш двигается благодаря Gemini 1.5 Pro. Идея применять LLM в робототехнике не новая, но обычно мешает ограниченное контекстное окно. У Google оно рекордное – 1млн токенов – вот и получился приятный результат.
За подробностями в статью.
🔥53👍10😁4❤3🗿2🌚1💅1
This media is not supported in your browser
VIEW IN TELEGRAM
MrBeast за 25 секунд поясняет за рынок Data Science найма
😁141🗿7👍6🤝3❤1💘1
OpenAI зарабатывает не так много, как кажется
Вот репорт о доходах компании от FutureResearch. Основное:
➡️ Общий годовой доход составляет $3.4 млрд
➡️ $1,9 млрд за ChatGPT Plus,
$714 млн от ChatGPT Enterprise, $714 млн за ChatGPT Team, НО всего $510 млн от API
➡️ То есть они зарабатывают в 5 раз больше на ChatGPT, чем на каждом отдельном продукте, созданном на основе OpenAI, во всем мире вместе взятом.
Вывод один: ИИ еще далеко не так глубоко в бизнесе, как нам пропагандируют
Вот репорт о доходах компании от FutureResearch. Основное:
$714 млн от ChatGPT Enterprise, $714 млн за ChatGPT Team, НО всего $510 млн от API
Вывод один: ИИ еще далеко не так глубоко в бизнесе, как нам пропагандируют
Please open Telegram to view this post
VIEW IN TELEGRAM
❤33👍14🔥6
LLM с visual способностями на самом деле слепы?
Как только появились первые visual модели, маркетологи сразу затрубили: "Они как люди, они могут видеть!".
Нет. Не могут. И это доказали в своем недавнем исследовании ученые из Обернского университета и Университета Альберты. Они протестировали модели на серии очень простых задач, с которыми справится даже трехлетний ребенок. Например, спрашивали, пересекаются ли две фигуры, сколько пятиугольников на картинке или какая буква в слове обведена.
Наверное вы уже поняли – ИИ многие тесты провалил (см. таблицы сверху). В статье это прокомментировано так:
И вообще-то это более чем естественно. Ведь модель действительно не видит изображения, она лишь извлекает из него некоторые эмбеддинги, которые по определению и являются сжатой информацией о картинке. Спрашивается, чему же мы тогда удивляемся?
P.S. Если хотите почитать подробнее о том, как мультимодельные модели работают с картинками – почитайте этот пост.
Как только появились первые visual модели, маркетологи сразу затрубили: "Они как люди, они могут видеть!".
Нет. Не могут. И это доказали в своем недавнем исследовании ученые из Обернского университета и Университета Альберты. Они протестировали модели на серии очень простых задач, с которыми справится даже трехлетний ребенок. Например, спрашивали, пересекаются ли две фигуры, сколько пятиугольников на картинке или какая буква в слове обведена.
Наверное вы уже поняли – ИИ многие тесты провалил (см. таблицы сверху). В статье это прокомментировано так:
"Модели не совсем слепы, но визуальная информация, которую они извлекают из изображения, является очень приблизительной и абстрактной, как если бы человеку кто-нибудь примерно рассказал о картинке, но не показали ее".
И вообще-то это более чем естественно. Ведь модель действительно не видит изображения, она лишь извлекает из него некоторые эмбеддинги, которые по определению и являются сжатой информацией о картинке. Спрашивается, чему же мы тогда удивляемся?
P.S. Если хотите почитать подробнее о том, как мультимодельные модели работают с картинками – почитайте этот пост.
👍37🔥12❤7⚡2
Data Secrets
Загадочный Q* от OpenAi Драма вокруг OpenAI подошла к концу: Сэм Альтман вернулся в компанию, Илья Суцкевер покинул совет директоров, а сама компания сменит систему управления. Однако мир все еще пытается выяснить, что все-таки могло так сильно напугать совет.…
OpenAI работает над новой технологией рассуждений Strawberry. Ранее проект был известен как Q*
Об этом сообщает Reuters. Также, как выяснил Bloomberg, на внутреннем собрании OpenAI некоторый проект продемонтрировал "человеческие" способности к мышлению. Итого две новости от крупных СМИ о бывшем Q* за 24 часа.Что это, если не расжигание ажиотажа?
Что касается самой технологии Q*, то о ней мы уже развернуто писали здесь. Хотя с тех пор, как улегся первый хайп вокруг этого проекта, прошло пол года. Мало ли, что из него выросло.
Кстати, предположительно, в основе Strawberry aka Q* лежит метод STaR (self-taught reasoners). Вот оригинальная статья про STaR 2022 года.
Об этом сообщает Reuters. Также, как выяснил Bloomberg, на внутреннем собрании OpenAI некоторый проект продемонтрировал "человеческие" способности к мышлению. Итого две новости от крупных СМИ о бывшем Q* за 24 часа.
Что касается самой технологии Q*, то о ней мы уже развернуто писали здесь. Хотя с тех пор, как улегся первый хайп вокруг этого проекта, прошло пол года. Мало ли, что из него выросло.
Кстати, предположительно, в основе Strawberry aka Q* лежит метод STaR (self-taught reasoners). Вот оригинальная статья про STaR 2022 года.
🍓23🔥11❤5👍5
Data Secrets
У нас для вас большой анонс! Все вы знаете, что недавно мы запустили сайт datasecrets.ru с новостями и статьями из мира ML. Мы продолжаем его развивать и совершенствовать, и теперь хотим рассказать кое о чем большом, что мы так упорно делали последние месяцы……
Большой день для всей нашей команды: платформа для хакатонов, о которой мы вам рассказывали, запущена. И на ней уже есть первое соревнование, в котором вы можете поучаствовать!
Задачка очень занятная и посвящена прогнозированию эффективности клиентских промо-рассылок. Ее, вместе с данными, нам предоставили наши друзья из Dodo Pizza. Полное описание здесь.
10 победителей соревнования получат не только крутой опыт решения реальной продуктовой проблемы, но и наш яркий мерч Data Secrets!
Скорее регистрируйтесь: https://datasecrets.ru/hackathons/7.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤35 14👍7🔥7🤯3🤨3🌚1
Data Secrets
OpenAI работает над новой технологией рассуждений Strawberry. Ранее проект был известен как Q* Об этом сообщает Reuters. Также, как выяснил Bloomberg, на внутреннем собрании OpenAI некоторый проект продемонтрировал "человеческие" способности к мышлению. Итого…
И кроме того, у OpenAI опять какой-то новый сайт: OpenAI Supply Co
Это дословно поставляющая компания. Интересно, что они там собираются поставлять? Модели? Мерч? А может чипы?🤩
Это дословно поставляющая компания. Интересно, что они там собираются поставлять? Модели? Мерч? А может чипы?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥23 12👍4🤔4👀4
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯75🔥19❤4🏆3
Data Secrets
На видео любитель запускает Llama3 8B на домашнем кластере, состоящем из iPhone 15 Pro Max, iPad Pro, MacBook Pro, NVIDIA GeForce 3080 и 2x NVIDIA Titan X Pascal. Весь код тут, включая код для iOS, так что можно повторить 😏
Кстати про llama3: там TogetherAI выпустили классный кодовый туториал по файнтюнингу
В примере они дотюнили Llama-3-8B для математических задач и в итоге увеличили точность с 47% до 65%, а это почти что GPT-4o.
Туториал пошаговый, весь код уже готов, останется только загрузить свои данные. Вот за что мы любим опенсорс
В примере они дотюнили Llama-3-8B для математических задач и в итоге увеличили точность с 47% до 65%, а это почти что GPT-4o.
Туториал пошаговый, весь код уже готов, останется только загрузить свои данные. Вот за что мы любим опенсорс
🔥47👍12❤5😁5🗿1