Forwarded from Графики каждый день (почти)
Нашу статью взяли на NeurIPS 2025!
arxiv:2502.13266
Статья "A Machine Learning Approach That Beats Large Rubik's Cubes" про то как находить путь на больших графах в принципе, и про то как with zero human knowledge собирать Кубик Рубика 3x3, 4x4, 5x5, пятнашки до 6x6, ... и другие перестановочные пазлы в частности. Для понимания масштаба: кубик 5x5 это 10⁷⁴ состояний, а мы там находим достаточно короткий (лучший из опубликованных) путь сборки. Код к статье доступен на git cayleypy-cube.
Забавно что для меня это началось с этого поста 2 года назад, а потом списались с @Alexander_V_C (огромное ему спасибо) и как-то так и пошла интернет коллаборация. Собственно про метод писал здесь, и потом ещё подробнее напишу. Красиво, что просто немного случайно блуждая по графу, можно обучить модель очень хорошей эвристике, достаточной для ориентирования на широком классе графов.
Мне очень давно хотелось, чтобы какой-нибудь такой сюжет существующий из любопытства в рамках хобби добрался до рецензий. А тут не просто добрался, но и на A* конференцию, ещё и выдвинули на spotlight (топ 15% от принятых работ).
Воот)
arxiv:2502.13266
Статья "A Machine Learning Approach That Beats Large Rubik's Cubes" про то как находить путь на больших графах в принципе, и про то как with zero human knowledge собирать Кубик Рубика 3x3, 4x4, 5x5, пятнашки до 6x6, ... и другие перестановочные пазлы в частности. Для понимания масштаба: кубик 5x5 это 10⁷⁴ состояний, а мы там находим достаточно короткий (лучший из опубликованных) путь сборки. Код к статье доступен на git cayleypy-cube.
Забавно что для меня это началось с этого поста 2 года назад, а потом списались с @Alexander_V_C (огромное ему спасибо) и как-то так и пошла интернет коллаборация. Собственно про метод писал здесь, и потом ещё подробнее напишу. Красиво, что просто немного случайно блуждая по графу, можно обучить модель очень хорошей эвристике, достаточной для ориентирования на широком классе графов.
Мне очень давно хотелось, чтобы какой-нибудь такой сюжет существующий из любопытства в рамках хобби добрался до рецензий. А тут не просто добрался, но и на A* конференцию, ещё и выдвинули на spotlight (топ 15% от принятых работ).
Воот)
❤49🔥37👍4🎉1
XV Международный Турнир Естественных Наук (ТЕН) открывает регистрацию на отборочный этап!
ТЕН — это уникальная возможность для молодых ученых превратить свои знания в практические кейсы и завести полезные знакомства с компаниями-партнерами.
На сайте уже опубликованы задачи нового сезона! Биологи, химики, физики, инженеры — выбирайте задачу по душе и собирайте команду 🧤
📍 онлайн-этап: 14-16 ноября
📍 очный этап: март 2026
В этом году очный этап пройдет на базе университетов ИТМО и ВШЭ, куда соберутся лучшие команды со всех регионов России и СНГ.
🔗 ссылка на регистрацию
Регистрируйтесь сейчас и участвуйте в Турнире! Желаем успехов!
scitourn.ru
@scitourn_ru
Генеральный партнер проекта — Газпром Нефть
ТЕН — это уникальная возможность для молодых ученых превратить свои знания в практические кейсы и завести полезные знакомства с компаниями-партнерами.
На сайте уже опубликованы задачи нового сезона! Биологи, химики, физики, инженеры — выбирайте задачу по душе и собирайте команду 🧤
📍 онлайн-этап: 14-16 ноября
📍 очный этап: март 2026
В этом году очный этап пройдет на базе университетов ИТМО и ВШЭ, куда соберутся лучшие команды со всех регионов России и СНГ.
🔗 ссылка на регистрацию
Регистрируйтесь сейчас и участвуйте в Турнире! Желаем успехов!
scitourn.ru
@scitourn_ru
Генеральный партнер проекта — Газпром Нефть
❤6🔥3👍2
Forwarded from Истории (не)успеха (ИИ)ЕИ
🚀 Соревнования по ИИ в графах Кэли / подгруппах симметрической группы: дата и время лайв-стрима?
Для пазла Christopher's Jewel уже сам Томас Рокицки засабмитил решение — тот самый исследователь, который доказал, что число Бога для кубика Рубика 3×3×3 равно 20. Надо попробовать побить решения Томаса на остальных пазлах :-)
Сейчас готовлю ноутбук с решением Christopher's Jewel — он будет в открытом доступе самое позднее в понедельник. Можно использовать его как основу, но совершенно не обязательно: подойдут любые подходы к поиску кратчайших решений. Хотите — используйте RL, хотите — другие методы. Главное — искать именно минимальные сборки.
👉 Число Бога для Christopher's Jewel пока не известно. Экспериментально у меня получается максимум 18 вращений, но это не доказано.
📺 На следующей неделе хочу провести лайв-стрим с введением в эти темы. Когда вам удобно? Напишите в комментариях
Для пазла Christopher's Jewel уже сам Томас Рокицки засабмитил решение — тот самый исследователь, который доказал, что число Бога для кубика Рубика 3×3×3 равно 20. Надо попробовать побить решения Томаса на остальных пазлах :-)
Сейчас готовлю ноутбук с решением Christopher's Jewel — он будет в открытом доступе самое позднее в понедельник. Можно использовать его как основу, но совершенно не обязательно: подойдут любые подходы к поиску кратчайших решений. Хотите — используйте RL, хотите — другие методы. Главное — искать именно минимальные сборки.
👉 Число Бога для Christopher's Jewel пока не известно. Экспериментально у меня получается максимум 18 вращений, но это не доказано.
📺 На следующей неделе хочу провести лайв-стрим с введением в эти темы. Когда вам удобно? Напишите в комментариях
Kaggle
CayleyPy Christopher's Jewel Solve Optimally
Write your name in the history of science - solve the problem unsolved for many years
👍4🔥4❤1
https://www.arxiv.org/abs/2509.19162
Мы выложили на архив третью статью проекта CayleyPy.
(Первая статья была принята на самую топовую конференцию NeaurIPS как spotlight - то есть в топ3%.)
А также представляем первый релиз нашей библиотеки - CayleyPy - для работы методами МЛ/RL с графами размера гугл: https://github.com/cayleypy/cayleypy (Кидайте звезды ⭐⭐ на наш гитхаб - они нам очень помогут !) Библиотека также ставится через pypi: https://pypi.org/project/cayleypy/ .
Сама статья с упором на математику - предложено около 200 новых математических гипотез полученных с помощью вычислительных экспериментов с нашей библиотекой, которая позволяет делать расчеты - которые за пределами существовавших ранее систем компьютерной алгебры. Если у Вас есть знакомые математики занимающиеся теорий групп или графов - свяжите их с нами - @alexander_v_c . Slides at Oberwolfach.
А также мы рады всем добровольцам - кто знает Питон или математику и имеет несколько свободных часов - будем рады всем участникам - пинганите @alexander_v_c
Чтобы бенчмаркать методы и одновременно двигать математику и биоинформатику - мы создали более 10 челленжей на Каггл.
Всем кому интересен Каггл - тоже присоединяйтесь
https://www.kaggle.com/competitions/cayleypy-christophers-jewel
https://www.kaggle.com/competitions/cayleypy-glushkov
https://www.kaggle.com/competitions/CayleyPy-pancake
https://www.kaggle.com/competitions/cayleypy-transposons
Мы выложили на архив третью статью проекта CayleyPy.
(Первая статья была принята на самую топовую конференцию NeaurIPS как spotlight - то есть в топ3%.)
А также представляем первый релиз нашей библиотеки - CayleyPy - для работы методами МЛ/RL с графами размера гугл: https://github.com/cayleypy/cayleypy (Кидайте звезды ⭐⭐ на наш гитхаб - они нам очень помогут !) Библиотека также ставится через pypi: https://pypi.org/project/cayleypy/ .
Сама статья с упором на математику - предложено около 200 новых математических гипотез полученных с помощью вычислительных экспериментов с нашей библиотекой, которая позволяет делать расчеты - которые за пределами существовавших ранее систем компьютерной алгебры. Если у Вас есть знакомые математики занимающиеся теорий групп или графов - свяжите их с нами - @alexander_v_c . Slides at Oberwolfach.
А также мы рады всем добровольцам - кто знает Питон или математику и имеет несколько свободных часов - будем рады всем участникам - пинганите @alexander_v_c
Чтобы бенчмаркать методы и одновременно двигать математику и биоинформатику - мы создали более 10 челленжей на Каггл.
Всем кому интересен Каггл - тоже присоединяйтесь
https://www.kaggle.com/competitions/cayleypy-christophers-jewel
https://www.kaggle.com/competitions/cayleypy-glushkov
https://www.kaggle.com/competitions/CayleyPy-pancake
https://www.kaggle.com/competitions/cayleypy-transposons
🔥49🎉5
Тратите часы на Ctrl+C / Ctrl+V руками в Excel? Освободите время и силы с Python!
⚡️11 октября в 12:00 мск @blastim приглашает на полезный бесплатный вебинар «Экономим десятки часов на данных: первый шаг в Python без боли»
Что вас ждет:
✅ введение: почему Excel и Google-таблицы крадут ваши ресурсы и нервы;
✅ живые примеры кодинга и лайфхаки автоматизации на Python:
— исследуем данные,
— чистим и объединяем таблички,
— красиво визуализируем и считаем статистику;
✅ инструкции «для чайников»: как начать вкатываться в Python с нуля и не сойти с ума.
🧑🏻💻Спикер: Александр Ильин, биоинформатик, выпускник Сколтеха, специалист по машинному обучению.
📅 Дата: 11 октября, 12:00 мск
➡️ Регистрация: clck.ru/3PeES4
На вебинаре мы наметим путь от «я гуманитарий» до «сам себе датасайентист». Овладев Python, вы будете тратить на рутинные операции с данными не недели, а часы и даже минуты
⚡️11 октября в 12:00 мск @blastim приглашает на полезный бесплатный вебинар «Экономим десятки часов на данных: первый шаг в Python без боли»
Что вас ждет:
✅ введение: почему Excel и Google-таблицы крадут ваши ресурсы и нервы;
✅ живые примеры кодинга и лайфхаки автоматизации на Python:
— исследуем данные,
— чистим и объединяем таблички,
— красиво визуализируем и считаем статистику;
✅ инструкции «для чайников»: как начать вкатываться в Python с нуля и не сойти с ума.
🧑🏻💻Спикер: Александр Ильин, биоинформатик, выпускник Сколтеха, специалист по машинному обучению.
📅 Дата: 11 октября, 12:00 мск
На вебинаре мы наметим путь от «я гуманитарий» до «сам себе датасайентист». Овладев Python, вы будете тратить на рутинные операции с данными не недели, а часы и даже минуты
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🔥6🤩4😁1
🚀 Студенты всех направлений - это ваш день
✅ Agrocon 2025 — крупнейшая межуниверситетская площадка для карьеры в аграрном секторе. Пройдёт 17 октября, начало в 10:00
Для кого и зачем:
Юристы, экономисты, айтишники, маркетологи/PR, логисты, биотехнологи, химики, экологи, HR - в АПК нужны ваши компетенции. Это про большие данные, цепочки поставок, качество и безопасность продуктов для миллионов покупателей
Что будет:
🔸 Стажировки и офферы в компании АПК по вашему профилю
🔸 Дегустации от компаний — от йогуртов до смузи
🔸 Деловые знакомства с топ-менеджерами: нетворкинг и мини-консультации
🔸 Мастер-зона «АПК в миниатюре»: посадим росток настоящего растения и заберём домой
🔸 Награждение лучших работодателей Agrocon Award
💚 Интерактив от X5 Group, генерального партнёра мероприятия - мини-лекция с дегустацией «Поговорим о ЗОЖ»: что такое здоровое питание, как проверять качество продуктов и отличать ЗОЖ от псевдо-ЗОЖ
Agrocon в цифрах:
📇 5 000+ участников
🤝 40+ компаний и стартапов
💼 200+ стажировок и вакансий
📍 РУДН, ул. Миклухо-Маклая, 6
👉 Посещение бесплатно при регистрации
🥪 Работа в АПК — самая вкусная работа в мире!
✅ Agrocon 2025 — крупнейшая межуниверситетская площадка для карьеры в аграрном секторе. Пройдёт 17 октября, начало в 10:00
Для кого и зачем:
Юристы, экономисты, айтишники, маркетологи/PR, логисты, биотехнологи, химики, экологи, HR - в АПК нужны ваши компетенции. Это про большие данные, цепочки поставок, качество и безопасность продуктов для миллионов покупателей
Что будет:
🔸 Стажировки и офферы в компании АПК по вашему профилю
🔸 Дегустации от компаний — от йогуртов до смузи
🔸 Деловые знакомства с топ-менеджерами: нетворкинг и мини-консультации
🔸 Мастер-зона «АПК в миниатюре»: посадим росток настоящего растения и заберём домой
🔸 Награждение лучших работодателей Agrocon Award
💚 Интерактив от X5 Group, генерального партнёра мероприятия - мини-лекция с дегустацией «Поговорим о ЗОЖ»: что такое здоровое питание, как проверять качество продуктов и отличать ЗОЖ от псевдо-ЗОЖ
Agrocon в цифрах:
📇 5 000+ участников
🤝 40+ компаний и стартапов
💼 200+ стажировок и вакансий
📍 РУДН, ул. Миклухо-Маклая, 6
👉 Посещение бесплатно при регистрации
🥪 Работа в АПК — самая вкусная работа в мире!
👍4🎉3🔥2😁1🤩1
Forwarded from adapt compete evolve or die
В этом году Yandex Cup ML будет необычным!
Во-первых, мы будем принимать и запускать код при очень демократичных ограничениях на модель. 🎉 Не получится решить просто огромной моделью, думать придётся.
Во-вторых, задачи так или иначе связаны с bleeding edge исследований, и некоторые статьи 2025 года, кажется, будут очень полезны участникам.
В-третьих, меня привлекли к подготовке 😆 — я помогаю искать лики, хаки метрик и исследовать, достаточно ли на лидерборде простора идеям участников, а также медитировать на то, какие сюрпризы будут ждать нас в private-части.
Я считаю, что соревнование получается классное — сам бы поучаствовал!
Мне очень хочется подробно рассказать про задачи — смотрите, какие нестандартные штуки мы придумали! Но пока опишу вкратце.
Генерация картинок — редкий гость в соревновательном ML. Нарисуй лучше, чем камера, закреплённая на машине. Пространственное мышление и перспектива. Тяжёлые интересные данные, метрика, провоцирующая поиск нестандартных решений.
VLM-задача на понимание геометрии и физики. Мечта школьника с СДВГ — модель найдёт всё, что он может пропустить. Незасвеченные данные для бенчмарков, богатство выбора подходов, но будет непросто.
Галлюцинации LLM-моделей — вредный и опасный феномен, мешающий светлому будущему. Мы придумали несколько разноплановых атак на «сознание» моделей — отбей их все и защити факты. Тест-сета в открытых данных нет.
Ну и, конечно, в финале будет интересная короткая задача.
Регистрируйся и участвуй прямо сейчас!
Во-первых, мы будем принимать и запускать код при очень демократичных ограничениях на модель. 🎉 Не получится решить просто огромной моделью, думать придётся.
Во-вторых, задачи так или иначе связаны с bleeding edge исследований, и некоторые статьи 2025 года, кажется, будут очень полезны участникам.
В-третьих, меня привлекли к подготовке 😆 — я помогаю искать лики, хаки метрик и исследовать, достаточно ли на лидерборде простора идеям участников, а также медитировать на то, какие сюрпризы будут ждать нас в private-части.
Я считаю, что соревнование получается классное — сам бы поучаствовал!
Мне очень хочется подробно рассказать про задачи — смотрите, какие нестандартные штуки мы придумали! Но пока опишу вкратце.
Генерация картинок — редкий гость в соревновательном ML. Нарисуй лучше, чем камера, закреплённая на машине. Пространственное мышление и перспектива. Тяжёлые интересные данные, метрика, провоцирующая поиск нестандартных решений.
VLM-задача на понимание геометрии и физики. Мечта школьника с СДВГ — модель найдёт всё, что он может пропустить. Незасвеченные данные для бенчмарков, богатство выбора подходов, но будет непросто.
Галлюцинации LLM-моделей — вредный и опасный феномен, мешающий светлому будущему. Мы придумали несколько разноплановых атак на «сознание» моделей — отбей их все и защити факты. Тест-сета в открытых данных нет.
Ну и, конечно, в финале будет интересная короткая задача.
Регистрируйся и участвуй прямо сейчас!
Yandex Cup — чемпионат по программированию
Машинное обучение — Yandex Cup
Попробуйте свои силы в решении нестандартных задач
👍6❤4🔥4
pip install hello_snake — разбираемся в библиотеках Python с Бластим Вы уже слышали про списки и векторы, прошли курсы по основам Python, открывали Google Colab и даже писали
import something... Но как всё это прикрутить к реальным данным — особенно если они с приставкой bio — остается загадкой?Когда? Эта суббота, 18 октября, в 12:00 мск
Вместе с матерым преподавателем Александром Ильиным:
• разберетесь, зачем вообще нужны библиотеки и где их искать
• научитесь устанавливать и импортировать их без страха ошибок
• узнаете, какие пакеты помогают работать с биологическими данными
• подберете решения под конкретные задачи и быстро проверите их в Jupyter
Во время вебинара можно задавать вопросы преподавателю вживую. Александр разберет ваш кейс и подскажет, с чего начать
Получите «читательский билет» в мир Python-библиотек от Бластим здесь: clck.ru/3PmFZV
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤3🎉1
Рекомендуем систему и канал наших коллег: https://xn--r1a.website/francais_2_months
Telegram
le_programming
Делаю различные проекты по автоматизации @lechat_Alexey
👍4❤1
Forwarded from le_programming
Привет! Как дела?
Генератор визуализаций для DS/Bio/Math/Physics/IT. Промпт + картинка или просто промпт→ картинка: от смелых креативов до научных иллюстраций. 2 генерации бесплатно.
👉 Попробовать тут: https://xn--r1a.website/nanaaa_banana_bot?start=E6ATPPRM
Генератор визуализаций для DS/Bio/Math/Physics/IT. Промпт + картинка или просто промпт→ картинка: от смелых креативов до научных иллюстраций. 2 генерации бесплатно.
👉 Попробовать тут: https://xn--r1a.website/nanaaa_banana_bot?start=E6ATPPRM
🔥5❤3😁2
Forwarded from Хроники ботки
Завтра, 22 октября в 17 00 Александр Червов (Институт Кюри) выступит на семинаре Центра практического искусственного интеллекта Сбера (Sber AI Lab) с рассказом о библиотеке CayleyPy и статье по ней
CayleyPy — библиотека на базе ИИ для теории графов и групп (NIPS 2025 Spotlight)
Будут представлены новые ИИ-подходы для задач классической теории групп и графов, которые значительно превосходят существующие системы компьютерной алгебры по производительности. С помощью библиотеки предложено около 200 новых математических гипотез, а также даны решения на вопросы, остававшиеся открытыми более 50 лет. Статья по одному из применений библиотеки принята на spotlight NIPS 2025 - A Machine Learning Approach That Beats Large Rubik's Cubes
По поводу ссылки на онлайн подключение обращайтесь @Alexander_V_C или @Shpacman
CayleyPy — библиотека на базе ИИ для теории графов и групп (NIPS 2025 Spotlight)
Будут представлены новые ИИ-подходы для задач классической теории групп и графов, которые значительно превосходят существующие системы компьютерной алгебры по производительности. С помощью библиотеки предложено около 200 новых математических гипотез, а также даны решения на вопросы, остававшиеся открытыми более 50 лет. Статья по одному из применений библиотеки принята на spotlight NIPS 2025 - A Machine Learning Approach That Beats Large Rubik's Cubes
По поводу ссылки на онлайн подключение обращайтесь @Alexander_V_C или @Shpacman
🔥20❤3
https://cs.hse.ru/ml2025/spotlighttalks?t=8502248&_r=24308121761032595.1655&__r=OK
Коллеги заходите на наши доклады и постеры на конференцию во ВШЭ - https://cs.hse.ru/ml2025/ , по проекту CayleyPy.
Расскажем о работах принятых на NIPS.
25 октября - доклад сполайт
25 октрября - постер
Коллеги заходите на наши доклады и постеры на конференцию во ВШЭ - https://cs.hse.ru/ml2025/ , по проекту CayleyPy.
Расскажем о работах принятых на NIPS.
25 октября - доклад сполайт
25 октрября - постер
❤10👍7🔥4
🌟 Дорогие молодые ученые!
Через несколько дней (01.11) закрывается регистрация на XV Международный Турнир естественных наук — а это значит, что уже совсем скоро (буквально через пару недель!) встретимся с вами на онлайн-этапе ТЕН!
Мы проводим Турнир для того, чтобы помочь таким, как вы - молодым талантам, влюбленным в науку, превратить свои знания в крутые достижения и сделать буст в карьере 💫
Что ещё дает ТЕН участникам?
Об этом нам рассказал Петр — участник прошлых сезонов Турнира и руководитель ВХТШ в Санкт-Петербурге
Мы с радостью ждем ваши команды - регистрируйтесь!
Через несколько дней (01.11) закрывается регистрация на XV Международный Турнир естественных наук — а это значит, что уже совсем скоро (буквально через пару недель!) встретимся с вами на онлайн-этапе ТЕН!
Мы проводим Турнир для того, чтобы помочь таким, как вы - молодым талантам, влюбленным в науку, превратить свои знания в крутые достижения и сделать буст в карьере 💫
Что ещё дает ТЕН участникам?
Об этом нам рассказал Петр — участник прошлых сезонов Турнира и руководитель ВХТШ в Санкт-Петербурге
Мы с радостью ждем ваши команды - регистрируйтесь!
Telegram
Турнир естественных наук
Турнир — это не просто соревнование. Это история 🍁
Перед тем, как вы посмотрите это видео, знакомьтесь: Пётр Тупицын. Когда-то — участник и куратор легендарной команды «Путь в приличное общество». Сегодня — руководитель ВХТШ в Санкт-Петербурге и педагог…
Перед тем, как вы посмотрите это видео, знакомьтесь: Пётр Тупицын. Когда-то — участник и куратор легендарной команды «Путь в приличное общество». Сегодня — руководитель ВХТШ в Санкт-Петербурге и педагог…
👍3❤2
Forwarded from LightAutoML framework
Товарищи фанаты и фанатки LightAutoML!
Мы очень извиняемся за вечерне-ночной пост, но тут у нас дело, не требующее отлагательств - наш друг и коллега, админ канала @dealerAI Саша Абрамов участвует в номинации "ИИ Гуру" Всероссийской премии RuCode и ему как никогда нужна поддержка всех нас 🚀
Что нужно сделать - всего 2 простых шага:
1️⃣ Перейти по ссылке https://vk.com/wall-44001716_10214
2️⃣ Найти внизу поста голосование и выбрать Сашу Абрамова среди претендентов
‼️ Голосование продлится до 30 октября в 23:59 по МСК (а это уже завтра вечером!!!), так что успейте внести свой вклад в Сашину победу!
Да прибудет с нами сила LAMA-коммьюнити 🌍
Мы очень извиняемся за вечерне-ночной пост, но тут у нас дело, не требующее отлагательств - наш друг и коллега, админ канала @dealerAI Саша Абрамов участвует в номинации "ИИ Гуру" Всероссийской премии RuCode и ему как никогда нужна поддержка всех нас 🚀
Что нужно сделать - всего 2 простых шага:
1️⃣ Перейти по ссылке https://vk.com/wall-44001716_10214
2️⃣ Найти внизу поста голосование и выбрать Сашу Абрамова среди претендентов
‼️ Голосование продлится до 30 октября в 23:59 по МСК (а это уже завтра вечером!!!), так что успейте внести свой вклад в Сашину победу!
Да прибудет с нами сила LAMA-коммьюнити 🌍
VK
Всероссийский ИТ-фестиваль RuCode. Пост со стены.
Народное голосование за номинантов Всероссийской премии RuCode за популяризацию и применение техноло... Смотрите полностью ВКонтакте.
👍7
Коллеги, просим поддержать Александра Абрамова - того вместе с кем мы начинали наш проект Сберлога, и известного многим специалиста по Natural Language Processing - автора канала @dealerAI !
Голосование продлено ! Не забудьте проголосовать
Голосование продлено ! Не забудьте проголосовать
🔥7❤1
Forwarded from adapt compete evolve or die
Интересная штука https://www.limix.ai/ попытка построить универсальную модель для структурированных (табличных) данных. Идея как в LLM, только вместо языка у нас много-много реальных и синтетических табличных данных для претрейна. В итоге вместо обучения модели с нуля на собственных табличных данных, мы делаем файн-тюн.
Ключевые идеи, которые я уловил:
1) Context-Conditional Masked Modeling мы рассматриваем несколько строк таблиц как контекст и несколько фич из определенной строки как запрос. Пытаемся восстановить замаскированные фичи. В результате получаем обучение на совместное распределение. Что тут таргет - вообще не особо важно, модель учиться заполнять пропуски во всех фичах.
2) Модель основана на трансформере, отдельный аттеншн по строкам и столбцам. Вместо позиционного кодирования в LLM тут кодирование колонки (признака), чтобы модель понимала где мы что замаскировали. Эмбединг просто добавляется к значению признака.
3) На этапе предсказания у нас довольно большой выбор что использовать в качестве контекста (можно запихать кучу строк трейна), lumix отбирает по атеншну наиболее важные строки из него и делает предсказание только из них. Своеобразный дата-селекшн вместо feature selection.
В статье еще много про то как они синтезировали данные и почему это работает (по их мнению), но это я подробно читать не стал, хотя там много интересного.
Из практического: проще всего модель из докера запускать, но сходу что-то у меня не очень завелось, разумного вида трейн передать туда не удается, он разбухает в памяти раз в 100. Но забавно что даже довольно маленький трейн дает не рандомный результат (хотя и слабый, и да xgb даже такой не вытащит из этого трейна). Короче, возможно, это работает, но железа нужно очень много
Ключевые идеи, которые я уловил:
1) Context-Conditional Masked Modeling мы рассматриваем несколько строк таблиц как контекст и несколько фич из определенной строки как запрос. Пытаемся восстановить замаскированные фичи. В результате получаем обучение на совместное распределение. Что тут таргет - вообще не особо важно, модель учиться заполнять пропуски во всех фичах.
2) Модель основана на трансформере, отдельный аттеншн по строкам и столбцам. Вместо позиционного кодирования в LLM тут кодирование колонки (признака), чтобы модель понимала где мы что замаскировали. Эмбединг просто добавляется к значению признака.
3) На этапе предсказания у нас довольно большой выбор что использовать в качестве контекста (можно запихать кучу строк трейна), lumix отбирает по атеншну наиболее важные строки из него и делает предсказание только из них. Своеобразный дата-селекшн вместо feature selection.
В статье еще много про то как они синтезировали данные и почему это работает (по их мнению), но это я подробно читать не стал, хотя там много интересного.
Из практического: проще всего модель из докера запускать, но сходу что-то у меня не очень завелось, разумного вида трейн передать туда не удается, он разбухает в памяти раз в 100. Но забавно что даже довольно маленький трейн дает не рандомный результат (хотя и слабый, и да xgb даже такой не вытащит из этого трейна). Короче, возможно, это работает, но железа нужно очень много
🔥9👍6😁1
Forwarded from Data, Stories and Languages
5-Day AI Agents Intensive Course with Google
Если кто пропустил, сегодня начался курс по агентам на Kaggle от Google.
https://www.kaggle.com/learn-guide/5-day-agents
Первый день... не впечатлил.
Из хорошего: описали подходы к построению систем с несколькими агентами, дали практические примеры.
Из минусов: по факты мы просто дергаем гугловые апишки. Наверное я слишком наивно надеялся на то, что нас будут учить делать агентов с нуля.
Но может это и не было целью. Кстати, я как раз несколько дней назад наткнулся на шикарный блогпост, показывающий как просто написать базового агента с tools и function calling: https://fly.io/blog/everyone-write-an-agent/
#datascience #kaggle
Если кто пропустил, сегодня начался курс по агентам на Kaggle от Google.
https://www.kaggle.com/learn-guide/5-day-agents
Первый день... не впечатлил.
Из хорошего: описали подходы к построению систем с несколькими агентами, дали практические примеры.
Из минусов: по факты мы просто дергаем гугловые апишки. Наверное я слишком наивно надеялся на то, что нас будут учить делать агентов с нуля.
Но может это и не было целью. Кстати, я как раз несколько дней назад наткнулся на шикарный блогпост, показывающий как просто написать базового агента с tools и function calling: https://fly.io/blog/everyone-write-an-agent/
#datascience #kaggle
👍10❤5🔥1