Завезли PyTorch 2.3!
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
👍33🥰10❤7😐3😎2
Forwarded from XOR
Кстати, компания выложила не только модели, а вообще все, что с ними связано — так они надеются ускорить подготовку ИИ к релизу, а заодно завоевать доверие публики. Все модели предназначены для локальной работы, а самая большая из них, OLMo, обучалась аж на 3 миллиардах токенов.
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥48👍11❤4🌚2🤨2🙈1
This media is not supported in your browser
VIEW IN TELEGRAM
POV: я и мои шикарно задизайненные A/B тесты
❤57😁48🔥12👍3💋1
Разбираемся с файн-тюнингом, многозадачностью и вот этим всем
Последнее время на собеседованиях набирает популярность вопрос: объясните, чем отличаются Transfer learning, Fine-tuning, Multi-task learning и Federated learning? А что у них общего? Давайте ответим вместе.
Последнее время на собеседованиях набирает популярность вопрос: объясните, чем отличаются Transfer learning, Fine-tuning, Multi-task learning и Federated learning? А что у них общего? Давайте ответим вместе.
🔥64👍19❤6👏1
Аккуратнее с ними: Llama-3 знает ваше местоположение, но не признается в этом
Блоггер спросил у Llama-3, где находится ближайший к нему МакДональдс, и получил верные координаты.
После этого он стал спрашивать у модели, откуда у нее эта информация, в ответ на что получил очень правдоподобное (нет) и настойчивое вранье о том, что никакую геолокацию она не знает, а верный ответ… просто угадала.
Неловко получилось.
Блоггер спросил у Llama-3, где находится ближайший к нему МакДональдс, и получил верные координаты.
После этого он стал спрашивать у модели, откуда у нее эта информация, в ответ на что получил очень правдоподобное (нет) и настойчивое вранье о том, что никакую геолокацию она не знает, а верный ответ… просто угадала.
Неловко получилось.
😁152🔥13😨11👍6❤2🤔2
Погнали с нами в летнюю школу от НИУ ВШЭ?
Представьте: вы, белые ночи, Питер, лекции о машинном обучении от топового вуза. Вы прошли отбор и получили доступ к пяти крутым курсам:
Каждый день вы слушаете лекции от исследователей из зарубежных вузов и специалистов из СБЕРа, Центра речевых технологий и других лидеров индустрии.
Вы погружаетесь в неформальное общение с преподавателями, студентами, аспирантами, учеными и экспертами из индустрии. А в конце делаете свой собственный постер на крутейшую постерную сессию.
Мечта? Нет, реальность: это ISSCAI от вышки, который пройдет с 1 по 7 июля.
В общем, если ты студент-старшекурсник, аспирант или молодой ML-разработчик, то мы знаем, что тыделал прошлым делаешь этим летом.
Ладно-ладно, решайте сами, но поторопитесь: количество мест ограничено и заявки принимаются до 15 мая. Тыкать сюда: https://spb.hse.ru/isscai/.
Кстати, редакторы Data Secrets тоже примут участие 😉
Представьте: вы, белые ночи, Питер, лекции о машинном обучении от топового вуза. Вы прошли отбор и получили доступ к пяти крутым курсам:
- Введение в NLP
- Advanced NLP
- Computer vision
- Speech Recognition
- Music and signal processing
Каждый день вы слушаете лекции от исследователей из зарубежных вузов и специалистов из СБЕРа, Центра речевых технологий и других лидеров индустрии.
Вы погружаетесь в неформальное общение с преподавателями, студентами, аспирантами, учеными и экспертами из индустрии. А в конце делаете свой собственный постер на крутейшую постерную сессию.
Мечта? Нет, реальность: это ISSCAI от вышки, который пройдет с 1 по 7 июля.
В общем, если ты студент-старшекурсник, аспирант или молодой ML-разработчик, то мы знаем, что ты
Ладно-ладно, решайте сами, но поторопитесь: количество мест ограничено и заявки принимаются до 15 мая. Тыкать сюда: https://spb.hse.ru/isscai/.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34❤11🔥9🤯1
Учитель физкультуры школы округа Балтимор в США пытался подставить директора с помощью ИИ
Он клонировал голос директора и сгенерировал запись, где тот делает расистские и антисемитские высказывания. А все потому, что директор начал расследование по поводу нецелевого расходования средств школы.
Пока неясно, какую именно модель использовал физрук, но попытка была хороша.
Он клонировал голос директора и сгенерировал запись, где тот делает расистские и антисемитские высказывания. А все потому, что директор начал расследование по поводу нецелевого расходования средств школы.
Пока неясно, какую именно модель использовал физрук, но попытка была хороша.
😁82👍12🔥6🙈5
Data Secrets
Недавно OpenAI начали выдавать доступы к SORA людям из арт-сообщества (художникам, режиссерам и др). Получился очень мудрый маркетинговый ход: креаторы не только дали фидбэк по модели, но и нагенерили целые арт-хаусы и мини-драмы, которые уже разлетелись по…
Помните тот сгенерированный SORA фильм про человека с воздушным шаром вместо головы?
Так вот, тут всплыло, что не все так радужно. Оказывается, специалистам пришлось нехило поработать над тем, что выплюнула SORA, прежде чем это превратилось в то, что мы видели.
В «голых» выхлопах постоянно менялся цвет шара, на шаре появлялось лицо, или у человека вообще появлялась возникала голова.
В общем, кажется в SORA еще есть, над чем работать. Надеемся, обещания Миры Мурати о появлении SORA в общем доступе в этом году не были пустыми. Очень хочется уже потрогать модель своими руками.
Так вот, тут всплыло, что не все так радужно. Оказывается, специалистам пришлось нехило поработать над тем, что выплюнула SORA, прежде чем это превратилось в то, что мы видели.
В «голых» выхлопах постоянно менялся цвет шара, на шаре появлялось лицо, или у человека вообще появлялась возникала голова.
В общем, кажется в SORA еще есть, над чем работать. Надеемся, обещания Миры Мурати о появлении SORA в общем доступе в этом году не были пустыми. Очень хочется уже потрогать модель своими руками.
🔥44👍15❤6😁4
О политике
Громкие новости: вчера министерство внутренней безопасности США запустило новый совет по безопасности и защите в использовании ИИ. Целью является создание стратегий по управлению ИИ, которые могут предотвратить всякие возможные негативные последствия для человечества.
Пригласили всех именитых: CEO OpenAI, NVidia, Microsoft и тд. Хотя… всех, да не всех. Посмотрите внимательно на список наверху. Замечаете странное?
Да, в нем нет Илона Маска и Марка Цукерберга. Очень странно, не правда ли? Ведь они оба – одни из ключевых стейкхолдеров ИИ.
Сообщество отреагировало на такой выпад крайне негативно. Некоторые заметили, что в совете вообще нет ни одного влиятельного человека из опенсорса.
Многие считают, что это осознанный и давно подготовленный большими корпорациями шаг к централизации ИИ, то есть жесткому сосредоточению власти над технологией в руках нескольких больших компаний.
Министр внутренней безопасности заявил, что намеренно не пригласил Маска и Цукерберга, так как они управляют социальными сетями🤷♂️
Громкие новости: вчера министерство внутренней безопасности США запустило новый совет по безопасности и защите в использовании ИИ. Целью является создание стратегий по управлению ИИ, которые могут предотвратить всякие возможные негативные последствия для человечества.
Пригласили всех именитых: CEO OpenAI, NVidia, Microsoft и тд. Хотя… всех, да не всех. Посмотрите внимательно на список наверху. Замечаете странное?
Да, в нем нет Илона Маска и Марка Цукерберга. Очень странно, не правда ли? Ведь они оба – одни из ключевых стейкхолдеров ИИ.
Сообщество отреагировало на такой выпад крайне негативно. Некоторые заметили, что в совете вообще нет ни одного влиятельного человека из опенсорса.
«Это равносильно тому, чтобы создать совет по сохранению окружающей среды, состоящий из нефтяных магнатов».
Многие считают, что это осознанный и давно подготовленный большими корпорациями шаг к централизации ИИ, то есть жесткому сосредоточению власти над технологией в руках нескольких больших компаний.
Министр внутренней безопасности заявил, что намеренно не пригласил Маска и Цукерберга, так как они управляют социальными сетями
Please open Telegram to view this post
VIEW IN TELEGRAM
🤪66👍14❤10🦄4🤔3🔥2🤯2🗿1
Друзья, а что лица у всех такие грустные? Доброе утро, сегодня прекрасный рабочий день! 🌸🌹
Как вам шестидневка?
❤️ - жить можно
🌚 - не моё
Как вам шестидневка?
❤️ - жить можно
🌚 - не моё
🌚172❤159🔥13🦄2
Закрывает личный гештальт после истории с пуховиком 🙊
Папа Римский поедет на саммит по безопасности, чтобы обсудить с большой семеркой риски использования ИИ. Предположительно, на этот раз на нем не будет пуховика Balenciaga.
Not swaggy
Папа Римский поедет на саммит по безопасности, чтобы обсудить с большой семеркой риски использования ИИ. Предположительно, на этот раз на нем не будет пуховика Balenciaga.
Not swaggy
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯49😁32🙈7❤1
10 миллионов долларов достанется тому, кто научит LLM решать математические задачи на уровне победителей уровне IMO (International Mathematical Olympiad).
Сейчас на Kaggle проходит соревнование AI Mathematical Olympiad, участники которого пробуют заставить модели решать задачи уровня олимпиады старших классов на уровне человека. Gemma, например, выбивает accuracy меньше 2%.
Соревнуются уже более 10к участников. Только учтите: если вы после прочтения поста пойдете участвовать и выиграете 10 🍋, с вас процент.
Мы, кстати, подобрали интересные исследования по теме мат. рассуждений LLM, которые можно почитать уже сейчас:
▪️Llemma – LLM для математических задач. Недавно выпущена учеными из Принстона. Обучена на миллионах образцов кода и статей, на 4-shot решила 43% задач из MATH.
◾️MathBERT для анализа математических формул.
◾️Minerva от Google. Долгое время эта модель оставалась SOTA. Основной вывод статьи - дело в данных.
◾️Knowledge Processing Unit от Maisa. Хитрая архитектура, сильно повышающая способности модели решать сложные многоэтапные, в том числе математические, задачи.
◾️Китайский DeepSeekMath. Самая свежая модель из перечисленных. Воспользовавшись выводами Google о данных, исследователи придумали изящный способ составления корпуса, прикрутили RL, и получили новую SOTA.
Сейчас на Kaggle проходит соревнование AI Mathematical Olympiad, участники которого пробуют заставить модели решать задачи уровня олимпиады старших классов на уровне человека. Gemma, например, выбивает accuracy меньше 2%.
Соревнуются уже более 10к участников. Только учтите: если вы после прочтения поста пойдете участвовать и выиграете 10 🍋, с вас процент.
Мы, кстати, подобрали интересные исследования по теме мат. рассуждений LLM, которые можно почитать уже сейчас:
▪️Llemma – LLM для математических задач. Недавно выпущена учеными из Принстона. Обучена на миллионах образцов кода и статей, на 4-shot решила 43% задач из MATH.
◾️MathBERT для анализа математических формул.
◾️Minerva от Google. Долгое время эта модель оставалась SOTA. Основной вывод статьи - дело в данных.
◾️Knowledge Processing Unit от Maisa. Хитрая архитектура, сильно повышающая способности модели решать сложные многоэтапные, в том числе математические, задачи.
◾️Китайский DeepSeekMath. Самая свежая модель из перечисленных. Воспользовавшись выводами Google о данных, исследователи придумали изящный способ составления корпуса, прикрутили RL, и получили новую SOTA.
👍39🔥18❤12😁5🌚2