Два брата-близнеца c Reddit пару недель назад выпустили книгу с объяснением главных DL-парадигм в картинках

Называется чудо "Illustrated book to learn about Transformers & LLMs" и выглядит просто колоссально кайфово. По главам:

▪️ основы нейросетей (перцептроны там всякие, обратное распространение и тд);
▪️ эмбеддинги и токенизация;
▪️ дальше RNN, LSTM, GRU;
▪️ и, конечно же, трансформеры. Тут все, от внимания и BERT до GPT, дистилляции и RLHF;
▪️ бонусом рассказ про классические задачи, такие как машинный перевод, sentiment extraction или RAG.

В общем, всё от и до, а куча картинок на каждой странице помогут понять и запомнить даже самые непростые вещи. Правда, доступна пока только печатная версия, но PDF авторы обещают скоро выкатить.

To Code, or Not To Code

Современный Гамлет? Да нет, просто новая статья, в которой показано, что предобучение на коде улучшает метрики на некодовых задачах.

Ресерчеры из Cohere обнаружили, что даже небольшое количество кода в претрейне повышает производительность модели на языковом ризонинге на 8% (по сравнению с претрейном только на тексте). При этом можно брать даже качественный синтетический код.

Отправляем другу гуманитарию 🤔

OpenAI такие: "Дааа, мы за регуляризацию! (...но только если регулируют не нас)"

В США сейчас рассматривают новый законопроект об искусственном интеллекте, который запретит опенсорс и разрешит разрабатывать сильный ИИ только небольшой группе компаний, фактически убив индустрию. OpenAI, конечно, в начале этот проект поддержали (можно ли было представить более выгодные для них условия?). Вот что сказал их стратегический директор Джейсон Квон неделю назад:

"Мы всегда считали, что ИИ должен регулироваться, и эта позиция остается неизменной».

Но потом появились новые детали о том, насколько жестко будут контролироваться эти избранные компании, и вот что Квон говорит сегодня:

"Законопроект Калифорнии об искусственном интеллекте поставит под угрозу рост и замедлит темпы инноваций ..."

Напоминаем, что OpenAI и, в частности, Альтман до этого были активными участниками лоббирования жесткого закона по регуляризации ИИ в Европе. Вот такие пироги 🤯

🚀 Grok-2 наконец-то появился на Арене!

Результаты превосходят ожидания: Grok-2 занял 2-е место, обойдя майскую версию GPT-4o, и сравнялся с последним Gemini. Grok-2-mini тоже отличился и занял пятое место.

По математике модель вообще завоевала уверенное первое место, а по направлениям Hard Prompts, Coding, Instruction-following – второе.

Как тебе такое, Илон Маск Сэм Альтман?

По поводу нового Калифорнийского законопроекта о регуляции ИИ продолжают разгораться споры и скандалы

⚪️ OpenAI все также настаивает, что законопроект неразумный. Они утверждают, что регулирование ИИ должно осуществляться на федеральном уровне, а не уровне штата, и запугивают, что закон может поставить под угрозу лидерство Калифорнии в разработке ИИ и вытеснить компании из штата.

⚪️ А вот Anthropic, в который недавно ушло много сильных ученых из OpenAI, наоборот, выступает за, хотя и с некоторыми оговорками. Они поддерживают требование к компаниям разрабатывать протоколы безопасности и заниматься работой по снижению рисков. Но в то же время компания аккуратно намекает, что не поддерживает ограничение опенсорса и чрезмерный надзор чиновников за стартапами.

⚪️ Высказались даже некоторые бывшие сотрудники OpenAI. Они обвиняют компанию в том, что ее руководство практикует запугивание и ложь, чтобы заставить замолчать тех сотрудников, кто критикует нарушение протокола безопасности. По поводу законопроекта они говорят, что он "в целом положительный и не слишком сложный для соблюдения".

Сейчас законопроект уже подается в Законодательное собрание для обсуждения и голосования. Его полное содержание можно посмотреть тут.

Трамп выложил в Твиттере кучу нагенерированных женщин в футболках «Фанаты Свифт за Трампа»

После он заявил прессе, что якобы не знал, что картинки сгенерированы.

«Я наткнулся на них в интернете. Все что я знаю, что их кто-то сделал, но это был не я. Я всегда говорил, что ИИ может быть опасен.»

🤨