▪️Верхний ряд – то, что видела обезьяна
▪️Средний – изображения, которые воссоздала ML-модель по сигналам из мозга обезьяны
▪️Нижний – такая же реконструкция с моделью предыдущего поколения

Да, это чтение мыслей. Такого результата добились ученые из университета Нидерландов. Раньше эта команда экспериментировала на людях с помощью МРТ, и получила модель с результатами из нижнего ряда.

А недавно им удачно подвернулась макака с уже встроенным в мозг имплантом, который позволил провести более продвинутое исследование и значительно усовершенствовать модель (результаты среднего ряда).

Просто посмотрите на картинку: это же просто поразительно

Всем любителям математики спокойного сна 😒

Там у всеми любимого Cloudflare вышел интересный инструмент для отпугивания парсинг-ботов с платформ

Парсинг-боты обычно собирают информацию для обучения ML-моделек, и, конечно, далеко не все хотят, чтобы их сайт парсили для такой цели. Некоторые крупные компании позволяют брокировать своих ботов, просто добавляя robots.txt, но, конечно, оооочень многие этот файл просто игнорируют 💃

В общем, Cloudflare подумали-подумали, и сделали свою тулзу. Для обнаружения используют накрученный классификатор, который по словам компании обучен отличать даже ботов, умело косящих под профиль живого человека.

Кстати, кроме самого инструмента, еще и блогпост про него интересный выкатили. Респект.

Слайды и ноутбуки с курса по CV от Ивана Карпухина

С Иваном вы уже знакомы – мы рассказывали про него и его курс в рамках летней школы ISSCAI. За свою карьеру он успел поработать и поресерчить в Яндексе, Тинькофф, ВК, Сбере, а плюсом к этому идет куча публикаций, конференций и опыта в преподавании.

Так вот: на этой неделе в ВШЭ в рамках ISSCAI Иван провел серию замечательных лекций и семинаров по CV. Мы делимся с вами материалами этого курса:

▪️Все слайды лежат здесь. Лекции включают в себя общий обзор методов, задач и прогресса в CV, детальный разбор основных парадигм (CNN, аугментация), а также архитектур и подходов для решения задач детекции и сегментации. Последняя лекция особенно крута: она про трансформеры, Foundation models и мульимодальность.

▪️Кроме лекций в курсе было много практики. Все ноутбуки лежат в этом репозитории. Обратите внимание, что многие из них содержат небольшие интересные задачки на кодинг и понимание основных концепций CV. Советуем порешать, а ответы вы найдете в этом же репозитории.

🚀 Не забудьте сохранить

Многие проблемы языковых моделей на самом деле восходят к токенизации

Токенизация – это "распиливание" текста на токены, которое необходимо, чтобы модель нормально ела и обрабатывала письменную речь. Обратите внимание, что токен != слово и токен != слог. Токен – это вообще нечто нечеткое. Например:

➡️Пробел тоже может быть токеном, и из-за этого модель может по-разному воспринимать предложение с символом пробела и без символа пробела на конце (обсуждение на Reddit).

➡️Токенайзеры восприимчивы к регистру. "Hello” и “HELLO" могут быть токенизированы по-разному. В этом, кстати, кроется причина того, что многие модели проваливают тест Capital letter, где вопросы задаются зАбоРЧИком.

➡️Некоторые языки лучше поддаются токенизации, некоторые хуже. Из-за этого перформанс моделей на "неэффективно токенизируемых" языках гораздо ниже, а цена и время инференса иногда вдвое больше (вот исследование Оксфорда на эту тему).

➡️Из-за токенов у моделек проблемы с математикой (картинка наверху): токенайзер может токенизировать 380 как "380", а 381 как "38" и "1", то есть модель на самом деле просто не понимает, что представляет из себя число. Например, GPT-4 считает, что 7735 больше чем 7926.

➡️Токены – это также причина того, что модели фейлятся на задачах с анограммами или не могут просто-напросто перевернуть слово.

Так что вероятно, если мы найдем способ скармливать моделям текст другим способом – это будет прорыв. Про одно из исследований на эту тему мы расскажем уже сегодня 🚀

Про LLM без токенизации

Вопрос: можем ли мы как-то решить проблемы из предыдущего поста, возникающие из-за токенизации?

В теории – можем, отказавшись от токенизации вообще 😉

В апреле, например, вышла token-free LM MambaByte. Она вместо токенов работает напрямую с последовательностью необработанных байтов. Однако из-за этого, очевидно, длина последовательности, которую должна съесть модель, сильно увеличивается. Обычные трансформеры таких объемов не выдерживают.

Поэтому вместо трансформеров за основу взята модель Mamba SSM (опенсорс). SSM означает state space model, такие модели пришли к нам из теории управления и работают с пространством состояний динамической системы. Вот отличный разбор SSM на HF, почитайте.

Так вот. MambaByte устойчива к шуму типа регистра слов, очень бодра на инференсе, и к тому же не очень сильно проседает в качестве относительно трансформеров.

Сейчас исследования таких моделей еще на ранней стадии, но выглядит многообещающе.

Там вышло интересное интервью с одним из авторов архитектуры трансформера

Эйдан Гомес — CEO и соучредитель известного Cohere, а в 2017 году он был стажером в Google и писал основополагающую статью про трансформер. Теперь он сосредоточен на создании генеративных моделей для бизнеса.

В интервью он рассказал про прогресс последних лет, работу в Cohere и ИИ в b2b сегменте. Пара интересных выдержек:

⚙️ Страхи по поводу ИИ беспочвенны, потому что алгоритмы слишком сильно зависят от данных, экспоненциальная генерализация не может продолжаться вечно.

⚙️ Успех LLM основан на смелом, но иррациональном предположении о том, что модели будут становиться умнее, если сделать их больше. Не было никакого доказательства этому, но люди просто рискнули и попробовали – и получили сорокалетний прогресс меньше, чем за десятилетие.

Полностью можно посмотреть тут.

🤡 Это все ваши знаки дурацкие

Полиция в городе Финикс (Аризона) остановила беспилотный автомобиль Waymo за то, что тот через две сплошные поехал по встречке, а потом еще и газанул на красный. В машине никого не оказалось, и полицейский связался со службой поддержки Waymo.

Там офицеру объяснили, что автомобиль «столкнулся с непоследовательными дорожными знаками», из-за которых «ему было запрещено возвращаться на нужную полосу».