Там вышло интересное интервью с одним из авторов архитектуры трансформера

Эйдан Гомес — CEO и соучредитель известного Cohere, а в 2017 году он был стажером в Google и писал основополагающую статью про трансформер. Теперь он сосредоточен на создании генеративных моделей для бизнеса.

В интервью он рассказал про прогресс последних лет, работу в Cohere и ИИ в b2b сегменте. Пара интересных выдержек:

⚙️ Страхи по поводу ИИ беспочвенны, потому что алгоритмы слишком сильно зависят от данных, экспоненциальная генерализация не может продолжаться вечно.

⚙️ Успех LLM основан на смелом, но иррациональном предположении о том, что модели будут становиться умнее, если сделать их больше. Не было никакого доказательства этому, но люди просто рискнули и попробовали – и получили сорокалетний прогресс меньше, чем за десятилетие.

Полностью можно посмотреть тут.

🤡 Это все ваши знаки дурацкие

Полиция в городе Финикс (Аризона) остановила беспилотный автомобиль Waymo за то, что тот через две сплошные поехал по встречке, а потом еще и газанул на красный. В машине никого не оказалось, и полицейский связался со службой поддержки Waymo.

Там офицеру объяснили, что автомобиль «столкнулся с непоследовательными дорожными знаками», из-за которых «ему было запрещено возвращаться на нужную полосу».

Stable Diffusion с нуля на PyTorch

Наткнулись на занятное нецооцененное видео, в котором разработчик имплементирует пожалуй самую популярную text2image архитекутуру с нуля. Да, любим мы всякое from scratch ❤️

Правда, длится видео 5 часов, но смотреть на онлайн-кодинг с подробными комментариями и элементами теории правда очень интересно. Идеально, если давно хотели разобраться с SD.

⚡️ Grok 2 выйдет в следующем месяце. Об этом заявил Илон Маск в своем Твиттере. Сейчас модель проходит этап файнтюнинга и дебагинга. Бизнесмен также утверждает, что их обучающий кластер из 100 тысяч H100 будет самым мощным мире, и при том с большим отрывом.