Кстати, помимо прочего Google недавно релизнули просто огненный интрумент для понимания архитектуры LLM

Model Explorer берет модель и рисует по ней граф. В его вершины можно проваливаться все глубже и глубже, и таким образом от верхнеуровневых блоков архитектуры опускаться к ее низкоуровневым структурам.

Посмотрите на гиф - красота да и только. И все это в опенсорс! Идеально для презентаций и учебы.

Очки с искусственным интеллектом – это не предел. Meta находится на ранних стадиях разработки наушников с ИИ, внутри компании известных как «Camerabuds».

Предположительно, цель проекта – это конкуренция с коллабом OpenAI и Apple, которые планируют за счет Альтмана по максимуму внедрить в свои устройства ИИ.

Найдена профессиональная клавиатура для всех AI разработчиков

В сообществе продолжаются дебаты по поводу того, что после ухода Суцкевера и Лейке OpenAI лишилась команды SuperAlignment. Команда занималась безопастностью ИИ, или иначе говоря тем, чтобы не наступил SkyNet.

Оказалось, что исследователям из SuperAlignment уже пол года, как не выделяли необходимые ресурсы для ресерча, что и послужило причиной увольнений.

👾 Одни, и в том числе Ян Лейке, говорят, что это ужас: компания с самым сильным ИИ забила на безопасность. Формула «чем больше сила, тем меньше ответственность» в этом случае чревата для человечества катастрофой.

🤔 Другие, например Ян Лекун, соглашаются с тем, что содержать подобную команду – пустая трата денег и времени, и OpenAI поступили правильно, выдавив SuperAlignment из компании. «Выход ИИ из-под контроля - пустая фантазия».

Ваше мнение? 👾🤔

Забыл про batch norm…

Макс Тегмарк:

«Трансформеры — чрезвычайно простая архитектура по сравнению с мозгом. Нельзя ставить знак равно между ними и AI, это ошибочно.

Я думаю, трансформеры запомнят как нечто вроде электронных ламп, которые послужили самой ранней технологией для производства компьютеров.

Скоро мы сможем найти более эффективную альтернативу трансформерам, требующую меньше данных и ресурсов»

Похоже, у языка Mojo появился конкурент

Новый опенсорс язык программирования для ИИ называется Bend. Его уникальность в том, что он сразу компилирует сложные конструкции в многопоточный код на Apple Silicon или NVIDIA GPU в HVM2 (реализовано на Rust) + автоматом распараллеливает все, что может (см. пример на картинке).

Поддерживает много прикольного, например неограниченную рекурсию, ветвления, алгебраические типы данных и т.д. То есть язык достаточно высокоуровневый, типа Python.

Правда, ЯП только выкатили, и на одном ядре он пока работает так себе. Но разработчики обещают двигаться дальше и заявляют, что в будущем Bend сможет снять очень многие ограничения, связанные с обучением ИИ.

GitHub

Оказывается, чтобы выбрать голоса для GPT-4o, OpenAI провели более 400 кастингов

В новом ChatGPT сейчас 5 голосов, в том числе уже полюбившийся многим женский голос Sky. Многие даже серьезно решили, что это тот самый голос Скарлетт Йохансон из фильма "Она". К сожалению или к счастью, это не так – голос принадлежит другой актрисе озвучки.

Выяснилось, что "Sky" и других дикторов отбирали долго и тщательно вместе с профессиональными продюссерами. Компания искала голоса, которые "ощущаются вне времени" и "вызывают доверие".

Говорят, что теперь те, кто озвучили ChatGPT, очень неплохо получают. Однако их личности не раскрывают.

Поговорим о красоте математики

Слышали о фракталах? Это такие самоподобные множества, то есть их части «рекурсивно» похожи на целое. Выглядит это обычно бесподобно (см. картинки в комментариях).

Так вот. Есть некоторое подобие в том, как математически получаются фракталы и как мы обучаем нейросети. И то, и то, фактически – результат многократного применения функции к ее собственным выводам, а также в обоих случаях эта функция имеет гиперпараметры, управляющие ее поведением.

А теперь… взгляните, как выглядит тепловая карта гридсерча для нейросети. Она фрактальная! Синеватые цвета соответствуют тем гиперпараметрам, для которых обучение сходится, красноватые – тем, для которых нет.

Это невероятно! Причем возможно, это несет в себе нечто большее, чем просто картинку: глубокую связь между ассиметричной геометрической природой фракталов и динамикой в сетях, которая поможет нам улучшить существующие методы оптимизации гиперпараметров.

* красоту заметил и исследовал ученый из Anthropic, на днях вышла статья.

Вот так утречко. Только вчера мы говорили про голоса в ChatGPT, а сегодня сама Скарлетт Йоханссон сделала неожиданное заявление об этом.

Оказывается, Альтман в сентябре прошлого года связывался с актрисой, чтобы она озвучила Chat GPT. Та отказалась. Но Альтман все равно нашел актрису с похожим голосом (или просто клонировал голос Скарлетт?).

После демо с этим голосом и двусмысленного твита со словом «her», Сэм снова связался с Йоханссон с просьбой передумать. Но та к тому моменту уже наняла адвокатов, которые и вынудили OpenAI удалить тот самый (не)украденный голос Sky.

Захватывающе, да? Вот только есть нюанс. Обновление с голосовым режимом вышло в сентябре 2023, и очевидно, на тот момент все голоса уже были выбраны, записаны и обработаны. Так что же на самом деле произошло?

Который час? Самое время выигрывать крутые книги А.В.Савватеева и А.М.Райгородского с автографами авторов!

Недавно стартанула приёмная кампания Онлайн-магистратур МФТИ. В честь этого мы с институтом объединились для того, чтобы совместно розыграть для вас улетные призы!

Пятеро победителей получат 2 книги А.М. Райгородского "Кому нужна математика?" и 3 книги А.В.Савватеева "Математика для гуманитариев. Живые лекции" с личными подписями авторов!

Что делать, чтобы забрать экземлярчик:
1. Быть подписанным на этот канал (@data_secrets)
2. Нажать на кнопку «Участвовать»
3. Ждать 28 мая, когда мы объявим победителей.

Прочитать подробности об онлайн-магистратурах МФТИ можно здесь. А еще они крутой курс подготовки к вступительным экзаменам по математике с нуля запустили – загляните, вдруг вдохновит, как раз до четверга есть возможность записаться с большой скидкой.

Кстати, возможно с 2025 в магистратуру МФТИ больше нельзя будет поступить без профильного технического бакалавриата/специалитета. Так что самое время использовать последний шанс!

Участников: 1063
Призовых мест: 5
Дата розыгрыша: 17:00, 28.05.2024 MSK (завершён)

Победители розыгрыша:
1. Ivan Podluzhnyi - 120stm
2. Zhomart Utemissov - 1216sg
3. M A - 12qkkg
4. Harley - 12t1ms
5. Бондаренко Дмитрий - 12st14

– Вы что, правда клонировали голос Йоханссон?
– Эээ… мы использовали общедоступные данные

Полезное: на просторах Kaggle мы нашли супер-ликбез по NLP

Начиная с Word2Vec и GloVe, заканчивая BERT, Seq2Seq и механизмом внимания – подробно, структурировано и понятно. Полезно будет и тем, кто только начинает нырять в NLP, и тем, кто уже неплохо разбирается.