Похоже, у языка Mojo появился конкурент

Новый опенсорс язык программирования для ИИ называется Bend. Его уникальность в том, что он сразу компилирует сложные конструкции в многопоточный код на Apple Silicon или NVIDIA GPU в HVM2 (реализовано на Rust) + автоматом распараллеливает все, что может (см. пример на картинке).

Поддерживает много прикольного, например неограниченную рекурсию, ветвления, алгебраические типы данных и т.д. То есть язык достаточно высокоуровневый, типа Python.

Правда, ЯП только выкатили, и на одном ядре он пока работает так себе. Но разработчики обещают двигаться дальше и заявляют, что в будущем Bend сможет снять очень многие ограничения, связанные с обучением ИИ.

GitHub

Оказывается, чтобы выбрать голоса для GPT-4o, OpenAI провели более 400 кастингов

В новом ChatGPT сейчас 5 голосов, в том числе уже полюбившийся многим женский голос Sky. Многие даже серьезно решили, что это тот самый голос Скарлетт Йохансон из фильма "Она". К сожалению или к счастью, это не так – голос принадлежит другой актрисе озвучки.

Выяснилось, что "Sky" и других дикторов отбирали долго и тщательно вместе с профессиональными продюссерами. Компания искала голоса, которые "ощущаются вне времени" и "вызывают доверие".

Говорят, что теперь те, кто озвучили ChatGPT, очень неплохо получают. Однако их личности не раскрывают.

Поговорим о красоте математики

Слышали о фракталах? Это такие самоподобные множества, то есть их части «рекурсивно» похожи на целое. Выглядит это обычно бесподобно (см. картинки в комментариях).

Так вот. Есть некоторое подобие в том, как математически получаются фракталы и как мы обучаем нейросети. И то, и то, фактически – результат многократного применения функции к ее собственным выводам, а также в обоих случаях эта функция имеет гиперпараметры, управляющие ее поведением.

А теперь… взгляните, как выглядит тепловая карта гридсерча для нейросети. Она фрактальная! Синеватые цвета соответствуют тем гиперпараметрам, для которых обучение сходится, красноватые – тем, для которых нет.

Это невероятно! Причем возможно, это несет в себе нечто большее, чем просто картинку: глубокую связь между ассиметричной геометрической природой фракталов и динамикой в сетях, которая поможет нам улучшить существующие методы оптимизации гиперпараметров.

* красоту заметил и исследовал ученый из Anthropic, на днях вышла статья.

Вот так утречко. Только вчера мы говорили про голоса в ChatGPT, а сегодня сама Скарлетт Йоханссон сделала неожиданное заявление об этом.

Оказывается, Альтман в сентябре прошлого года связывался с актрисой, чтобы она озвучила Chat GPT. Та отказалась. Но Альтман все равно нашел актрису с похожим голосом (или просто клонировал голос Скарлетт?).

После демо с этим голосом и двусмысленного твита со словом «her», Сэм снова связался с Йоханссон с просьбой передумать. Но та к тому моменту уже наняла адвокатов, которые и вынудили OpenAI удалить тот самый (не)украденный голос Sky.

Захватывающе, да? Вот только есть нюанс. Обновление с голосовым режимом вышло в сентябре 2023, и очевидно, на тот момент все голоса уже были выбраны, записаны и обработаны. Так что же на самом деле произошло?

Который час? Самое время выигрывать крутые книги А.В.Савватеева и А.М.Райгородского с автографами авторов!

Недавно стартанула приёмная кампания Онлайн-магистратур МФТИ. В честь этого мы с институтом объединились для того, чтобы совместно розыграть для вас улетные призы!

Пятеро победителей получат 2 книги А.М. Райгородского "Кому нужна математика?" и 3 книги А.В.Савватеева "Математика для гуманитариев. Живые лекции" с личными подписями авторов!

Что делать, чтобы забрать экземлярчик:
1. Быть подписанным на этот канал (@data_secrets)
2. Нажать на кнопку «Участвовать»
3. Ждать 28 мая, когда мы объявим победителей.

Прочитать подробности об онлайн-магистратурах МФТИ можно здесь. А еще они крутой курс подготовки к вступительным экзаменам по математике с нуля запустили – загляните, вдруг вдохновит, как раз до четверга есть возможность записаться с большой скидкой.

Кстати, возможно с 2025 в магистратуру МФТИ больше нельзя будет поступить без профильного технического бакалавриата/специалитета. Так что самое время использовать последний шанс!

Участников: 1063
Призовых мест: 5
Дата розыгрыша: 17:00, 28.05.2024 MSK (завершён)

Победители розыгрыша:
1. Ivan Podluzhnyi - 120stm
2. Zhomart Utemissov - 1216sg
3. M A - 12qkkg
4. Harley - 12t1ms
5. Бондаренко Дмитрий - 12st14

– Вы что, правда клонировали голос Йоханссон?
– Эээ… мы использовали общедоступные данные

Полезное: на просторах Kaggle мы нашли супер-ликбез по NLP

Начиная с Word2Vec и GloVe, заканчивая BERT, Seq2Seq и механизмом внимания – подробно, структурировано и понятно. Полезно будет и тем, кто только начинает нырять в NLP, и тем, кто уже неплохо разбирается.

Те самые «техноэнтузиасты», которые сегодня горюют об удаленном из ChatGPT флиртующем голосе (не)Скарлетт Йоханссон:

Microsoft релизнули в опенсорс Phi-3-Vision-128K-Instruct

С момента публикации статьи про Phi-3 прошел месяц, и вот компания раскатила на основе Phi-3 Mini мультимодальную модель.

Архитектура: энкодер, коннектор, проектор, ну и Phi-3 Mini. Контекст 128К. Главная фишка – это крохотный размер, всего 4.2B параметров. Обучена на 500B токенах (сразу текст + картинки).

🤗 Hugging Face

Альтман на презентации Microsoft опять намекает на GPT-5

“Мы еще далеко от того, насколько мощными будут модели, но улучшения уже в пути“.

Притормозите, мы еще привыкаем к GPT-4o…

Мантия выпускника, которая нужна нам всем