📝 Natural Language YouTube Searcher

Генерация изображений по текстовоу описанию с использованием нейросети CLIP от компании OpenAI, основная задача которой наоборот придумывать описания картинкам. На этот раз из нее собрали поисковик по кадрам из ролика на Ютубе.

Все просто: даете ссылку на видео; пишите что нужно найти (как и раньше, на любом языке) и нейросеть не просто показывает кадр, который вы искали, но и говорит на какой он секунде. Если во время выполнения второго блока будет вылетать, то увеличьте показатель framestoskip. В остальном, я уверен, вы без труда разберетесь.

Колаб для тестов доступен по ссылке: https://colab.research.google.com/github/Veron28/bot_test/blob/master/Natural_Language_YouTube_Searcher.ipynb

#AI #CV

Data Secrets

🤯 Алгоритмы ИИ для удаления водяных знаков с картинок

➖модель сначала предсказывает местоположение водяного знака на изображении
➖затем отделяет цвета водяного знака от фона изображения
➖и востанавливает фон области, где находился вотермарк

👉 Попробовать

#AI #ML

Data Secrets

📌 Как работает ИИ в TikTok?

Задумывались, в чем волшебство сенсационного ТикТока, который так всех увлек? Ответ прост - система рекомендаций, поддерживаемая машинным обучением.

В этом переводе известной статьи расскажут про основы, особенности и алгоритмы рекоммендательной системы TikTok. После прочтения точно станет ясно, как TikTok сделал своего пользователя таким зависимым 🔥

👉 Читать

#статьи #рекомендации #AI

Data Secrets

👅 Модель распознавания языка

Как человек, ты можешь легко определить, на каком из известных тебе языков написан текст. Но компьютеру это дается не так легко. Например, в Google Translate встроена целая модель машинного обучения для определения языка.

🔥 Мы решили показать, как это работает, в этом колабе. Здесь можно самостоятельно обучить модель и поиграть с ней.

https://colab.research.google.com/github/Veron28/bot_test/blob/master/lang_detection.ipynb

#ML #AI

Data Secrets

Tesla опять всех шокировала?

На ежегодной конференции Tesla AI Day 2022 на сцене появился робот-гуманоид, который самостоятельно прогулялся и даже станцевал. Зрителям также показали видео, как он поливает цветы и носит коробки 🦋

Винтики и провода пока торчат во все стороны, но показан был так же робот следующего поколения Optimus. Он пока не может ходить, но выглядит симпатичнее.

💥 Несмотря на все недостатки роботов, Tesla добилась таких результатов всего за год – и это поражает.

👉 Посмотреть хайлайт с презентации можно здесь

P.S. По традиции, Илон Маск не смог обойти стороной утопические рассуждения о светлом будущем. По его словам, роботы Tesla помогут построить общество изобилия, в котором не будет бедности.

#AI #робототехника #новости

Data Secrets

Почему омни-модели — это больше про инфраструктуру, чем про архитектуру

Последние пару лет вся индустрия пытается склеить модели: текст с изображениями, речь с текстом, диффузию с трансформерами. Со стороны это выглядит как архитектурная задача. Берем несколько моделей, склеим друг с другом, учим на мультимодальных данных — готово.

На практике все оказывается сильно сложнее. На примере собственного опыта это отлично показал Роман Исаченко в докладе. Роман отвечает за базовые технологии ART и VLM в Яндекс R&D, и вот что он рассказывает о том, как на самом деле обстоят дела с омни-моделями:

Первый bottleneck на уровне предобучения — не архитектура, а инфраструктура мультимодального обучения. На тысячах GPU это превращается в сложную систему с несколькими видами параллелизмов. Любая неэффективность сразу стоит скорости. В докладе был хороший пример про картиночный энкодер: в нем половина времени уходит не на основные вычисления, а на операции типа резидуалов и сложения байесов. Такое ловится только через глубокий профайлинг.

Вторый важный нюанс уже на уровне алайнмента. Здесь RL становится ключевой частью системы. Нужно проектировать реворды под разные модальности и следить, чтобы полученная система ревордов обладала свойством независимости, то есть отдельные реворды были нескорелированными между модальностями.

Ну и куда же без данных. Смешивание данных для обучения — отдельная история, тут очень важны пропорции. Нельзя просто добавить картинки к тексту и надеяться, что все заработает. Это долгий путь экспериментов, где подбор правильной микстуры занимает огромное количество времени.

Отсюда главный вывод: омни-модели — это не про новые архитектуры, а про умение обучать сложные системы. И именно на этом уровне сейчас происходит основной прогресс.

Компании платят авторам контента, чтобы те рассказывали об опасностях ИИ

Немецкая исследовательница Сабина Хоссенфельдер, которая занимается теоретической физикой и снимает научно-популярные видео на ютуб, рассказала (youtu.be/lPdmYMHrWKg), что к ней обратилась некая организация с предложением оплатить видео, предупреждающее об экзистенциальных рисках ИИ.

Предложение пришло вместе со сценарием, конкретными фразами и цитатами, которые нужно было включить. Хоссенфельдер отказалась. Название организации она не раскрыла, но упомянула, что похожие предложения получали и другие блогеры, при этом не только от этой конкретной компании.

Среди частых заказчиков подобного контента – Center for AI Safety и Future of Life Institute, у которых, кстати, есть общий крупный донор Open Philanthropy. В последние годы Open Philanthropy активно занимается продвижением безопасности ИИ.

Хоссенфельдер также рассказала, что деньги за лоббирование текут в научпоп и техжурналистику и с других сторон. Например, WIRED недавно писали о том, что маркетинговая фирма, связанная с организацией Build American AI предлагала тиктокерам до 5000 долларов за ролик, продвигающий антикитайские ИИ-тезисы. При этом – с инструкцией не отмечать и не раскрывать, кто платит.

Choose your fighter: реклама в ChatGPT / реклама того, что ИИ нас всех убьет