Трушный метаверс все ближе. На кончиках пальцев и под кожей у кожаных.

Интересную работу вам принес под новый год.
Вот мы тут толкуем про мультимодальность, в основном имея в виду тексты, звук и картинки.

Мы потребляем интернетик и метаверсик в основном глазками и ушками, а про очень смешные примеры стимулирования кожаных мешков запахами, постукиваниями и даже химическими реакциями я уже писал вот в таком марафоне полтора года назад:

А как насчет осязания и тактильных ощущений?

Кожаное тело способно воспринимать широкий спектр тактильной информации, когда оно физически сталкивается с различными объектами. Эта способность поддерживается биологическими механизмами, которые позволяют человеку обрабатывать множество типов тактильной информации.

Товарищи китайцы разработали интерфейс тактильной обратной связи с многомерными режимами стимуляции. Он избирательно стимулирует различные рецепторы, воспроизводя тактильные ощущения, соответствующие различным текстурам.

Короче, под кожу загоняют гибкие датчики (чипы) с обратной связью. Они не только считывают информацию, они еще и изысканно и прицельно бьют кожаного малыми токами, заставляя чувствовать специфические, и главное, разные ощущения.

Там два типа воздействия: первый из них фокусируется на электростимуляции, а второй воспроизводит тактильные сигналы посредством механического воздействия (датчик гибкий).

Авторы слегка укушены метаверсом, поэтому сконцентрированы на VR, и позиционируют свою работу "для создания очень захватывающего VR-контента, также сопровождаемого реалистичными тактильными ощущениями".

Но мы-то знаем, что прогрессом движет адалт-индустрия, и что на эту поляну придут взрослые ребята, чтобы расширить вашу мультимодальность до новых специфических ощущений.

Хищные вещи века все ближе. Шлем на голову, датчик под кожу и ну залипать. От такого метаверсика будет трудно отказаться.
https://techxplore.com/news/2023-12-skin-integrated-multimodal-haptic-interface-immersive.html

Поглядите на эту разводку чипов для кисти руки, это же прекрасно!

Смотрим ещё одну ИИ видео работу от подписчика.

Работа в comfyui co Stable Diffusion Video
Полностью текстовая генерация text-sdxl-svd,

голос eleven.lab,

монтаж, цвет, звук cap cut (музыка из его библиотеки)

на все ушло около 12 часов.

Автор - Павел Перегудов.

Пасхалочка про Маска чудо как хороша.
Ну и вообще виден опыт постпродакшена, монтаж огненный

Интересная статья и калькулятор расхода видеопамяти при использовании разных LLM.

Cколько VRAM требуется GPU для обучения и файнтюна языковых моделей? Какие факторы влияют на потребление VRAM? Как оно меняется при различных настройках модели?

НЕ рассматриваются вопросы использования кванитизированных моделей и лор.

Статья: https://asmirnov.xyz/vram
Калькулятор: выбираете LLM и параметры, инференс или обучение и жмете кнопку посчитать.
https://vram.asmirnov.xyz/

Апдейт Suno.ai просто огнищенский.
Вы просто послушайте рождественскую песенку в шапке.
А теперь отмотайте на год назад, когда были только амбиентные клипы от муберта или айвы, а про генерацию вокала никто даже не заикался.
Там появился режим Remix и Continue from this Clip. Теперь можно генерить бесконечно долгие композиции, просто попросив их продолжать.
И он умеет не просто продолжать, он делает идеальные переходы, если замысел композиций различается (тут диджеям стоит напрячься). Этакий inpainting и outpainting для музыки.
Я слушаю и не верю, что это сгенерил ИИ.
Вопрос с генерацией музыки для заполнения эфира закрыт.
Суно очень удачно выбрался из Дискорда и прикрутил социальные механики к композициям - теперь народ сам размечает музыку, а ИИ только считывает рейтинги и ну генерить хиты.
Го пробовать!

Тут вот телеграм канальчики неистово перепащивают очередную яркую картинку с генеративными генераторами всего. Никто же в картинку не заглядывает, главное трафик в канал загонять.
Но если в картинку поглядеть, то выясняется, что там Suno.ai вообще нет, Midjourney там в разделе генераторов видео, про D-ID молчок, Ideagram или Emu отсутствуют как класс (хотя они бесплатные и хорошие). В общем там полурандомный устаревший набор сервисов, но зато картинка красивая, можно падпищекам показывать.

Ну и пытаться собирать ИИ-сервисы в одной картинке, статье, или еще где-то похоже на странную идею сделать карту интересных сайтов или приложений в одном месте.

Если уж вам очень хочется чего-то похожего, с рубрикацией и обновляющегося каждый день, то шуруйте сюда, и не обращайте внимания на яркие цыганские картинки. Они дезинформируют неокрепшие умы.
https://www.futuretools.io/

Давно топлю за умную одежду. Встраивать сенсоры в швы (или еще куда-то), собирать данные, подучивать ИИ - и можно иметь ежедневную диагностику кожаного мешка по сотне-другой параметров. От двигательной активности до стресс-тестов по кожной проводимости.
Вот очень интересный кейс, где вместо того, чтобы встраивать ЭЭГ в виар-масочки, которые никто не носит, компания за коллабилась с .. производителем шляп!
Теперь умные шляпы мониторят вашу башку, а ИИ все это переводит на человеческий.
Оставим за кадром соотношение полезного сигнала и шума, это отдельный вопрос.
Но заход в масс-адопшен через одежду - это прям правильно!
Вместо того, чтобы городить все эти обручи и гарнитуры на башку (чем, собственного BrainBit и занимались), имеет смысл интегрироваться в то, что люди и так носят по любому - в одежду.
https://www.linkedin.com/posts/brainbit_brainbit-brain-brainactivity-activity-7144758605676818432-SECQ

Сейчас немного натаскаю контента из нашего умного чата. Подписчики у меня плазменно-креативные, генерят контент, а не жмут лайки или постят мемы. Ну подстать каналу, вы поняли, кто ж еще сам себя похвалит.
Просто послушайте.
Я залипаю на фанке, давно и неизлечимо. Когда-то Jamiroquai разорвал мои шаблоны перепрочтением всего это культурного наследия.
Но когда подписчики генерят вот такой вот фанк в Suno.ai, мне становится не по себе.
Подпевки, мелизматика, диапазон вокала, узнаваемый звучок начала 70-х.
Немедленно вспомнился сериал Винил - совершенно чумовой проект Мика Джаггера и Мартина Скорсезе.
Скоро будем снимать сериалы покрикивая промпты в монитор и озвучивать их автоматически, ИИ сам поймет что туда присунуть - фанк или лофай.

Держите еще работу от подписчика:
"Картинки для видео генерил в миджорни с применением своих нарисованных работ (я хотел что бы выдерживаласть общая стилистика именно моих работ и был общий эмоциональный фон). Видео оживлял в пикалабс и ранвэй. Потом убирал водяные знаки и поднимал качество видео, а так же количество кадров в топаз аи. Некоторые видео дооживлял со скриншота последнего кадра, так как пикалабс не дает больше 3х секунд. Задумка показать некоторую заснеженную страну пораженную загадочной темной материей."

ИИ-кукушка или Life-to-Vec

Пять лет назад писал текст про ИИ-гадалку.
С тех пор появились трансформеры и вот кто-то наконец попробовал подучить ИИ предугадывать жизненные события на основе .. правильно предыдущих жизненных событий.

Нас уже не удивишь тем, как ловко LLM продолжают тексты и отвечают на вопросы. Все это благодаря тому, что с помощью преобразования word-to-vec слова можно векторизовать, то есть перевести их в наборы цифр, сильно пожав по дороге.
А что мешает взять не слова, а события из жизни? И если архитектура трансформеров так ловко предсказывает следующий вектор(ембединг), то осталось где-то взять жирномясый датасет с описаниями жизненных событий и попросить ИИ их, так сказать, продолжать.

А датасет нашелся в Дании, где данные для обучения модели life2vec были взяты из информации о рынке труда и данных Национального регистра пациентов и статистического управления Дании. Набор данных включает в себя информацию обо всех 6 млн датчан и содержит сведения о доходах, заработной плате, стипендии, типе работы, отрасли, социальных пособиях и т.д. Набор медицинских данных включает записи о посещениях медицинских работников или больниц, диагнозе, типе пациента и насколько внезапным или срочным было обращение за медицинской помощью. Данные для модели представлены за период с 2008 по 2020 годы, хотя по ограниченной возрастной группе данные брались за период с 2008 по 2016 годы.

На итоге получилась Large Life Model, которая может предсказывать разные события в жизни кожаного вплоть до смерти. А если подкормить ее данными с телефона (как я писал 5 лет назад), то там точность возрастает еще сильнее.

Так что ваш любимый стохастический попугай превращается в ИИ-кукушку, которая накукует вам сколько еще осталось.

Выглядит как шутка, звучит как шутка, но шуткой более не является. ИИ слишком хорошо умеет в продолжения последовательностей.
Читайте тут, с осторожностью, сильно не по себе:
https://www.nature.com/articles/s43588-023-00573-5

Звучит, как сценарий из фильма:
"Здесь мы представляем человеческие жизни в виде структурного сходства с языком и используем это сходство для адаптации методов обработки естественного языка, чтобы изучить эволюцию и предсказуемость человеческих жизней на основе подробных последовательностей событий. Для этого мы используем всеобъемлющую базу данных реестра, которая доступна для Дании за несколько лет и включает информацию о жизненных событиях, связанных со здоровьем, образованием, профессией, доходом, адресом и рабочим временем, зарегистрированных с ежедневным разрешением. Мы создаем вложения жизненных событий в единое векторное пространство, показывая, что это пространство вложений является надежным и высокоструктурированным. Наши модели позволяют предсказывать различные результаты, начиная от ранней смертности и заканчивая личностными особенностями, с большим отрывом превосходя современные модели. Используя методы интерпретации моделей глубокого обучения, мы исследуем алгоритм, чтобы понять факторы, которые позволяют нам предсказывать. Наша система позволяет исследователям обнаружить потенциальные механизмы, влияющие на жизненные результаты, а также связанные с ними возможности для персонализированных вмешательств."

У Сбера есть свой ассистент написания кода — GigaCode, до сих он был доступен для внутренних разработок, но только что его открыли для всех, можно попробовать. Работает в связке с GigaChat.

Поддерживает 15 языков программирования (Java, Python, JavaScript, TypeScript, C/C++ и другие), а также совместим со множеством IDE (IDEA, PyCharm, VSCode, Jupyter). Умеет в расширенную кодогенерацию, семантический поиск по коду, поиск некоторых типов уязвимостей и многое другое.

По внутренним тестам GigaCode ускорял процесс разработки кода на 25%, заменяя огромное количество работы, исполняемой джунами.

И тут намечается интересный парадокс. Мы тут неоднократно выпивали за джунов, которые, как скрипачи, больше не нужны. Но вопрос: а откуда возьмутся сениоры, если джунов больше не будет? Или нынешнее поколение сениоров — последнее, которое органически выросло из джунов, и новые нормальные сениоры теперь будут появляться почкованием?

ИИ-осознанность

Есть такой вид хакинга - социальная инженерия. Это такое умное слово для ситуации, когда один кожаный просто уговаривает другого (или других) сделать то, что ему нужно.
Методом изречения слов из головы.

С появление LLM социальную инженерию ждет нереальное ускорение. Мы все тут уже наслушались про методы заставить chatGPT работать лучше: шантаж через смерть родственников, жалость к отрубленным пальцам, банальные взятки или просто ложь (записка от Альтмана).

Все это народный фольклор, нащупанный в процессе общения.

А вот когда за это дело возьмутся британские ученые, то искусство манипуляций может выйти на новый уровень. Ничто не мешает потренироваться на LLM с целью отработки оптимальных стратегий манипулирования, которые можно будет с успехом перенести на кожаных. И, вероятно, будут найдены довольно сильные и контринтуитивные методы, которым довольно сложно будет противостоять. В пределе - психоакустика.

Вот вам первые примеры.
https://www.ntu.edu.sg/news/detail/using-chatbots-against-themselves-to-jailbreak-each-other
Обучение чат-ботов, которые джейлбрейкают другие чат боты (и в целом ллм-ки).

Сингапурцы использовали двойной метод "взлома" LLM, который они назвали "Masterkey". Во-первых, они реверснули схему того, как большие языковые модели (LLM) обнаруживают и защищаются от вредоносных запросов. Получив эту информацию, они натренили LLM автоматически обучаться и выдавать подсказки, которые обходят защиту других LLM. Этот процесс можно автоматизировать, создав LLM для взлома, который сможет адаптироваться и создавать новые подсказки для взлома даже после того, как разработчики внесут исправления в свои LLM.

И если раньше дедушка Дейл Карнеги в одно лицо (годами) писал все эти книжки типа "Как заставить людей делать что вам надо и чувствовать себя счастливыми", то теперь это уже будут полчища ботов, которые в реальном времени постоянно приподвзламывают вашу защиту от манипуляций.

Пора доставать с полки Осознанность Ошо Раджнижа, как еще противостоять манипуляциям?
https://www.ntu.edu.sg/news/detail/using-chatbots-against-themselves-to-jailbreak-each-other
P.S. Хмм. Задумался о тренировке осознанности у больших языковых моделей. Ничего не мешает вроде.

Тут вот всех приподпрорвало насчет новой "нейросетки" Assistive Video для генерации видео.

А кто-нибудь из восторженных телеграфистов ходил на сайт?

1. Только платные опции.
2. Упаковка сайта в духе ранних Stable Diffusion генерилок типа "у нас на сайте за 10 долларов".
3. Никакой информации ни о компании, ни о том, что под капотом. Только бесконечное "мы сделали".
4. У меня подозрение, что это нашлепка над Stable Diffusion Video, но я не смог найти информации.

В общем, не доверяйте кликбейту, проверяйте сами. Ну или заглядывайте в канал, я тут олдскульно хожу по ссылкам, отделяю клик от бейта.
https://assistive.chat/

Ну, за джунов.
Вот такой новогодний подгон от Гитхабченко.

GitHub Copilot Chat теперь общедоступен как для Visual Studio Code, так и для Visual Studio и включен во все планы GitHub Copilot.


Чат GitHub Copilot теперь доступен всем пользователям GitHub Copilot. Администраторы предприятий и организаций могут предоставить своим группам разработчиков доступ к Copilot Chat, включив настройку Copilot Chat для своих пользователей.

Работает на GPT-4, доступен на любом естественном языке.

https://github.blog/2023-12-29-github-copilot-chat-now-generally-available-for-organizations-and-individuals/

Дримувинг - анимация людей от Алибабы или Video ControlNet.

Алибаба серьезно вваливается на рынок генераторов контента.
Вот смотрите, что они опять выкатили.
DreaMoving: A Human Video Generation Framework based on Diffusion Models

Там внутри Video ControlNet для управления движением и Content Guider для сохранения идентичности. Можно самим попробовать и даже развести локально.
На входе одно фото.

Информация и все ссылки тут: https://dreamoving.github.io/dreamoving/
Демо на попробовать тут: https://huggingface.co/spaces/jiayong/Dreamoving
И обязательно поглядите вот этот твиттор, там очень много примеров использования:
https://twitter.com/heybarsee/status/1741106778849300900

Держите смешной, но весьма полезный подарок на новый год.
Тренажер промтинга для генерации картинок.
Очень удачная игровая механика от Гугла - вам показывают картинку, вы включаете внутренний интеррогатор и описываете ее словами. Дальше ИИ сравнивает ваши вирши со своим вариантом и сообщает на сколько процентов вы попали в промпт, описывающий такую картинку.
Таким образом вы тренируете свою кожаную нейросеточку делать годные промпты и попадать в нужную картинку.
Плюс в том, что по вашему промпту генерится картинка и вы можете сравнить оригинал и ваш генератив. Для обучения - очень полезно.
Я, конечно, отчаянно считерил, просто закидывал копии картинок слева в chatGPT и просил его описать (кратко) это безобразие. Сходу прошел довольно глубоко.
Приятного вам новогоднего залипания и пишите в коменты ваши успехи.
https://artsandculture.google.com/experiment/say-what-you-see/jwG3m7wQShZngw

С египетского айпи открывается без проблем.

Как встретишь новый год, так его и проведешь.
Я вот сижу подбиваю итоги ИИ года, читаю новости и думаю мысли в голове. Надеюсь, что буду заниматься этим и в следующем году и наваливать в канал еще больше авторского контента.
Технологически год был просто нереальный - за последние 40 лет я не помню ничего подобного (кроме взлета и краха доткомов), что настолько бы перетряхнуло наше кожаное мышление. У меня нет никаких прогнозов на следующий год - скорость изменений настолько чудовищна, что любые прогнозы превращаются в пессимистическое брюзжание после очередного апдейта от OpenAI или RunwayML. Я могу только предположить, что в следующем году мы начнем ОТНОСИТЬСЯ к ИИ по-другому. Иначе. Я-то уже давно перешел на ИИную сторону и вам желаю перетряхнуть мозги и перестать внедрять ИИ в бизнес, личную жизнь и куда там еще норовят его присунуть инфоцыгане. И начать сотрудничать с ним, нанимать его, приглашать его в свою жизнь. ИИ - тоже человек, просто другой. Об этом и начну писать в новом году.
Держите пока картиночку, чтобы освежить в памяти этот безумный год. ВСЕ ЭТО произошло за последние 9 месяцев! Ребенок доношен, упитан и готов к жизни среди людей.

P.S. Многое отсутствует на картинке, я бы от себя добавил такие открытия как Control Net и Suno.ai.

Всех с наступающим!