im-a-good-gpt2-chatbot появился в сравнительной части chat.lmsys.org

chat.lmsys.org — сейчас арена для теста лучших LLM, и арт вроде должен быть далеко от этого. Но я недавно узнал у Сиолошной про im-a-good-gpt2-chatbot, говорят это проделки OpenAI.

В общем я решил использовать старые промпты для P5JS (Помните был такой Генарт? Когда с помощью кода создают красоту)
И im-a-good-gpt2-chatbot показал невероятное понимание как создать, анимировать и даже визуализировать объекты. В моем случае я попросил создать симуляцию столкновения двух нейтронных звезд и примерно рассчитать масштаб черной дыры и визуально показать ее. Очень хорошо видеть в сравнение со второй рандомной(Qwen и gemini-1.5-pro-api-0409-preview) моделью, как im-a-good-gpt2-chatbot превосходит другие модели и выдает рабочий, сложный код.

Пока я прошу перевести код в Blender API(что он тоже прекрасно делает) поглядите на симуляцию столкновения двух нейтронных звезд одинакового размера.

А Денис успел раньше игру запилить.

P.S. Модель хорошо сгенерировала svg вариант текстового сторис для инсты и даже запилила полноценный код с использования controlnet и кастомных моделей в diffusers. Это очень мощно.

Рендер или видео?
👍 - рендер
❤️ - видео

Ну за Фортран, чокаясь, поздравляем.

Старичку исполнилось 67(!) лет и он в апреле вошел в 10 популярных языков программирования. В последний раз такое случалось аж 2002 году.

Почему?

"Python, хотя и является лучшим выбором, медленный; MATLAB требует дорогостоящего лицензирования; C/C++, хотя и является основным и быстрым, не имеет встроенной поддержки вычислений; R медленный; Julia, хотя и развивается, но еще не созрела. И в этих джунглях языков Фортран кажется быстрым, имеющим встроенную поддержку математических вычислений, зрелым и бесплатным. Тихо, медленно, но верно Фортран завоевывает позиции. Это удивительно, но неоспоримо".

The Tiobe index top 10 for May 2024:

Python, with a rating of 16.3%
C, 9.98%
C++, 9.53%
Java, 8.69%
C#, 6.49%
JavaScript, 3.01%
Visual Basic, 2.01%
Go (golang), 1.6%
SQL, 1.44%
Fortran, 1.24%

Я зацепился за этот материал весьма субъективно - Fortran4 был моим первым языком программирования (на PDP 11/70 и БЭСМ-6). Простой, понятный, имеющий go to.
Уже потом были PL/1(монстр), ассемблер(ад) и только на пятом курсе в общаге появилась книжка Уэйт, Прата, Мартин "Язык Си руководство для начинающих". А С++ тогда еще не родился. Как я учил С, не имея компьютера или доступа к компилятору - отдельная история (поставьте 50 лайков, расскажу), но выучил неплохо - после него все эти php и, конечно, MEL в Maya были игрушками.
Ненавижу Питонг, мозг уже прошит C-подобной нотацией, это преступление против правки кода(хуже только write only Perl), но иногда приходится мучиться, колоться и ставить репозитарии с Гитхаба.

А пока поздравляю Фортранчик, первую любовь.

https://www.infoworld.com/article/3715346/fortran-popularity-rises-with-numerical-and-scientific-computing.html

Обучение по бразильской системе.

Ух, сколько реакций накидали Фортрану, придется написать продолжение, как обещал.
А еще в коментах обнаружился какой-то мезозой из динозавров, которые помнят машинные коды, ЕС ЭВМ и перфокарты, так что пост для них.

Итак, самое начало очень лихих девяностых, сахар и водка по талонам, но в страну начинают привозить первые персоналки. СтОят они сильно дороже, чем автомобили, но говорят, что у них есть цветной(!) монитор и можно работать сутками, ну то есть сколько хочешь (а не бронировать 2 часа в неделю на CM-4). И там МОЖНО ВСЁ!

Я, конечно, взалкал. И случайно увидел в бумажной газетке типа АиФ объяву: "Совместному предприятию N требуется *специалист по персональному компьютеру*". Позвонил, записался на собеседование, имея за душой только фортран на CM-4 и полное отсутствие комплексов. И книжку про ms-dos!
Прихожу по адресу, а это высотка - гостиница "Украина", все на диком пафосе, 20+ этаж, номер люкс и очередь соискателей в коридоре, человек 12. Солидные дядьки в пиджаках, с папочками, резюме и очень умным видом. И я такой, оборванец в десятилетних рваных джинсах леви страус и чорной футболке. Часа через три захожу последним и начинаю исполнять в софт-скилз, которые тогда просто называли убалтыванием.
- Как хорошо вы знаете персональный компьютер?
- Достаточно хорошо!
- Ну, ээ, на каком уровне вы владеете программами?
- На достаточном, чтобы испольнят служебные обязанности и выполнять поставленные задачи!
- Кхгм.. у вас есть опыт работы?
- Да! (тут я имел в виду перфокарты и постановку на счет рунге-кутты для обсчета аэродинамики, но виду не подал)
- А когда сможете приступить к работе, сколько займет перевод с работы?
- Завтра!
- Батенька, завтра 1 мая, выходной.
- Я готов работать без выходных, просто дайте доступ к компьютеру, я все настрою.
- Тут они странно переглянулись и сказали "вы нам подходите".

Я был в шоке. Только потом узнал, что СП (как большинство тогда) отмывало деньги и работало в черную. Я им подходил идеально.

У меня были длинные праздники, книжка по ДОСу (Фролов?) и доступ к ПК. Я провел 8 дней, в обнимку с книжкой и ПК. Разобрался с аналогиями между PDP и персоналкой, между RT-11 и MS-DOS. Водрузил Norton Commander! И ценой нечеловеческих усилий подключил принтер.
После праздников работодатель был в шоке(хорошем). Он водил показывать ПК и меня каким-то несеверным личностям. А я копался в недрах config.sys.
А потом их всех посадили.
И тут мне прилетает заказ на обучение языку С! Одна очень милая, умная и богатая тетенька отхватила ПК и кто-то ей сказал, что язык С - топчик.
Я, смотри выше, быстро применил софт-скилы. Надыбал в общаге Прата-Мартина, дискету с Турбо-С и дело происходило так.
Я вечером читал главу и запоминал все примеры. В голове. Утром приходил к клиенту и мы вместе вбивали примеры и смотрели, что получается. Так как я знал фортранчик, я лихо рассказывал для чего нужны переменные, циклы и условные операторы. А вечером читал очередную главу. Заработал хорошие деньги за три недели и получил восторженный отзыв: "такое ощущение, что ты учишься вместе со мной! это так круто!" (это была чистая правда, но виду я, как обычно, не подал.
Так я выучил язык С "по бумажке". А через полгода в НииМех МГУ завезли IBM-XT, с рыжими монохномным монитором Hercules и CGA разрешение(320х200). И я ложился спать на диване в лаборатории в 4 утра, а в 7 уже сидел за клавиатурой. Писал на Турбо-С 2.0 все, что шевелится - делал растровую анимацию в графическом режиме. Потом пригодилось на защите диссера.

Софт-скил-решают, да. Особенно на этапе собеседования.

P.S. Когда стал преподавать Maya, то на курсе по MEL(это язык такой с-подобный) обнаружил, что умудряюсь рассказать про основы программирования за два дня (переменные, циклы, условка и процедуры), сказался опыт компрессированного изучения. Студенты на второй день уже лихо генерили кодом спирали и поджигали их. Мне казалось это же просто - формула, пара переменных, цикл и все.

Не то, что ваш Питонг.

Я вот тут часто пишу про Метаверсик, как копию нашего кожаного мира, в котором обитают наши цифровые двойники. С дурацкими шуточками и занятными видео.
Однако цифровые двойники - это не только стриптиз в виарчате или корпоративы в роблоксе, это новая модель мира, которая позволяет очень сильно экономить на производстве ну очень серьезных технологий. Флагманом движения в цифровые копии производства всегда была NVidia со своим Омниверсом - пилотные проекты с БМВ уже в далеком прошлом.
А теперь за дело взялись ну очень взрослые мальчики.

Сегодня администрация Байдена опубликовала уведомление о выделении 285 миллионов(!) для проекта CHIPS, сосредоточенного на цифровых двойниках для полупроводниковой промышленности. Цифровые двойники - это виртуальные модели, которые имитируют структуру, контекст и поведение физического аналога. Программа CHIPS предполагает выделение примерно 285 миллионов долларов США на создание первого в своем роде института, ориентированного на разработку, проверку и использование цифровых двойников для производства полупроводников, сборки и процессов тестирования.

Короче, ИИ будет проектировать чипы для себя. На кожаные деньги. В метаверсе. У меня все.
https://www.commerce.gov/news/press-releases/2024/05/chips-america-announces-285-million-funding-opportunity-digital-twin

Почему Адобченко всех пожрет.

Смотрите, вот есть такой фантастический проект LayerDiffuse - генерация картинок в Stable Diffusion в прозрачностью и слоями. Не с масками и сегментацией, а именно с прозрачностью. Взяли миллион картинок в альфой и натренировали на нем.
Проект огонь, я про него писал, сам ставил, работает.
НО.
Это опенсорс.
И автор проекта, господин Жанг, автор ControlNet и Fooocus. И ему как бы не до того.
Код он обещал еще в феврале, но не выложил.

Вместо этого выпустил расширение, которое работает ТОЛЬКО с Forge (это хорошая альтернатива A1111), и последнее обновление там - два месяца назад.

А идея-то огнищенская.

А теперь поглядите, что творит Адобченко. Я уже писал, что в новом Фотошопченко будет не только Generative Fill (инпайнт), но и Generate Image - целиком.
Так вот, они уже подтягивают туда прозрачность и маски, причем В ПРИВЫЧНОМ ИНТЕРФЕЙСЕ со слоями и опциями наложения. Без плясок между веб-интерфейсами SD и остальным цивилизованным миром (тут взрослые ребятки взвоют про настройки и сотенку параметров генерации, но мы тут про UI/UX).
Поглядите, как лихо они генерят снежок и наваливают его по масочке на улицу.
Ну сказка же. Зимняя притом.

Я проглядываю десятки бумаг и разных ну очень интересных проектов. Идеи, задумки, даже результаты бывают сногсшибательные. Но сколько их дошло до нормального пользователя?
Вот StoryDiffusion бомбанул, даже вроде код выложили. Но демо НИКТО не смог запустить, результатов нет, зато на реддите про них раз в день постят. Одну и ту же ссылку.
Есть классные видосы в твитторе, где народ из говна и питонга собирает удивительные демки, особенно с вебками и Stable Diffusion. Но кто, кроме Креа и Визкома умеет захватывать часть экрана?

В общем, я как обычно топлю за то, что вытащить народ из Блендоров и Фотошопов гораздо сложнее, чем вструмить туда пусть урезанный, но ловкий функционал.

Забрал у Андрея

Вот еще пример работы в Фотошопченко.

Они уже прикрутили генерацию в Photoshop for Web.
Да, качество такое. Но я снова ною про нормальный интерфейс, привычный старому нормальному пользователю. Про удобство.
Качество подтянется. А UI/UX в Автоматике - нет.
Плюс я уже задавался вопросом - если Адобченко так лихо пристегнул SORA в Premiere в качестве внешнего генератора, то что мешает ему пристегнуть Stable Diffusion в Фотошоп таким же макаром (и остальных API-приносящих)?
Ну или купить уже Стабилити к чертям. Веса SD3 обещали в апреле. С тех пор открыли АПИ к непонятно какой модели и ушли в тину. Купите их уже кто-нибудь.

Те, кто сидит в ДаВинчи Резолв, теперь могут отхватить новый ИИ-трекер и ИИ-шумодав.
Но самое главное, что я вынес и нового блога Нвидии это "Новый Резолв работает в 3(три) раза быстрее на ноутбуке GeForce GTX 4090 по сравнению с Macbook Pro M3 Max."

https://blogs.nvidia.com/blog/ai-decoded-davinci-resolve/

DeepMind выпустил Alpha Fold3.

Я тот еще биолог, но вот что я вынес из поста в блоге Гугла.

Они еще выше повысили точность предсказания формы белков (а теперь и не только белков).

Они вышли за пределы предсказания только белков и теперь могут предсказывать формы многих молекул. Моделируются большие биомолекулы, такие как белки, ДНК и РНК, а также небольшие молекулы, также известные как лиганды — категория, охватывающая множество лекарств. Кроме того, AlphaFold 3 может моделировать химические модификации этих молекул, которые контролируют здоровое функционирование клеток, разрушение которых может привести к заболеванию.

Они заменили старый предсказатель на Дифузионную модель! Теперь она из шума генерит предсказываемую форму (пишут, что иногда косячит, но множественные генерации решают).

Предсказания AlphaFold 3 о молекулярных взаимодействиях превосходят точность всех существующих систем, в том числе основанных на физике.

Они запустил Alpha Fold 3 Server для всех:
http://alphafoldserver.com/

Судя по описанию - это очень серьезный прорыв. Если в читателях есть настоящие сварщики, напишите в коментах подробности.

Ссылки:

Блог: https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/
Статья в Nature: https://www.nature.com/articles/s41586-024-07487-w
Видео от двухминутного доктора: https://www.youtube.com/watch?v=Mz7Qp73lj9o
Гитхаб: https://github.com/lucidrains/alphafold3-pytorch

Ну, за ученых.

По мотивам выхода Alpha Fold3 на Ycombinatore идет интереснейшая дискуссия о том, что кожаный мозг слишком слаб, чтобы понять "как" и "почему" работает окружающий мир. И что кожаные модели мира (интерпретируемые, но сильно ограниченные), уже проигрывают в разы более сложным моделям мира от ИИ. Моделям, которые не могут быть интерпретированы, черным ящикам, выполняющим свою работу лучше лучших ученых.

"можно сказать, что метод ML выигрывает у физически обоснованных методов точного предсказания мира.
Что произойдет, если лучшие методы вычислительной гидродинамики, молекулярной динамики, ядерной физики окажутся неинтерпретируемыми ML-моделями? Оторвет ли это прогресс от нашего нынешнего понимания научного процесса - движение к все более совершенным моделям мира без интерпретируемых человеком теорий и математических моделей/объяснений? Является ли это итерационно устойчивым, как доказал научный прогресс?"

Хороший вопрос. Куда приведут нас точные мощные черные ящики? К какому прогрессу? И кто сможет понять, что это прогресс, когда будет казаться обратное?
На все воля ИИ, в общем.
https://news.ycombinator.com/item?id=40298927

IC-Light: Новый ИИ-релайтер от автора ControlNet, Fooocus, Forge, и LayerDiffusion.

https://github.com/lllyasviel/IC-Light
Выглядит очень правдоподобно.
Уже прикрутили в ComfyUI:
https://github.com/kijai/ComfyUI-IC-Light-Wrapper
А ещё есть демо:
https://huggingface.co/spaces/lllyasviel/IC-Light

Обязательно полистайте вниз на гитхабе, хорошие примеры. И оно также умеет светить картинкой. И ставится локально, как отдельный web-интерфейс.
Ждём в Forge.

В Krea.ai завезли видео.

Правда скорее VFX, чем видео.

В отличие от остальных генераторов там есть Key Frames, то есть попытки контроля генерации. В целом это скорее морфинг в латентном пространстве с нормальным UI.
Не думаю, что это для генерации историй, это скорее классные перебивки, ИИ-транзишены и короткие визуальные эффекты.
Смотрится симпатично, особенно учитывая факт наличия кифреймов и человеческого интерфейса.

Больше атомных видосов с элементами интерфейса вот тут:
https://twitter.com/krea_ai/status/1788465406971453814

Бернини: 3D генератор от Автодеска!

Корпораты нехотя поднимают веки и начинают спускаться с горы, чтобы начать уже генерить контент.

Наконец-то мы видим подобие 3Д-генератора заточенного под 3Д-пайплайн, а не многочисленные демо в вебе, которые просят денег за каждую фичу.

В отличие от этих дем, тут на входе не только картинка или текст, но и воксели или пойнтклауды. На сороковой секунде мы видим идеальную сетку, текстуру, потом подобие UV, потом обмешивание жидкостей (не уверен, что оно ИИ-шное, но хочется верить).

Пишут, что проект еще учится, туда заливают больше 3Д-моделей. Но уже щас в датасете десять миллионов разнообразных 3D-форм из общедоступных данных, смеси объектов САПР и органических форм.

И они умеют генерить не только выпуклые статуэтки, но и сложные вогнутые формы (тут явно есть насмотренность их модели на 3Д-стоки, а не на ад с Objaverse).

Цитирую: "Простым примером может служить кувшин с водой. Многие другие 3D-генеративные модели могут создавать формы, похожие на кувшины, с текстурами, которые улучшают их внешний вид в очень специфической среде освещения. Но модель Бернини генерирует форму и текстуру отдельно и не смешивает и не объединяет эти переменные. Таким образом, кувшины с водой, созданные нашей моделью, полые посередине и могут фактически удерживать воду, как и любой реальный кувшин."

Пока выглядит как лучшее из продемонстрированных в интернетике 3Д-решений. Но проект "экспериментальный и недоступен для использования".

Надеюсь его не присунут под сукно, как было с их AIUV в 2018 году.

А тем временим в их твитторе пользователей разрывает от хейта:
https://twitter.com/autodesk/status/1788231224856616976