Forwarded from Сиолошная
OpenAI в целом и Sama в частности инвестировали в только что созданную Merge Labs — компанию, сфокусированную на создании интерфейса для подключения мозга к компьютеру (BCI). Вместе с ними, кстати, денег вкинул и Габен 💪
Компания будет являться прямым конкурентом Neuralink от Elon Musk, но ставка делается на кардинально другой подход, который потребует существенно меньше инвазивных процедур. Сейчас Neuralink сверлят в черепе дырку и устанавливают маленький имплант с электродами, погружённными в мозг на несколько миллиметров.
Такой чип охватывает лишь одну зону мозга, но в идеале сигнал нужно считывать из разных. Что же будут делать Merge Labs?
Основатели сообщили, что на первом этапе их исследования будут сосредоточены на использовании ультразвуковой технологии для отслеживания активности нейронов в сочетании с белками, способными усиливать нейронные сигналы.
Цель — доставить специальные белки в мозг и интегрировать их с нейронами. Использование свойств этих белков заставит нейроны генерировать более четкий сигнал для считывания ультразвуком.
Такие белки называются молекулярные репортеры, они "сообщают" о действиях клетки таким образом, что ультразвук может зафиксировать сигнал с гораздо более высокой точностью.
При этом в лаборатории пока отказываются говорить о том, как именно эти белки будут попадать в мозг. Можно предположить, что для доставки генетических элементов к нейронам будет использоваться метод генной терапии😳
Желаем ребятам удачи, будем следить за ними раз в год.
Если вам интересно узнать чуть больше — вот тут есть свежее интервью с одним из ко-фаундеров.
Компания будет являться прямым конкурентом Neuralink от Elon Musk, но ставка делается на кардинально другой подход, который потребует существенно меньше инвазивных процедур. Сейчас Neuralink сверлят в черепе дырку и устанавливают маленький имплант с электродами, погружённными в мозг на несколько миллиметров.
Такой чип охватывает лишь одну зону мозга, но в идеале сигнал нужно считывать из разных. Что же будут делать Merge Labs?
Основатели сообщили, что на первом этапе их исследования будут сосредоточены на использовании ультразвуковой технологии для отслеживания активности нейронов в сочетании с белками, способными усиливать нейронные сигналы.
Цель — доставить специальные белки в мозг и интегрировать их с нейронами. Использование свойств этих белков заставит нейроны генерировать более четкий сигнал для считывания ультразвуком.
Такие белки называются молекулярные репортеры, они "сообщают" о действиях клетки таким образом, что ультразвук может зафиксировать сигнал с гораздо более высокой точностью.
При этом в лаборатории пока отказываются говорить о том, как именно эти белки будут попадать в мозг. Можно предположить, что для доставки генетических элементов к нейронам будет использоваться метод генной терапии
Желаем ребятам удачи, будем следить за ними раз в год.
Если вам интересно узнать чуть больше — вот тут есть свежее интервью с одним из ко-фаундеров.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33😱12❤9👎4🙏1
Media is too big
VIEW IN TELEGRAM
Нейропрожарка
Автор видео @peAilizm
Видео создавалось на конкурс, забугорный) Поэтому не на русском.
К сожалению, а может и к счастью,ролик ничего не получил и не занял. Но это же не повод положить его на полку и даже не попытаться узнать мнение о нем. Пусть и негативное, но желательно с конструктивной критикой. Будет полезно для дальнейшего роста.
Что использовалось для создания: для генераций изображений Сидрим в основном , для видеогенераций был в основном Клинг, так как ролик сделан примерно полгода назад. Вео и Сора тогда еще не котировались) Озвучка в Хедре)
Звуковые эффекты взяты с бесплатных платформ,коих сейчас много.
@cgevent
Автор видео @peAilizm
Видео создавалось на конкурс, забугорный) Поэтому не на русском.
К сожалению, а может и к счастью,ролик ничего не получил и не занял. Но это же не повод положить его на полку и даже не попытаться узнать мнение о нем. Пусть и негативное, но желательно с конструктивной критикой. Будет полезно для дальнейшего роста.
Что использовалось для создания: для генераций изображений Сидрим в основном , для видеогенераций был в основном Клинг, так как ролик сделан примерно полгода назад. Вео и Сора тогда еще не котировались) Озвучка в Хедре)
Звуковые эффекты взяты с бесплатных платформ,коих сейчас много.
@cgevent
👎63😁30👍12❤6🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Wan 2.6 Image to Video Flash
Пока только по первому кадру.
Длина до 15 секунд.
Можно грузить свое аудио\Генерация аудио тоже есть
Есть shot_type - один план или несколько в одном видео
Очень быстрый
https://fal.ai/models/wan/v2.6/image-to-video/flash
https://wavespeed.ai/models/alibaba/wan-2.6/image-to-video-flash
@cgevent
Пока только по первому кадру.
Длина до 15 секунд.
Можно грузить свое аудио\Генерация аудио тоже есть
Есть shot_type - один план или несколько в одном видео
Очень быстрый
https://fal.ai/models/wan/v2.6/image-to-video/flash
https://wavespeed.ai/models/alibaba/wan-2.6/image-to-video-flash
@cgevent
👍28👎7❤5😱1
This media is not supported in your browser
VIEW IN TELEGRAM
А ночью, пока никто не видит, я буду постить нейрослоп с котиками
Они же классные..
И утром стирать. И делать серьезное лицо.
@cgevent
Они же классные..
И утром стирать. И делать серьезное лицо.
@cgevent
3😁139❤99🔥17👍11👎11😱6
1🔥74👍15❤7
Для взрослых мальчиков
Radiance: Professional HDR Image Processing Suite for ComfyUI
Набор нод для Комфи для композа и работы с HDR
- ARRI LogC3/4, S-Log3, V-Log, ACEScct,
- 30+ camera sensor, 20+ film stock,
- 3D LUTs (.cube, .3dl),
- Industry Scopes - Histogram, Waveform, Vectorscope
-GPU Accelerated - 10-50x faster with CUDA
-Camera Simulation - White balance, lens effects, presets
-EXR/HDR Support - Full OpenEXR read/write
И для пользователей Нюка:
- Nuke-style viewer for industry-grade color grading.
https://github.com/fxtdstudios/radiance
@cgevent
Radiance: Professional HDR Image Processing Suite for ComfyUI
Набор нод для Комфи для композа и работы с HDR
- ARRI LogC3/4, S-Log3, V-Log, ACEScct,
- 30+ camera sensor, 20+ film stock,
- 3D LUTs (.cube, .3dl),
- Industry Scopes - Histogram, Waveform, Vectorscope
-GPU Accelerated - 10-50x faster with CUDA
-Camera Simulation - White balance, lens effects, presets
-EXR/HDR Support - Full OpenEXR read/write
И для пользователей Нюка:
- Nuke-style viewer for industry-grade color grading.
https://github.com/fxtdstudios/radiance
@cgevent
🔥29👍9
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Ну, за Нолана.
Принес вам позалипать мозгорвущие видосы.
Еще в прошлой жизни, когда все упарывались по фотореалистичным рендерам (рендерман, ментал рей), мне всегда был интересен NPR (non-photirealistic render) и всякие туны, штрихи.
И первые нейронки были прекрасны - они как бы "не сходились" к нормальной картинке, а выходили чуть за рамки привычного.
Вот и сейчас, когда все фетишизируют реалистичность, мне интересно воздействие картинкой на зрителя чистой формой, минуя содержание или историю.
Держите промпт:
<instructions> Input Variable: [INSERT CITY] System rules: Act as a Reality Warping Artist. Generate a city that folds at a sharp 90-degree angle. Forensic Analysis: The Icons: Identify wide landmarks that can bridge the fold. The Transit: Cars acting as the connection between the two planes. The Base Element: Asphalt or cobblestone. Geometry: The Shape: An "L" shape on a massive scale. The ground is flat, then hits a "wall" which is actually just more city running vertically up. Construction: The "Wall" is fully populated with roads and buildings. Kinetic Flow: The Transition: Cars drive flat, then drive up the vertical wall seamlessly. Perspective: Shot from the corner looking into the fold. Foundation: The Edge: The sides of the city drop off into an infinite void or blue sky. Lighting & Atmosphere: Style: Mathematical Surrealism. Lighting: Hard shadows cast by the vertical city onto the flat city. Output: 8k Resolution, Photorealistic. </instructions>
А инструкции, как подставить сюда другие города и их особенности найдете тут.
Попробуйте сами, начните с Грока, можно в Клинге, а потом уж и в Veo.
@cgevent
Принес вам позалипать мозгорвущие видосы.
Еще в прошлой жизни, когда все упарывались по фотореалистичным рендерам (рендерман, ментал рей), мне всегда был интересен NPR (non-photirealistic render) и всякие туны, штрихи.
И первые нейронки были прекрасны - они как бы "не сходились" к нормальной картинке, а выходили чуть за рамки привычного.
Вот и сейчас, когда все фетишизируют реалистичность, мне интересно воздействие картинкой на зрителя чистой формой, минуя содержание или историю.
Держите промпт:
<instructions> Input Variable: [INSERT CITY] System rules: Act as a Reality Warping Artist. Generate a city that folds at a sharp 90-degree angle. Forensic Analysis: The Icons: Identify wide landmarks that can bridge the fold. The Transit: Cars acting as the connection between the two planes. The Base Element: Asphalt or cobblestone. Geometry: The Shape: An "L" shape on a massive scale. The ground is flat, then hits a "wall" which is actually just more city running vertically up. Construction: The "Wall" is fully populated with roads and buildings. Kinetic Flow: The Transition: Cars drive flat, then drive up the vertical wall seamlessly. Perspective: Shot from the corner looking into the fold. Foundation: The Edge: The sides of the city drop off into an infinite void or blue sky. Lighting & Atmosphere: Style: Mathematical Surrealism. Lighting: Hard shadows cast by the vertical city onto the flat city. Output: 8k Resolution, Photorealistic. </instructions>
А инструкции, как подставить сюда другие города и их особенности найдете тут.
Попробуйте сами, начните с Грока, можно в Клинге, а потом уж и в Veo.
@cgevent
4👍62🔥18❤10😁4👎2😱1
Media is too big
VIEW IN TELEGRAM
Нейропрожарка
Автор: Юрий AI Being
Ролик состоит из двух частей.
1️⃣ Первая часть — презентация персонажа. Я старался раскрыть его характер и манеру держаться. К производству подошёл подготовленным как смог: сделал разбивку на реплики, продумал ракурсы для монтажа, отрендерил всё в банане. Для эмоций персонажа подготовил отдельные чарты. Подготовка заняла ощутимую долю времени, но позволила КРАТНО сократить количество генераций и приблизиться к нужному результату максимально точно, хотя итог процентов на 20 и отличается от сториборда.
❗️ Обилие длинных, «от и до» сгенерированных планов c репликами дало гибкость на монтаже и позволило удобно собирать фразы и манипулировать липсинком (я не использовал нейронки чтоб озвучить статичную голову, весь липсинк был взят из генераций самих сцен).
В итоге процесс прошёл комфортно.
2️⃣ Вторая часть — короткая заставка, предваряющая гипотетический мультфильм.
Начинал я работу именно с неё. Изначально я замахнулся на полноценный мини-мультфильм с сюжетом, но переоценил свои силы, не уделил должного внимания качеству и слабо проработал сценарий. :( По-хорошему, всё нужно было переделывать с нуля — а к этому я был не готов (объективно бы не нашёл в себе силы), но материал (генерации) явно имел потенциал и просился в работу. Поэтому я переосмыслил концепцию.
🎧 В Tunee создал фоновую музыку, и как только она легла на монтаж, стало понятно: нужно ускорять и резать гены, синхронизировать изображение с музыкой — и получится лёгкая, милая заставка, бодрая, динамичная и весёленькая. Так и вышло. А качество подтянул топазом.. как смог.
💬 Липсинк (первая часть) — для озвучки использовал бесплатные токены ElevenLabs, порадовала модель Eleven 3 ALPHA, функции Voice Remixing и Voice Design. Где-то был text-to-speech, где-то speech-to-speech на базе уже существующего материала. В ряде случаев приходилось добавлять «лишнюю» озвучку, если персонаж между репликами делал ненужные движения губами из-за кривизны генераций. Всё компоновал на монтаже.
В итоге, на мой взгляд, как липсинк, так озвучка получились очень натуральными, выразительными и довольно качественными — и именно это доставило мне особое удовлетворение.
🧰 В работе использовались:
Banana Pro – (в чате с гемини по подписке google pro) все генерации стартовых кадров и проработка персонажа
Chat GPT – (бесплатный тариф) финальный титр (логотип с названием мультика «Тяжёлая смена») никто лучше ГПТ не умеет это делать, на мой взгляд
Grok - (два бесплатных аккаунта) отмечу, что на создание первой части ролика (презентация персонажа) хватило генераций дневного бесплатного запаса, так как было точно ясно что нужно. Раз, раз.. и готово.
VEO – токенов 100-200 в Google Flow .. или около того, но я не уверен, что в нём был смысл, ощущение сложилось такое, что с VEO нужно было бороться, а с Grok сразу получилось танцевать, а не сражаться
Tunee – (бесплатный тариф) сделал два фоновых музыкальных оформления с первого раза, но я точно знал, на что эта сетка способна и промтил точно то, что хотел
Topaz (локальный) – (бесплатно) вторая часть ролика, я не думал, что работа будет большой и не уследил за качеством.. и потому добирал его постобработкой, как мог
ElevenLаbs – (бесплатные токены) озвучка
PS – правки деталей генераций, закрашивание логотипа бананы и прочее..
CapCut - монтаж
⏳ Если кому-то интересно про время:
На всё про всё ушло около 24 часов, т.е. три рабочие смены. Но львиная доля времени ушла на вторую часть ролика, которая не имела сценария и по сути это была «игра в песочнице» до тех пор, пока я не увидел ясно то, что буду делать. Мне кажется, что при нормальном подходе, наличии скрипта и раскадра тут чистой работы часов на 12-16.
Если есть какие-то вопросы любого толка, отвечу тут или в личку ( @Swordsandspears ), не стесняйтесь, пишите.
@cgevent
Автор: Юрий AI Being
Ролик состоит из двух частей.
В итоге процесс прошёл комфортно.
Начинал я работу именно с неё. Изначально я замахнулся на полноценный мини-мультфильм с сюжетом, но переоценил свои силы, не уделил должного внимания качеству и слабо проработал сценарий. :( По-хорошему, всё нужно было переделывать с нуля — а к этому я был не готов (объективно бы не нашёл в себе силы), но материал (генерации) явно имел потенциал и просился в работу. Поэтому я переосмыслил концепцию.
В итоге, на мой взгляд, как липсинк, так озвучка получились очень натуральными, выразительными и довольно качественными — и именно это доставило мне особое удовлетворение.
🧰 В работе использовались:
Banana Pro – (в чате с гемини по подписке google pro) все генерации стартовых кадров и проработка персонажа
Chat GPT – (бесплатный тариф) финальный титр (логотип с названием мультика «Тяжёлая смена») никто лучше ГПТ не умеет это делать, на мой взгляд
Grok - (два бесплатных аккаунта) отмечу, что на создание первой части ролика (презентация персонажа) хватило генераций дневного бесплатного запаса, так как было точно ясно что нужно. Раз, раз.. и готово.
VEO – токенов 100-200 в Google Flow .. или около того, но я не уверен, что в нём был смысл, ощущение сложилось такое, что с VEO нужно было бороться, а с Grok сразу получилось танцевать, а не сражаться
Tunee – (бесплатный тариф) сделал два фоновых музыкальных оформления с первого раза, но я точно знал, на что эта сетка способна и промтил точно то, что хотел
Topaz (локальный) – (бесплатно) вторая часть ролика, я не думал, что работа будет большой и не уследил за качеством.. и потому добирал его постобработкой, как мог
ElevenLаbs – (бесплатные токены) озвучка
PS – правки деталей генераций, закрашивание логотипа бананы и прочее..
CapCut - монтаж
На всё про всё ушло около 24 часов, т.е. три рабочие смены. Но львиная доля времени ушла на вторую часть ролика, которая не имела сценария и по сути это была «игра в песочнице» до тех пор, пока я не увидел ясно то, что буду делать. Мне кажется, что при нормальном подходе, наличии скрипта и раскадра тут чистой работы часов на 12-16.
Если есть какие-то вопросы любого толка, отвечу тут или в личку ( @Swordsandspears ), не стесняйтесь, пишите.
@cgevent
Please open Telegram to view this post
VIEW IN TELEGRAM
👍60👎24❤6🔥3😁1
Инструменты для деплоя DL-моделей
DL-инженеру уже недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. В этот четверг на открытой онлайн-лекции команда DeepSchool покажет, как выглядит путь модели после обучения!
На лекции вы узнаете:
- когда стоит использовать Jupyter-ноутбуки, а когда нет
- как подготовить репозиторий моделинга
- варианты конвертации модели
- как обернуть инференс в http-приложение
- чем помогает Model Serving
- как деплоят приложения и автоматизируют этот процесс
А в конце представят курс «DLOps». Это программа про то, как ML/DL-инженеру писать поддерживаемый код вне Jupyter-ноутбуков, оборачивать модели в сервисы, версионировать эксперименты и данные, настраивать CI/CD и автоматизировать рутину.
Если оставите заявку до 18 января, то сможете присоединиться со скидкой 20%!🔥
🙋♂️Спикеры лекции:
— Дмитрий Раков — руководитель ML в НИИАС, делает perception-алгоритмы для беспилотных поездов
— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay
⏰Дата и время: 22 января, чт, 18:00 МСК
Регистрируйтесь по ссылке и приходите в четверг вечером!
DL-инженеру уже недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. В этот четверг на открытой онлайн-лекции команда DeepSchool покажет, как выглядит путь модели после обучения!
На лекции вы узнаете:
- когда стоит использовать Jupyter-ноутбуки, а когда нет
- как подготовить репозиторий моделинга
- варианты конвертации модели
- как обернуть инференс в http-приложение
- чем помогает Model Serving
- как деплоят приложения и автоматизируют этот процесс
А в конце представят курс «DLOps». Это программа про то, как ML/DL-инженеру писать поддерживаемый код вне Jupyter-ноутбуков, оборачивать модели в сервисы, версионировать эксперименты и данные, настраивать CI/CD и автоматизировать рутину.
Если оставите заявку до 18 января, то сможете присоединиться со скидкой 20%!🔥
🙋♂️Спикеры лекции:
— Дмитрий Раков — руководитель ML в НИИАС, делает perception-алгоритмы для беспилотных поездов
— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay
⏰Дата и время: 22 января, чт, 18:00 МСК
Регистрируйтесь по ссылке и приходите в четверг вечером!
👎12😁2❤1👍1
This media is not supported in your browser
VIEW IN TELEGRAM
HeartMuLa: A Family of Open Sourced Music Foundation Models
Тут у нас новый опенсорсный генератор музики.
И знаете, что они пишут у себя в Гитхабе?
"Наша последняя внутренняя версия HeartMuLa-7B достигает сопоставимой с Suno производительности с точки зрения музыкальности, точности воспроизведения и управляемости."
Наглецы, конечно.
Они как-то быстро убрали ссылку на демо, поэтому придется ставить самим, чтобы вывести их на чистую воду.
Благо для этого уже собрали Комфи ноду:
https://github.com/benjiyaya/HeartMuLa_ComfyUI
А сам код и ссылки на веса и разные приблуды для работы с лирикой находятся тут:
https://github.com/HeartMuLa/heartlib
А вот сравнить их с Суно (4.5) и разными позабытыми названиями типа: YUE, DiffRhythm2, Mureka V7.6, ACE-Step можно тут:
https://heartmula.github.io/
Я скептичен...
@cgevent
Тут у нас новый опенсорсный генератор музики.
И знаете, что они пишут у себя в Гитхабе?
"Наша последняя внутренняя версия HeartMuLa-7B достигает сопоставимой с Suno производительности с точки зрения музыкальности, точности воспроизведения и управляемости."
Наглецы, конечно.
Они как-то быстро убрали ссылку на демо, поэтому придется ставить самим, чтобы вывести их на чистую воду.
Благо для этого уже собрали Комфи ноду:
https://github.com/benjiyaya/HeartMuLa_ComfyUI
А сам код и ссылки на веса и разные приблуды для работы с лирикой находятся тут:
https://github.com/HeartMuLa/heartlib
А вот сравнить их с Суно (4.5) и разными позабытыми названиями типа: YUE, DiffRhythm2, Mureka V7.6, ACE-Step можно тут:
https://heartmula.github.io/
Я скептичен...
@cgevent
👍9😁5👎2❤1
Принес вам три обновленных MCP для Блендора, Юнити и Унриала
Залипательно наблюдать, как новые нормальные моделлеры покрикивают в монитор.
https://github.com/ahujasid/blender-mcp
https://github.com/CoplayDev/unity-mcp
https://github.com/ChiR24/Unreal_mcp
@cgevent
Залипательно наблюдать, как новые нормальные моделлеры покрикивают в монитор.
https://github.com/ahujasid/blender-mcp
https://github.com/CoplayDev/unity-mcp
https://github.com/ChiR24/Unreal_mcp
@cgevent
🔥30👎4❤2😁2😱2