Попробовал на выходных ComfyUI 🛋, несколько моделей для генерации картинок и видео из промпта. Особенно впечатлила модель wan2.2, при помощи которой я оживил 3 фото:

1️⃣ экскурсия на заводе БалАЗ (2025 год) 🏭, где машина превращается в Оптимуса Прайма 🤖
2️⃣ выход из гипсовых штолен в Камском Устье (2024 год) ⛏️, здесь нас ждет инопланетное вторжение 👽
3️⃣ прогулка по тем же штольням, но за нами уже следует чужой 🕵️‍♂️

🚀 Все это генерировалось быстро НА ЛОКАЛЬНОМ СЕРВЕРЕ, без облаков! Причем, это первый мой опыт генерации видео 🎥

⚠️Сначала генерировал на Tesla V100 + 16 ГБ ОЗУ, через несколько часов и несколько OOM поставил RTX 3090 + 64 ГБ ОЗУ, и этого вполне хватило. Собираю второй сервер для генерации картинок/видео.

⏳ Первое видео генерировалось примерно 250‑300 секунд. Последнее за ~550с

🐏 Скорость получения пользовательского опыта зависит от скорости генерации видео, поэтому, чтобы быстрее понять, как нужно работать с моделью, нужно ставить минимальное разрешение – мне хватило 240×240. Так генерация будет быстрее и вы сможете получить обратную связь на ваш промпт, а после того как в маленьком разрешении получите ожидаемый результат, можно переключиться на большее разрешение и подождать завершения генерации.

🦧 Провозился целый день и понял, что модели не поддерживают промпты с последовательным сценарием, как минимум те, что разворачиваются локально. Нужны простые действия на сцену/воркфлоу 🛠, а затем из последнего кадра сцены генерировать другое видео 🎞 и сшивать.

Надо дальше изучать построение воркфлоу в ComfyUI, тема заинтересовала 🤩

Нагенерировал контента для статьи, по ссылке есть промпты, чтобы повторить результат самостоятельно.

🎉 Прошел почти месяц и на удивление видео про сборку из 3-х RTX 3090 на майнерской плате для локального ИИ набрало почти 40к просмотров, более 400 комментариев и ~1.4к лайков. Спасибо всем кто оценил 🙏
Кто еще не успел посмотреть - заходите, посмотрите)
😆 Комментарии забавные, почитайте))

👉 А свою статью на хабре Локальный ИИ: майнинг плата + 3 RTX 3090 я отправил на конкурс Технотекст8.

👨‍💻 Тем временем я провожу новый эксперимент: что можно выжать для локального ИИ на CPU, а именно на am4 и на threadripper.
Не совсем only CPU, скорее смешанный инференс на CPU + доступная для большинства GPU Tesla V100, чтобы была приемлемая скорость инференса для персонального использования. По ценам пытаюсь вместиться в народную сборку чтобы каждый мог у себя такое разместить. Результатами поделюсь позже.

Я долго зрел и наконец созрел)) Новостей много, пройдемся кратко, а в следующих постах постараюсь больше деталей. Начнем с моего основного фокуса, из-за которого я долго не писал, и это работа)

👨‍💻 Последние полгода на работе были достаточно ... потрясающими. Уже как ~1,5 года я занимаю позицию тимлида команды DevOps на текущем месте работы. За это время мы с командой добились колоссальных успехов и произвели реформу нашей работы (наладили дежурства / улучшили процессы и для инженеров и для бизнеса / собрали команду). Детали позже.
Однако, я решил уйти с этой позиции в роль инженера в этой же команде DevOps, в связи с культурными особенностями. Это было неудобное и трудное решение лично для меня, но именно так и должен поступать управленец - уметь принимать сложные решения в моменты неопределенности, когда простое ожидание перестает быть эффективным. Я приобрел драгоценный опыт, о котором расскажу позже.

А теперь мое любимое: эксперименты и с ИИ и железо))

👨‍🔬 Закончил тесты локального ИИ на бюджетных решениях (материнские платы + процессоры + самые дешевые видеокарты). Спойлер: есть там жизнь, статью уже пишу.
Прикрепляю график результатов теста модели gpt-oss-120b, на нем видно какой профит дает добавление видеокарт в смешанный инференс на CPU + GPU.

🏭 Пересобрал свой стенд для локального ИИ на каркас для майнинга и заменил материнскую плата на Asus ROG STRIX X399-E GAMING + AMD Ryzen Threadripper 2920X. Видеокарты подключил через Oculink'и. Скорость инференса выросла до 150т/с на gpt-oss-120b. Видео прикрепляю.
А после того как грянул гром двух спаленных проводов купил нормальный блок питания SUPER FLOWER Leadex VII Gold 2200W 80+ Titanium.
Райзеры уже едут, а на выходных буду менять термоинтерфейсы на двух видеокартах.

👾 Осваиваю вайбкодинг Harness AI, на данный момент использую Open Code (пробовал Kilo Code, Claude Code, Qwen Code, Codex) с локальной моделью Gemma4-31B-it (недавний релиз). На удивление эта маленькая, но плотная модель хорошо справляется как с программированием, так и с анализом. Постепенно слезаю с GPT 5.2 Chat в пользу локальной Gemma.

🎥 А тем временем видео
Сборка домашней ИИ лаборатории на базе дешевых комплектующих для майнинга наборало уже ~65к просмотров и более 2к лайков, подписчиков на канале в 2 раза больше чем здесь в ТГ. Удивительно как все может перевернуться))
Видимо действительно актуальная тема.

👾 На выходных навайбкодил попрактиковался в программировании через агентские фреймворки ИИ - сделал просмотрщик карт из Counter Strike 1.6 на C++ & OpenGL 4.6 под Linux.

👨‍💻 Все это делалось на установке из 4-ех RTX 3090 (ti) на модели gemma-4-31b-it под управлением vllm через агентский фреймворк Opencode.

👨‍🔬 Организовать правильную работу получилось только с третьего раза, одно дело описать то что нужно сделать, другое дело разработать схему взаимодействия. Последнее до сих пор довожу до ума, когда возникают проблемы с моделью.

🙈 Кроме того, у меня есть опыт разработки подобных продуктов (около 8-ми лет вел эту разработку без всяких ИИ и курсов), а умение гуглить спецификации и документацию оказало существенное ускорение для работы модели.

👻 В итоге это вышло очень занимательно и интересно, даже интереснее чем раздавать хеды на рандомных серверах))

📊 Прикрепляю графики со статистикой, здесь ttft, prefill / decode, KV и попадание в кэш.

⁉ Интересно посмотреть видео с процессом разработки?