🏭 Купил еще 2 видеокарты:
- Gigebyte RTX 3090 Gaming OC 24gb (первый скрин)
- Tesla V100 16gb в кастомном корпусе (четвертый скрин)

💶 Карта от Gigabyte оказалась примерно аналогичной по производительности для инференса что и Asus Rog Strix, но более компактная и менее прожорливая, апгрейд CPU покажет более точные результаты. Пока картой доволен, если предположения подтвердятся то карта от Gigabyte будет самым рациональным вариантом для домашнего инференса: тихая и экономная, хотя в этом рейтинге она занимает аж 6 место, в отличии от первенства Asus Rog Strix.

🕹 Tesla V100 16gb по габаритам меньше, но тяжелее на 100г, сверху есть цифровой датчик температуры, а при нагрузке турбина начинает сильно гудеть. В инференсе конечно же эта карта проигрывает RTX 3090 примерно на 10%. Взял потому что мне было интересно что эта за штука такая, теперь буду на ней запускать маленькие модели на другом сервере.

🦄 Кстати, удалось запустить gpt-oss-120b на 2 RTX 3090 + Tesla V100 16gb, только с маленьким контекстом в 4096 (может и больше получится, не проверял), а в полном контексте 128к загрузка модели на видеокарты фэйлится - видеопамяти не хватает, можно попробовать что-то оставлять на CPU.

🚚 Минимально укомплектовал свой стенд для работы с ИИ (второй скрин): 3 RTX 3090 на которых крутится инференс для gpt-oss-120b со скоростью ~100т/с.
Для полного питания всех карт не хватает PCIE проводов, поэтому каждая карта может работать максимум на 250ватт, иначе полный отвал карты с дальнейшей ручной перезагрузкой. Энергопотребление ограничил так (с автоматизацией через systemd):

nvidia-smi -pl 250

🎢 На одном из фото видно где я вставил в стенд все видеокарты что у меня есть (кроме CMP 40HX) и запитал блоком питания True Miner на 1800ватт, все завелось и работало нормально, но шум от БП мешает.

Дальше для апгрейда:
✔️ CPU, потому что двухядерный Celeron здесь явно узкое место, нужно подобрать что-то из Intel Core 11 поколения
✔️ блок питания, пока присмотрел Azerty 1200w, есть позитивный опыт эксплуатации
✔️ возможно потребуются угловые PCIE коннекторы типа таких

🚀 Первоначальная загрузка модели на видеокарты занимала ~4 минуты, точнее запуск сервера llamacpp. Подключил NVMe диск через PCIE-переходник (m2-слот отказался работать на плате) удалось ускорить запуск сервера до ~2 минут 30 секунд. Очень надеюсь что замена CPU сократит это время еще больше и увеличит скорость инференса.

🙈 Tesla P40 высвободилась, теперь ей и Tesla V100 16gb (итого 40гб видеопамяти) (последний скрин) нужно будет найти применение 👀

Попробовал на выходных ComfyUI 🛋, несколько моделей для генерации картинок и видео из промпта. Особенно впечатлила модель wan2.2, при помощи которой я оживил 3 фото:

1️⃣ экскурсия на заводе БалАЗ (2025 год) 🏭, где машина превращается в Оптимуса Прайма 🤖
2️⃣ выход из гипсовых штолен в Камском Устье (2024 год) ⛏️, здесь нас ждет инопланетное вторжение 👽
3️⃣ прогулка по тем же штольням, но за нами уже следует чужой 🕵️‍♂️

🚀 Все это генерировалось быстро НА ЛОКАЛЬНОМ СЕРВЕРЕ, без облаков! Причем, это первый мой опыт генерации видео 🎥

⚠️Сначала генерировал на Tesla V100 + 16 ГБ ОЗУ, через несколько часов и несколько OOM поставил RTX 3090 + 64 ГБ ОЗУ, и этого вполне хватило. Собираю второй сервер для генерации картинок/видео.

⏳ Первое видео генерировалось примерно 250‑300 секунд. Последнее за ~550с

🐏 Скорость получения пользовательского опыта зависит от скорости генерации видео, поэтому, чтобы быстрее понять, как нужно работать с моделью, нужно ставить минимальное разрешение – мне хватило 240×240. Так генерация будет быстрее и вы сможете получить обратную связь на ваш промпт, а после того как в маленьком разрешении получите ожидаемый результат, можно переключиться на большее разрешение и подождать завершения генерации.

🦧 Провозился целый день и понял, что модели не поддерживают промпты с последовательным сценарием, как минимум те, что разворачиваются локально. Нужны простые действия на сцену/воркфлоу 🛠, а затем из последнего кадра сцены генерировать другое видео 🎞 и сшивать.

Надо дальше изучать построение воркфлоу в ComfyUI, тема заинтересовала 🤩

Нагенерировал контента для статьи, по ссылке есть промпты, чтобы повторить результат самостоятельно.