Приехали запчасти для моего GPU-сервера, буду вечером пробовать произвести монтаж, а потом уже можно будет в полную силу на нем начать нейросеточки гонять.

#server

Подключил радиаторы, пересадил видеокарту на укороченный райзер, теперь эта странная конструкция похожа на сервер. Далее надо попробовать все это добро включить и сделать замеры температуры.

PS. Самое сложное было с металлическими прищепками по краям платформы куда крепится радиатор, все пальцы ободрал пока подключил :)

PPS. Комплект куллер+радиатор называется Снеговик M-T4, примечателен он тем, что там есть платформочка под Narrow ILM крепёж для сокета 2011.

PPPS. Первая версия сборки тут (несколько фотографий).

#server

Всем привет! Набросал тут лонгрид, но решил побить его на части, чтобы проще было читать, ну так вот.

Пару дней возился с моей новёхонькой видеокартой Intel Arc A770 (16Гб), многое читал и потому многое узнал об инфраструктуре Intel и про то, что нужны свежие ядра Linux (от 6.12 включительно и выше) чтобы свежие драйверы работали корректно, и про то что есть разные бренчи (Client, Data Center и FPGA) и вариации (LTS и Rolling) у этих драйверов, а ещё что драйверы под Ubuntu Devel прекрасно работают на Debian Trixie, и про Intel oneAPI подсистему.

Благо в Intel похоже работают скучные и педантичные инженеры типа меня, которые не чураются написанием документации посему разобраться с большинством проблем не составляет особого труда, всё уже разжевано и разложено по полочкам до нас, даже в некотором смысле скучно.

Но без сложности конечно же не обошлось, всё началось когда я наконец подготовил операционную систему и пошёл по тропинке машинного лёрнингизма, собственно и эту карточку для только для ML и брал, а если точнее то для Whisper.

#server #intel

Чтобы запустить в Docker-контейнере на этой видеокарте проект whisper.cpp пришлось реально попотеть, изначально пробовал сделать шептуна используя от эту инструкцию, но ничего не получалось, да и неактуальна она в отдельных местах, пошёл гуглить и нашёл пример Dockerfile, который сам по себе хоть и мало мне помог, но показал что есть официальные FROM образы от Intel на Docker Hub.

Пошёл смотреть и в этот момент предо мной разверзлись океанические бездны, оказалось у Intel есть неймспейс intel с целой россыпью разных платформ для решения ML задач в Docker, а для тех кому сложно/скучно разбираться с базовыми контейнерами есть неймспейс intelanalytics с интеграциями различных популярных проектов (к сожалению многие контейнеры тут весят от 6 до 8Гб, так что для прода такое себе).

Отдельно отмечу контейнер intel/oneapi-basekit (весит почти 4Гб) который оказался самым полезный под мои задачи, он содержит в себе всё необходимое для компиляции приложений использующих видеокарты от Intel, его ближайший аналог это контейнер nvidia/cuda с тегом devel, собственно в бейскит я и решил реализовать сборку контейнера whisper.cpp.

#server #intel

И вот когда мне наконец удалось скомпилировать whisper-server из исходников (тег v1.7.4) испытание запуском показало краш, начал перебирать модели, оказалось, что без проблем запускаются только модели Whisper до base включительно (в смысле tiny, small и base)

Нюанс в том, что всё что выше запускаться отказывалось, бинарник крашился со странной ошибкой Bus error (core dumped) гуглёж которой ничего толкового не показал, благо в чате мне подсказали почитать док EnvironmentVariables, а в частности про:

SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS

Оказалось, что если у этой переменной положение не 0 (а оно как-раз 1 по умолчанию на Linux) то загрузка весов модели происходит батчами, что и приводит к ошибке.

Финальный вариант Dockerfile.intel можно найти в моём репозитории docker-whisper-server, а вот для сравнения версия Dockerfile под CUDA, как видно отличия минимальны, а пример docker-compose.yml я добавил в README проекта.

UPD. Далее буду пробовать всякие разные сравнительные тесты железки супротив RTX 3050, которая находится на том же сервере, результатами тестов поделюсь отдельно.

#server #intel

Сегодня ко мне приехала вторая Intel Arc A770 на 16Гб, так что я скоро смогу попробовать запустить распределенное обучение через impruver.

Планирую поставить её в сервер gpu01, на нем сейчас Nvidia 3050 и Intel A770, думаю снять 3050 и поставить в gpu02 к 4090 помощницей, а на gpu01 будет две A770.

В общем вечером будет чем заняться.

#server #intel

Решил на днях увеличить количество доступной постоянной памяти для локальных моделей на gpu01.

У меня как-раз был незадействованный nvme на 512гб, только вот без адаптера в сервер его не поставить, так что пару дней сидел выбирал адаптер, и тут вспомнил, что у меня уже есть такой на антресолях.

Полез, достал, собрал, пойду поставлю.

#server

Поставил плашку с NVME в материнку (зеленая лампочка справа снизу) и между делом докинул пару вентиляторов корпусных на 120мм, через реобас подтюнил скорость вращения чтобы не шумело и теперь полезу ставить эту коробку на антресоль.

А на следующей неделе запущу на нем один публичный проект, о чем отдельно сообщу.

#server

После нескольких дней размышлений о компактности и эффективности охлаждения, принял решение заменить кулеры Снеговик M-T4 на систему жидкостного охлаждения ExeGate BlackWater-120. Причина? Высота радиаторов из комплекта Снеговика, несмотря на их достойные характеристики, они стали проблемой для установки дополнительных видеокарт в сервер gpu01.

Выбор пал на односекционную СЖО BlackWater-120, которая, по заявлениям производителя, способна справляться с процессорами до 150 ватт TDP, чего для моих трудяг, паре Intel Xeon E5-2690 v2 с TDP в 130 ватт - как-раз должно быть впору.

Ну и как не сложно догадаться, освободившееся пространство позволит поселить в сервер новых видеожильцов, но об этом в другой раз расскажу, а пока что полез на антресоль, снимать сервер чтобы поставить новый охлад, фоточки пришлю позже.

#server

Собрал сервер на стенде, в процессе запуска оказалось что он не включается, отпубил всю переферию, не включается, поменял диэлектрик не включается, ослабил контакт радиатора с процессором, нет эффекта.

Решил размышлять логически, чем отличалась минимальная сборка прошлого сервера от текущего, пришел к выводу что разница была в питании процессора, взял другой провод из резерва, включаю, работает.

Дальше накинул видеокарты (арки 770е), запустил установку дебиан и в целом все ок было, пока не запустил ollama…

#server

Само собой перед запуском ollama поставил все драйверы по инструкции, установил docker и запустил контейнер, вроде всё ок, но ollama крашилась в момент запуска любой модели с ошибкой:

terminate called after throwing an instance of 'sycl::_V1::exception'
  what():  No device of requested type available. Please check https://software.intel.com/content/www/us/en/develop/articles/intel-oneapi-dpcpp-system-requirements.html
Aborted (core dumped)

Пошёл в логи dmesg читать, вижу там моего старого знакомого:

[    5.927329] i915 0000:c6:00.0: [drm] Failed to resize BAR2 to 16384M (-ENOSPC)

Это, как вы возможно уже догадались, наш любимый и родной Resizable BAR который с какого-то фигу всегда и везде отключен и без которого видеокарты intel и некоторые древние nvidia не работают нормально.

Пошёл гуглить биос для матери, нашёл 1.8 на сайте, сравнил с моим, у меня был зашит 1.3, а в нём в настройках чипсета опции включения rebar не оказалось, дальше дело техники, скачал rufus, прожег uefi-ntfs флешку, закинул файлы биоса, прошил, ребутаюсь и вуаля, могу включить rebar, что я и сделал.

После рестарта ollama отработала qwen3 на моём арке, так что на этой истории наконец таки можно поставить точку.

PS. Отдельно хочу отметить IPMI идущий в комплекте с матерью, он позволяет через сеть прокидывать ISO образы, имеет нормальный KVM, поддерживает авторизацию, имеет сенсоры и много чего ещё, короче на голов превосходит ту тормозную гадость времён раннего палеолита которую обычно ставят на Supermicro и прочие серверы.

#server

Занятный факт, 5060 ti почти на треть меньше a770 и имеет всего один порт подключения питания.

#server