Дорогие подписчицы и читательницы, мои поздравления!

Кувин, A. "Свидание" (1956, via avva). Ежегодному арт-челленджу конца не будет.

NVIDIA Linux Open GPU Kernel Module

Звучит почти невероятно, но это случилось. MIT/GPL лицензия.

Текущая бета "production ready, opt-in" для модельного ряда ускорителей для ДЦ. Драйвер для GeForce пока в состоянии "alpha", но утверждается, что теперь это официальная ветка разработки для будущих версий. Драйвер будет разрабатываться out-of-tree, т.е. вне ядра, до полной стабилизации API/ABI, затем, вероятно, начнется работа по мерджу ядра в апстрим.

User-space библиотеки для OpenGL, Vulkan, OpenCL, CUDA остаются закрытыми. Однако данный открытый драйвер уже имеет поддержку DMA-BUF, чего нет в текущем проприетарном.

Official / Github / Phoronix / Reddit / HackerNews / Christian Schaller

Microbenchmarks

Прекрасное и пока еще малоизвестное:
https://github.com/clamchowder/Microbenchmarks
https://github.com/clamchowder/MicrobenchmarksGui

— свободный, бесплатный, кроссплатформенный набор system hardware benchmarking утилит (CPU/RAM/GPU) для инженеров. По сути это прямая альтернатива проприетарному AIDA64 на Windows, но с гораздо более гибкими настройками и точными числами.

Animation vs. Math
https://www.youtube.com/watch?v=B1J6Ou4q8vE

Animation vs. Physics
https://www.youtube.com/watch?v=ErMSHiQRnc8

Охренительного качества мультфильмы.

Демо "Remnants" от Alcatraz

Демосцена жива, пока выходят такие шедевры. Всё еще 256 байт (7z-архив).

scp (протокол) официально устаревший и небезопасный

Среди моих собеседников (из последних прочел пост у Олега) удивительно мало людей слышали о том, что scp официально считается устаревшим и небезопасным протоколом. Для передачи файлов рекомендуется использовать современные sftp и rsync (лично я предпочитаю последний).

Источник: https://lists.mindrot.org/pipermail/openssh-unix-dev/2019-March/037672.html

Edit: в комментариях уточнение, что с версии 9.0 утилита scp по умолчанию использует безопасный протокол sftp. Небезопасный протокол scp/rpc доступен за флагом -O для обратной совместимости — проверяйте свои скрипты.

Explicit synchronization стек на Linux

Новый протокол explicit synchronization для линукса на базе синхронизации DRM объектов — сегодня стал реальностью для пользователей видеокарт от Nvidia. Для контекста почему и кому это важно рекомендую следующие ссылки:

• Bridging the synchronization gap on Linux (2022)
• Ensuring steady frame rates with GPU-intensive clients (2023)
• Explicit sync (2024)

Ожидается существенно более стабильный fps в играх; меньший лаг; должно пропасть мерцание в Steam Store (Issue# 10313) с Nvidia; Gamescope на Wayland должен начать лучше работать с Nvidia видеокартами.

Ниже список имплементаций данного протокола в примечательных, на мое мнение, проектах (из моего обсидиана):

• ✅ AMDGPU: [amdgpu: Allow explicitly synchronized submissions (PATCH 6/6)] (merged где-то в 2022?)
• ✅ Wayland protocols: [wayland/wayland-protocols!90] "linux-drm-syncobj-v1: new protocol" (merged on 20.03.2024); Phoronix
• ✅ Mesa: [mesa/mesa!25709] "wsi: Implement explicit sync for Wayland" (merged on 02.04.2024); Phoronix
• ✅ gamescope: [ValveSoftware/gamescope!1203] "Support for explicit sync" (merged on 27.03.2024)
• ✅ GNOME: [gnome/mutter!3300] "Implement linux-drm-syncobj-v1" (merged on 28.03.2024); Phoronix
• ✅ KDE: [plasma/kwin!4693] "wayland: implement linux-drm-syncobj-v1" (merged on 11.04.2024)
• ✅ Xorg/XWayland: [xorg/xserver!967] "Explicit GPU Synchronization for DRI3, Present, and Xwayland" (merged on 09.04.2024)
• ✅ Nvidia egl-wayland: [NVIDIA/egl-wayland!104] "Implement Explicit Sync" (merged on 20.03.2024)
• ✅ Nvidia driver: "NVIDIA will be shipping an explicit sync implementation in an upcoming driver release!" — source; released beta 555.42.02 on 21.05.2024; Phoronix
• ✅ Hyprland (aquamarin): [hyperwm/Hyprland!7151] (merged on 06.08.2024)
• ✅ wlroots (Sway): [wlroots/wlroots!4715] "Add support for explicit synchronization, take 3" (merged on 06.08.2024); ⚠️ [wlroots/wlroots#3881] "linux-drm-syncobj-v1: add fine-grained release points"
• ✅ Smithay (COSMIC): [Smithay/smithay!1356] "WIP linux-drm-syncobj-v1" (merged on 24.09.2024); [pop-os/cosmic-comp/!411] "Add linux-drm-syncobj-v1 protocol" (merged on 15.01.2025)

Жду поддержки под wlroots (я пользуюсь Sway upd: перехожу на Cosmic WM) и бенчмарков. А также драйвер Nvidia 650, где ожидается explicit sync для Vulkan WSI.

Open WebUI больше не FOSS

Вроде бы есть о чем писать сюда в канал, но пока не пишется. Одной из таких тем в планах было рассказать, какие локальные/приватные инструменты я использую с нейросетями.

Краеугольный камень моего стека — некогда прекрасный self-hosted LLM/GenAI-интерфейс Open WebUI. Он умеет: workspaces с эмбеддингом локальных документов (устоялось название Knowledge) для RAG'a; относительно сложные pipelines для интеграции сторонних API и сервисов, включая внешний RAG (например, обогащать промпт контекстом из live поисковой выдачи или конвертация URL из промпа в Markdown налету через JinaAI); исполнение кода (Python/Mermaid/JS) и рендеринг артефактов (HTML); интеграция с MCP и многое-многое другое.

За год активного использования я довольно сильно инвестировал в экосистему OWUI, оброс удобными лично мне конфигурациями, интеграциями, промптами, шорткатами. Единственным минусом, который меня беспокоил, был (непомерно) огромный размер образов и контейнеров в docker-стеке для, казалось бы, просто SvelteKit web-приложения с утилитами. Особенно, для кейса, когда вы отказываетесь от локальных моделей в пользу только сторонних OpenAI API-compatible сервисов — весь стек все равно занимает от пяти до десяти гигабайтов на диске.

И вот теперь они сменили лицензию с BSD-3 на свою частную Open WebUI License с CLA. Зачем так делать и куда мигрировать — абсолютно не понятно.

Обсуждение: Reddit/LocalLLaMA и HackerNews.

Existential moment

Вычислительное ядро для fp8 становится до 150 Тфлопс быстрее на оборудовании Nvidia, если имеет аффикс cutlass (от одноименной библиотеки самой Nvidia для линейных алгебраических вычислений).

Это не совпадение: строка захардкожена в ptxas (ассемблер для PTX) в виде логики strstr(kernel_name, "cutlass").

А как вы хотели? Путь к капитализации в четыре триллиона вымощен множеством трюков.

Euclyd CRAFTWERK

Первая серьезная заявка европейской полупроводниковой промышленности в области передового аппаратного AI compute. Нидерландский стартап Euclyd от бывшего CEO ASML, Федерико Фаджина и основателя Elastic — с впечатляющей производительностью и энергоэффективностью. Даже на фоне Groq и Cerebras. Пока только инференс, конечно, но надо с чего-то начинать. Проявляю осторожный оптимизм, выглядит солидно (на самом деле у меня сейчас вот такие глаза 🤩).

> At its core is the CRAFTWERK SiP (system-in-package), a palm-sized powerhouse featuring 16,384 custom SIMD processors delivering up to 8 PFLOPS (FP16) or 32 PFLOPS (FP4). Paired with 1 TB of custom ultra-bandwidth memory (UBM) offering a staggering 8,000 TB/s bandwidth

> CRAFTWERK powers Euclyd’s flagship rack-scale system, CRAFTWERK STATION CWS 32, which integrates 32 SiPs to deliver 1.024 exaflops of FP4 compute and 32 TB of UBM. In multi-user mode, CWS 32 is projected to achieve 7.68 million tokens per second at just 125 kW, representing a 100x improvement in power efficiency and cost per token over leading alternatives—based on modeled performance for Llama 4 Maverick.

Источник: https://euclyd.ai/euclyd-unveils-craftwerk-the-worlds-most-power-efficient-exascale-token-factory-for-agentic-ai/

Это в тени праздных, но не менее важных, новостей о том, что ASML инвестирует €1.3 млдр во французский Mistral AI.

> Arthur Mensch, Mistral’s chief executive, said that for both economic and strategic reasons, “it’s important for European companies not to have too much dependency on US technology”.