Нет войне! 🇺🇦

Мы начали активную архивацию онлайн сайтов исчезающих в самое ближайшее время. Это включает перезапуск нашего сайта Национального цифрового архива (ruarxive.org), запуск этого телеграм канала ruarxive и переход к архивации наиболее уязвимых и значимых сайтов.

Какие риски возникают и почему архивация важна?

Существует много рисков: технические сбои, взломы хакеров, санкции, ошибка администраторов, изъятие серверов и ликвидация организаций/проектов. Ключевые риски сейчас в ликвидации проектов и организаций. Например, ликвидируется Эхо Москвы, а Znak.com одномоментно закрыл сайт.

Наша позиция в том что должны сохранятся все цифровые ресурсы, вне зависимости от их политической, идеологической и иной направленности, подпадающие одновременно под два критерия: общественная значимость и высокая вероятность исчезновения.

Как происходит архивация?

Как только выясняется какой сайт/цифровой ресурс может исчезнуть, он вносится в план архивации, мы определяем как его можно архивировать, максимально оперативно запускаем архивацию техническими инструментами и заполняем его карточку. Сейчас мы умеем архивировать сайты, телеграм каналы, аккаунты в инстаграм и твиттер и, ограниченно в других социальных сетях.

После окончания выгрузки файлы загружаются в наше онлайн хранилище, в облако Backblaze и оффлайн хранилище на случай их недоступности.
Итоговые файлы могут достигать сотен гигабайт, в случае веб архивов они представлены в форматах warc.gz, специальном формате созданном для веб-архивации.

Где можно увидеть что уже заархивировано?

Списки сайтов последних архивационных кампаний можно увидеть в специальной таблице на сервисе Airtable. Там же приведены ссылки на сохранённые сайты в рамках предыдущих двух архивационных кампаний сайтов Роснано и сайтов Мемориала. Также доступны архивы за прошлые годы, общий список можно скачать в CSV формате.

Файлы в формате WARC можно открыть с помощью программы ReplayWeb.page оффлайн, остальные архивы можно открыть любым архиватором поддерживающим ZIP и GZ файлы.

Сайт уже исчез, что делать?

Связаться с его владельцами и попросить поделиться архивом или написать нам в @ruarxivechat и мы постараемся это сделать.
Иногда сайт частично можно восстановить из других источников, таких как Интернет-архив если он имеет большую значимость мы попробуем это сделать.

Какие ещё есть проекты в этой области?

В нашем архиве далеко не всё, мы стараемся максимально полно сохранять то что исчезает, но широта его охвата ограничена. Мы не можем сделать полную копию всех каналов в Телеграм или всех сайтов. Если Вы ищите архивы цифровых материалов то обратите внимание на такие ресурсы как Archive.org, Common Crawl и проекты ArchiveTeam.

Как помочь?

1. Финансовое пожертвование Инфокультуре - https://www.infoculture.ru/donation/. Средства идут на сервера и оплату облачного хранения.
2. Сообщить о том что сайт/ресурс может исчезнуть чтобы мы успели его сохранить. Можно написать в чат @ruarxivechat или заполнить форму
3. Передать архивы сайта/ресурса в случае если он ранее исчез.
4. Помочь с разработкой инструментов для архивации сложных ресурсов - VK, Facebook, каналы и чаты в WhatsApp, Viber и других. Есть много других технических задач, мы их собираем
5. Пожертвовав диски/системы хранения/компьютеры для оффлайн хранения и сбора данных.
6. Присоединяйтесь к обсуждениям в чате @ruarxivechat

#webarchives #digitalpreservation #archives

Дорогие подписчицы и читательницы, мои поздравления!

Кувин, A. "Свидание" (1956, via avva). Ежегодному арт-челленджу конца не будет.

NVIDIA Linux Open GPU Kernel Module

Звучит почти невероятно, но это случилось. MIT/GPL лицензия.

Текущая бета "production ready, opt-in" для модельного ряда ускорителей для ДЦ. Драйвер для GeForce пока в состоянии "alpha", но утверждается, что теперь это официальная ветка разработки для будущих версий. Драйвер будет разрабатываться out-of-tree, т.е. вне ядра, до полной стабилизации API/ABI, затем, вероятно, начнется работа по мерджу ядра в апстрим.

User-space библиотеки для OpenGL, Vulkan, OpenCL, CUDA остаются закрытыми. Однако данный открытый драйвер уже имеет поддержку DMA-BUF, чего нет в текущем проприетарном.

Official / Github / Phoronix / Reddit / HackerNews / Christian Schaller

Microbenchmarks

Прекрасное и пока еще малоизвестное:
https://github.com/clamchowder/Microbenchmarks
https://github.com/clamchowder/MicrobenchmarksGui

— свободный, бесплатный, кроссплатформенный набор system hardware benchmarking утилит (CPU/RAM/GPU) для инженеров. По сути это прямая альтернатива проприетарному AIDA64 на Windows, но с гораздо более гибкими настройками и точными числами.

Animation vs. Math
https://www.youtube.com/watch?v=B1J6Ou4q8vE

Animation vs. Physics
https://www.youtube.com/watch?v=ErMSHiQRnc8

Охренительного качества мультфильмы.

Демо "Remnants" от Alcatraz

Демосцена жива, пока выходят такие шедевры. Всё еще 256 байт (7z-архив).

scp (протокол) официально устаревший и небезопасный

Среди моих собеседников (из последних прочел пост у Олега) удивительно мало людей слышали о том, что scp официально считается устаревшим и небезопасным протоколом. Для передачи файлов рекомендуется использовать современные sftp и rsync (лично я предпочитаю последний).

Источник: https://lists.mindrot.org/pipermail/openssh-unix-dev/2019-March/037672.html

Edit: в комментариях уточнение, что с версии 9.0 утилита scp по умолчанию использует безопасный протокол sftp. Небезопасный протокол scp/rpc доступен за флагом -O для обратной совместимости — проверяйте свои скрипты.

Explicit synchronization стек на Linux

Новый протокол explicit synchronization для линукса на базе синхронизации DRM объектов — сегодня стал реальностью для пользователей видеокарт от Nvidia. Для контекста почему и кому это важно рекомендую следующие ссылки:

• Bridging the synchronization gap on Linux (2022)
• Ensuring steady frame rates with GPU-intensive clients (2023)
• Explicit sync (2024)

Ожидается существенно более стабильный fps в играх; меньший лаг; должно пропасть мерцание в Steam Store (Issue# 10313) с Nvidia; Gamescope на Wayland должен начать лучше работать с Nvidia видеокартами.

Ниже список имплементаций данного протокола в примечательных, на мое мнение, проектах (из моего обсидиана):

• ✅ AMDGPU: [amdgpu: Allow explicitly synchronized submissions (PATCH 6/6)] (merged где-то в 2022?)
• ✅ Wayland protocols: [wayland/wayland-protocols!90] "linux-drm-syncobj-v1: new protocol" (merged on 20.03.2024); Phoronix
• ✅ Mesa: [mesa/mesa!25709] "wsi: Implement explicit sync for Wayland" (merged on 02.04.2024); Phoronix
• ✅ gamescope: [ValveSoftware/gamescope!1203] "Support for explicit sync" (merged on 27.03.2024)
• ✅ GNOME: [gnome/mutter!3300] "Implement linux-drm-syncobj-v1" (merged on 28.03.2024); Phoronix
• ✅ KDE: [plasma/kwin!4693] "wayland: implement linux-drm-syncobj-v1" (merged on 11.04.2024)
• ✅ Xorg/XWayland: [xorg/xserver!967] "Explicit GPU Synchronization for DRI3, Present, and Xwayland" (merged on 09.04.2024)
• ✅ Nvidia egl-wayland: [NVIDIA/egl-wayland!104] "Implement Explicit Sync" (merged on 20.03.2024)
• ✅ Nvidia driver: "NVIDIA will be shipping an explicit sync implementation in an upcoming driver release!" — source; released beta 555.42.02 on 21.05.2024; Phoronix
• ✅ Hyprland (aquamarin): [hyperwm/Hyprland!7151] (merged on 06.08.2024)
• ✅ wlroots (Sway): [wlroots/wlroots!4715] "Add support for explicit synchronization, take 3" (merged on 06.08.2024); ⚠️ [wlroots/wlroots#3881] "linux-drm-syncobj-v1: add fine-grained release points"
• ✅ Smithay (COSMIC): [Smithay/smithay!1356] "WIP linux-drm-syncobj-v1" (merged on 24.09.2024); [pop-os/cosmic-comp/!411] "Add linux-drm-syncobj-v1 protocol" (merged on 15.01.2025)

Жду поддержки под wlroots (я пользуюсь Sway upd: перехожу на Cosmic WM) и бенчмарков. А также драйвер Nvidia 650, где ожидается explicit sync для Vulkan WSI.

Open WebUI больше не FOSS

Вроде бы есть о чем писать сюда в канал, но пока не пишется. Одной из таких тем в планах было рассказать, какие локальные/приватные инструменты я использую с нейросетями.

Краеугольный камень моего стека — некогда прекрасный self-hosted LLM/GenAI-интерфейс Open WebUI. Он умеет: workspaces с эмбеддингом локальных документов (устоялось название Knowledge) для RAG'a; относительно сложные pipelines для интеграции сторонних API и сервисов, включая внешний RAG (например, обогащать промпт контекстом из live поисковой выдачи или конвертация URL из промпа в Markdown налету через JinaAI); исполнение кода (Python/Mermaid/JS) и рендеринг артефактов (HTML); интеграция с MCP и многое-многое другое.

За год активного использования я довольно сильно инвестировал в экосистему OWUI, оброс удобными лично мне конфигурациями, интеграциями, промптами, шорткатами. Единственным минусом, который меня беспокоил, был (непомерно) огромный размер образов и контейнеров в docker-стеке для, казалось бы, просто SvelteKit web-приложения с утилитами. Особенно, для кейса, когда вы отказываетесь от локальных моделей в пользу только сторонних OpenAI API-compatible сервисов — весь стек все равно занимает от пяти до десяти гигабайтов на диске.

И вот теперь они сменили лицензию с BSD-3 на свою частную Open WebUI License с CLA. Зачем так делать и куда мигрировать — абсолютно не понятно.

Обсуждение: Reddit/LocalLLaMA и HackerNews.

Existential moment

Вычислительное ядро для fp8 становится до 150 Тфлопс быстрее на оборудовании Nvidia, если имеет аффикс cutlass (от одноименной библиотеки самой Nvidia для линейных алгебраических вычислений).

Это не совпадение: строка захардкожена в ptxas (ассемблер для PTX) в виде логики strstr(kernel_name, "cutlass").

А как вы хотели? Путь к капитализации в четыре триллиона вымощен множеством трюков.

Euclyd CRAFTWERK

Первая серьезная заявка европейской полупроводниковой промышленности в области передового аппаратного AI compute. Нидерландский стартап Euclyd от бывшего CEO ASML, Федерико Фаджина и основателя Elastic — с впечатляющей производительностью и энергоэффективностью. Даже на фоне Groq и Cerebras. Пока только инференс, конечно, но надо с чего-то начинать. Проявляю осторожный оптимизм, выглядит солидно (на самом деле у меня сейчас вот такие глаза 🤩).

> At its core is the CRAFTWERK SiP (system-in-package), a palm-sized powerhouse featuring 16,384 custom SIMD processors delivering up to 8 PFLOPS (FP16) or 32 PFLOPS (FP4). Paired with 1 TB of custom ultra-bandwidth memory (UBM) offering a staggering 8,000 TB/s bandwidth

> CRAFTWERK powers Euclyd’s flagship rack-scale system, CRAFTWERK STATION CWS 32, which integrates 32 SiPs to deliver 1.024 exaflops of FP4 compute and 32 TB of UBM. In multi-user mode, CWS 32 is projected to achieve 7.68 million tokens per second at just 125 kW, representing a 100x improvement in power efficiency and cost per token over leading alternatives—based on modeled performance for Llama 4 Maverick.

Источник: https://euclyd.ai/euclyd-unveils-craftwerk-the-worlds-most-power-efficient-exascale-token-factory-for-agentic-ai/

Это в тени праздных, но не менее важных, новостей о том, что ASML инвестирует €1.3 млдр во французский Mistral AI.

> Arthur Mensch, Mistral’s chief executive, said that for both economic and strategic reasons, “it’s important for European companies not to have too much dependency on US technology”.