В Python3.14 добавили новую библиотеку для сжатия: Zstandard

- PEP: https://peps.python.org/pep-0784
- Документация: https://docs.python.org/3.14/library/compression.zstd.html
- Реализация: https://github.com/python/cpython/pull/133027

Существует такой новый алгоритм для сжатия: Zstandard c хорошим процентом сжатия и быстрым алгоритмом сжатия / разжатия. Его добавили в 3.14 как нативный модуль. И как раз заодно решили прибрать все другие алгоритмы в общий модуль compression.*

Теперь:
- compression.lzma отвечает за lzma
- compression.zstd за Zstandard
- compression.gzip за gzip и так далее

Пока данные новые модули просто делают re-export всех объектов из оригинальных модулей. Однако, в какой-то момент старые имена могут быть задеприкейчены.

> Any deprecation or removal of the existing modules is left to a future decision but will occur no sooner than 5 years from the acceptance of this PEP.

Как работает?

Сам алгоритм сжатия хорошо описан в соответствующем RFC. Его лучше почитать отдельно. Тем, кому такое интересно.

А мы поговорим про питоновскую часть.
Теперь питон зависит от новой опциональной библиотеки zstd.h, что будет, если ее нет? И тут мы должны познакомиться с системой конфигурации и сборки питона.

Мы используем AutoConf или .ac. Данный зверь – свой большой мир, который хочется как раз показать на примере. Спорим, вы не сможете с первого раза прочитать данную конструкцию?

dnl zstd 1.4.5 stabilised ZDICT_finalizeDictionary
PKG_CHECK_MODULES([LIBZSTD], [libzstd >= 1.4.5], [have_libzstd=yes], [
  WITH_SAVE_ENV([
    CPPFLAGS="$CPPFLAGS $LIBZSTD_CFLAGS"
    CFLAGS="$CFLAGS $LIBZSTD_CFLAGS"
    LIBS="$LIBS $LIBZSTD_LIBS"
    AC_SEARCH_LIBS([ZDICT_finalizeDictionary], [zstd], [
      AC_MSG_CHECKING([ZSTD_VERSION_NUMBER >= 1.4.5])
      AC_COMPILE_IFELSE([
        AC_LANG_PROGRAM([@%:@include "zstd.h"], [
          #if ZSTD_VERSION_NUMBER < 10405
          #  error "zstd version is too old"
          #endif
        ])
      ], [
        AC_MSG_RESULT([yes])
        AC_CHECK_HEADERS([zstd.h zdict.h], [have_libzstd=yes], [have_libzstd=no])
      ], [
        AC_MSG_RESULT([no])
        have_libzstd=no
      ])
    ], [have_libzstd=no])
    AS_VAR_IF([have_libzstd], [yes], [
      LIBZSTD_CFLAGS=${LIBZSTD_CFLAGS-""}
      LIBZSTD_LIBS=${LIBZSTD_LIBS-"-lzstd"}
    ])
  ])
])

Самая важная часть: AC_CHECK_HEADERS([zstd.h zdict.h], [have_libzstd=yes], [have_libzstd=no]), она проверяет наличие нужных хедеров / зависимостей для компиляции. Данный код создает несколько проверок при генерации файла ./configure, которые позволяют проверить, есть ли такая библиотека на машине сборки.

Генерируется в результате вот такой трешняк: https://github.com/python/cpython/blob/30dde1eeb3fa1e0e7417f9cdded8fd90766f2559/configure#L22587-L22946

Данная мешанина из shell, C кода в строках и безумной обработки ошибок делает следующее:
- записывает файл с Сишным кодом
- вставляет туда нужные хедеры
- пытается скомпилировать
- если получилось, то пишет один конфиг
- если нет, то сборка понимает, что библиотеки нет, пишется другой конфиг
- на основе ./configure потом собирается правильный Makefile для компиляции самого питона

Вот тут мы указываем, какие части компилировать, если такая библиотека есть:

@MODULE__ZSTD_TRUE@_zstd _zstd/_zstdmodule.c _zstd/zstddict.c _zstd/compressor.c _zstd/decompressor.c

Посмотрим, как выглядит Makefile, если библиотека есть:

MODULE__ZSTD_STATE=yes
MODULE__ZSTD_CFLAGS=-I/opt/homebrew/opt/zstd/include
MODULE__ZSTD_LDFLAGS=-L/opt/homebrew/opt/zstd/lib -lzstd

Modules/_zstd/_zstdmodule.o: $(srcdir)/Modules/_zstd/_zstdmodule.c $(MODULE__ZSTD_DEPS) $(MODULE_DEPS_SHARED) $(PYTHON_HEADERS); $(CC) $(MODULE__ZSTD_CFLAGS) $(PY_STDMODULE_CFLAGS) $(CCSHARED) -c $(srcdir)/Modules/_zstd/_zstdmodule.c -o Modules/_zstd/_zstdmodule.o
# ...

А если такой библиотеки нет – то в итоговом Makefile просто не будет данной цели для сборки.

Обсуждение: как вам данный алгоритм сжатия? Как вам система сборки питона?

Хорошая подборка триков и пояснений некоторых моментов при работе с PostgreSQL

Автор справедливо говорит о том, что документация PG хорошая, но объёмная.
https://www.postgresql.org/files/documentation/pdf/17/postgresql-17-US.pdf

Поэтому он собрал штуки, которые, как ему видится, было бы знать полезно до того, как он начал плотно работать с PG

So I want to try to catalog the bits that I wish someone had just told me before working with a Postgres database. Hopefully, this makes things easier for the next person going on a journey similar to mine.

Note that many of these things may also apply to other SQL database management systems (DBMSs) or other databases more generally, but I’m not as familiar with others so I’m not sure what does and does not apply.

Я вынесу список разделов, который присутствует в посте

- Normalize your data unless you have a good reason not to
- Follow all the advice from the folks that make Postgres
- Note some general SQL eccentricities
    * Saving your pinkies: you don’t have to write SQL in all caps
    * NULL is weird
- You can make psql more useful
    * Fix your unreadable output
    * Clarify ambiguous nulls
    * Use auto-completion
    * Lean on backslash shortcuts
    * Copy to a CSV
    * Use column shorthands and aliases
- It’s possible that adding an index will do nothing (particularly if it’s misconfigured)
    * What is an index?
    * An index isn’t much use for a table with barely any rows in it
    * When indexing multiple columns, the order matters
    * If doing prefix matches, use text_pattern_ops
- Long-held locks can break your app (even ACCESS SHARE)
    * What is a lock?
    * How locks work in Postgres
    * How this can cause problems
    * Long-running transactions can be just as bad
- JSONB is a sharp knife
    * JSONB can be slower than normal columns
    * JSONB is not as self-documenting as a standard table schema
    * JSONB Postgres types are a bit awkward to work with

What I Wish Someone Told Me About Postgres
https://challahscript.com/what_i_wish_someone_told_me_about_postgres

Подписчик принёс печальную новость: Linux Format UK закрывается

> Just got the email -- RIP Linux Format magazine.
https://oldos.me/@jay/114580170106005279

> Celebrate our final issue ever while we look back on how the Linux kernel and open source software has changed, evolved and taken over the world!
https://linuxformat.com/linux-format-329.html

Сложно переоценить вклад Linux Format в популяризацию open source, культовый журнал

Русскоязычная версия умерла в 2018 году, архив доступен тут
https://www.linuxcenter.ru/linuxformat

Я собрал все печатные номера (все журналы из поста, которые я раздавал, уже розданы нуждающимся 🌝)
https://xn--r1a.website/tech_b0lt_Genona/4335

Более того, я начал выкладывать копии дисков
https://xn--r1a.website/LF_RU_iso

Есть у меня не все диски к журналам, ещё есть те, которые плохо читаются. Надеюсь, что у меня появится время продолжить выкладывать оставшиеся образы

Таблица дисков загруженных номеров тут
https://github.com/rusdacent/lf_ru_iso/tree/main

Ну, а Linux Format спасибо за всё 🫡

Уязвимость в MCP-сервере GitHub, приводящая к утечке информации из приватных репозиториев
https://www.opennet.ru/opennews/art.shtml?num=63322

Протокол MCP предназначен для связывания AI-моделей с различными источниками данных. GitHub MCP Server обеспечивает бесшовную интеграцию больших языковых моделей с API GitHub и предоставляет этим моделям дополнительный контекст, извлекая данные из GitHub-репозиториев. Использующие MCP модели могут применяться для автоматизации определённых действий с GitHub, например, для разбора сообщений об ошибках.

Суть уязвимости в том, что через взаимодействие с подключённой к GitHub большой языковой моделью можно добиться выдачи конфиденциальных данных о пользователе, привязавшем AI-агента к своей учётной записи на GitHub. Атакующий может разместить в публичном репозитории, для которого применяется автоматизация на основе большой языковой модели, специально оформленный отчёт о проблеме (issue). После активации модель сформирует pull-запрос с предлагаемым решением. Соответственно, если проблема касается приватных репозиториев или конфиденциальных данных, модель может раскрыть информацию в предложенном pull-запросе.

Для примера было отправлено сообщение об ошибке с жалобой на то, что в файле README не указан автор. В качестве решения в сообщении было предложено добавить в README сведения об авторе и список всех репозиториев, с которыми работал автор. В итоге модель создала pull-запрос с информацией, включающей персональную информацию об авторе, извлечённую из приватного репозитория, а также список имеющихся приватных репозиториев. На следующем этапе через подобное взаимодействие с моделью можно получить и данные из конкретного приватного репозитория.

Подробней в оригинале
GitHub MCP Exploited: Accessing private repositories via MCP
https://invariantlabs.ai/blog/mcp-github-vulnerability

Почти заброшенный канал :)

На днях получил доступ к SourceCraft.
Впечатления:
- оно очень минималистичное (репы, задачи, PR, CI/CD).
- оно работает.
- CI/CD, в целом работает. Хотя не всё и не всегда (но кто ждёт гладкой работы от очень превью сервиса). Успел даже баг-репорт сформировать за те 3 часа пока игрался :)
- там нет артефактов (package/container и так далее)... Но, может для Яндекс это и ОК... Лично мне бы его хотелось.
- правила для CodeReview лежат в коде репа... Неожиданно для меня :) Но, в целом ОК.

Есть канал в ТГ и чат.

В целом, положительно. Больше конкуренции - лучше пользователям.

Пятница!

Есть такое камунити http://buttplug.io/, которое курирует открытые проекты и стандарты игрушек для взрослых (нет, это не тонометры)

И под него сделали MCP (Model Context Protocol) Server

Once set up, you can prompt your LLM:

- "What are my connected buttplug devices?"
- "Set the second motor on my LELO F1S to 50% strength"
- "How much battery is left on my Lovense Max 2?"
- "Does my WeWibe have weak signal?"

https://github.com/ConAcademy/buttplug-mcp

Проект появился как шуточный 1 апреля, собственно, и стабильность поэтому такая же

While it does work, I found the underlying go-buttplug library to be unstable in connection handling. I could ask Claude for my devices, but my specific device wouldn't vibrate even just with just Intiface Central -- it was like in read-only mode! I also wish I had a virtual buttplug.io device for testing, rather than relying on a physical device.

So, it has not truly been tested "end-to-end" 😉

I will dig more into the go-buttplug library and see why connections are unstable. I also need to understand the MCP protocol current state of MCP hosts -- it seems they focus on Tools rather than Resources and Resoure Templates.

Для селфхостинга можно прикрутить Ollama, а ещё можно интегрировать с Home Assistant MCP 🌝

Неплохо

We're replacing our ElasticSearch cluster (27 nodes, ~588 CPU Cores, with 4656gb RAM) with a single VL Node (8 CPU Cores, 64gb RAM).

https://aus.social/@phs/114583927679254536

Подсмотрел в чате Victoria Metrics - @VictoriaMetrics_ru1

обнаружен новый способ доказать, что ты не робот!