https://blog.vaxry.net/articles/2023-inclusiveActivists #gold

Совершенно крутой текст от Vaxry.

TL;DR - коллега написал, что настоящая инклюзивность - это когда, если Адольф Гитлер пишет нормальный код на С++, то его вкладу могут быть рады в open source проекте. Его за это, конечно, назвали фашистом, и он в ответ накатал этот текст.

Inclusive communities, in the eyes of such advocates, are often the opposite of inclusive. They will try and find things that you do outside of your proffessional persona, or often infer, guess, meddle with, or lie about what you say and stand for. Then, once they have the "ammo", they will ostracize you. Ban, kick, call for removal, censorship.

...

I firmly believe that FOSS is literally for everyone. Unlike those people, I stand by my stance that even if you are something that the country I live in disagrees with, you still are free to use, contribute to, and be a part of the greater FOSS community.

https://www.phoronix.com/news/systemd-255-rc1

Я просто оставлю это здесь - в #systemd появилась поддержка BSOD. Нет чтобы что-то хорошее из винды притащить, а?

Будни #bootstrap

В прошлом тексте рассказал, что научился собирать статически слинкованный питон с произвольным набором расширений на C.

Я этот "кубик" оформил в удобном для применения виде:

pg@...:~/ix ./ix build bld/python/frozen \
    --python_ver=12 \
    --py_extra_modules=lib/py/wayland
pg@...:~/ix /ix/store/.../bin/python3
Python 3.12.0 (main, Nov 6 2023) ...
>>> import pywayland
>>>

Ну, то есть, я сделал настраиваемую снаружи (через флаги) сборку питона.

Это мне позволило замахнуться на модули, использующие cffi модуль!

Вообще говоря, cffi - страшная жесть: https://github.com/flacjacket/pywayland/blob/main/pywayland/ffi_build.py Разработчики "pure python" модуля копипастят к себе определения нужных им C функций, после чего модуль cffi парсит это говно, вызывает конпелятор, и дает на выходе .so-шку, которую можно загрузить в python, и дергать функции какой-то внешней (оборачиваемой таким образом) .so-шки.

Собственно, мне нужно было научиться собирать в статику оба этих "уровня абстракции".

В общем-то, с этим мне и помог кубик из предыдущего поста.

На каждом шаге я даю на вход родной сборке особенным образом скрафченый питон, который может "загрузить" (а, на самом деле, оно уже в нем просто есть) и нужную для cffi библиотеку через фейковый "dlopen", и загрузить получившуюся машинерию, которую колдует cffi (тоже потому что она уже в нем есть).

Так, в несколько шагов, можно развернуть сколь угодно сложный cffi модуль питона.

https://github.com/pg83/ix/blob/main/pkgs/lib/py/wlroots/t/ix.sh#L17 - например, для сборки pywlroots мы готовим питон, в котором есть модуль cffi, и уже заранее собранный модуль pywayland.

Короче, получился очень удобный кубик.

Зачем я ебался со всеми этими сложностями?

Мне очень нужен был https://qtile.org/! И он у меня теперь есть!

А вот зачем он мне нужен - в следующей серии.

#qtile

Собственно, в https://xn--r1a.website/itpgchannel/374 я как-то обмолвился, что очень хочу запилить нечто под названием "scrollable tiling wm".

Мысли этой не первый год, в первый раз я про это задумался лет 5 назад. Но, как я уже писал выше, ничего подходящего для этого не было и нет, если не рассматривать JS plugin к mutter. А я не рассматриваю, потому что этот всратый JS в mutter я буду запускать дольше, чем запилить новый кленовый wlroots.

Я пару раз даже порывался что-то наколбасить поверх wlroots, но мне очень не хотелось пердолиться с C, потому что я бы дольше ловил утечки и проезды, чем занимался полезным делом.

Собственно, пару лет назад я узнал про qtile, что его недавно портировали на wlroots, и что он написан на питоне - очень годный язык для такой задачи, как по мне, потому что композитор сам ничего не делает, только дергает несколько функций wlroots на один кадр, ну и с утечками там все хорошо. Сильно лучше чем в С уж точно.

Собственно, я потихоньку пилил инструменты, чтобы собрать static qtile, и недавно у меня это получилось.

А теперь самая мякотка!

BayanWM (от слова "аккордеон", а не то, что вы подумали) я запилил, как кастомный layout engine для qtile, за один вечер - https://github.com/pg83/bayanwm/blob/main/config.py#L49-L134 Работает оно превосходно, даже лучше, чем я ожидал. Попробуйте, скопипастить это в свой конфиг qtile займет 5 минут.

Респект и уважуха проекту за подход к конфигурированию, когда конфиг - это, по сути, плагин, которому доступна вся внутренняя механика проекта.

Мораль?

Любую задачу можно запилить за 15 минут и 100 строк кода, если знать, куда тюкнуть!

(технический пост, не думаю, что это особо интересно, скорее, запись для себя)

Я уже год не обновлял #kitty, потому что там какая-то очередная версия сломала мои скрипты, и я не захотел их чинить.

Но вот решил собрать его заново, с чистого листа, выкинув всякого рода хаки, которые были несистемны (потому что их нельзя было применить за пределами сборки kitty), и построив все на механизмах, наработанных за этот год.

https://github.com/pg83/ix/tree/main/pkgs/bin/kitty/prev - вот тут я прикопал старую сборку
https://github.com/pg83/ix/tree/main/pkgs/bin/kitty/next - а вот тут новую

Отдельных папочек (целей) стало больше, каждая цель стала описываться проще.

Первый вариант - я, по сути, императивно, в одну большую портянку закодил нужные вызовы нужных инструментов, чтобы получить финальный результат. Скрипт получился очень неустойчив к изменениям.

Новый вариант - это, по сути, 10 раз запустить родную сборку (это быстро), взять маленький ее кусочек, поработать с ним, и подготовить его к тому, чтобы моя generic машинерия могла с ним работать:

* https://github.com/pg83/ix/blob/main/pkgs/bin/kitty/next/modules/glfw/ix.sh - вот так я готовлю какой-то произвольный .so от родной сборки kitty
* https://github.com/pg83/ix/blob/main/pkgs/bin/kitty/next/modules/fdt/ix.sh - или другой. По папочке на каждый модуль, но там и код не очень обобщаем
* https://github.com/pg83/ix/blob/main/pkgs/bin/kitty/next/py/ix.sh - а вот так готовлю его питонячку, чтобы дальше мочь ее заморозить своим generic механизмом
* https://github.com/pg83/ix/blob/main/pkgs/bin/kitty/next/unwrap/ix.sh#L21 - а вот так выглядит переписанный entry point для kitty, в котором я его манкипатчу на предмет wayland, no x11, другой способ подморозки произвольных ресурсов, и так далее

В общем, оно получилось гораздо более composable, и переживет следующие upver существенно проще.

Первый способ у меня занял в 5 - 10 раз больше чистого времени.

Мораль?

Некоторые вещи нужно делать не когда очень хочется, а когда ты к этому готов!

Fun fact - #Ковид начала переписывать kitty на Go, я бы на его место тоже так сделал, потому что сейчас kitty - это unmanageable mess.

началось?

https://www.phoronix.com/news/Linux-6.7-sysctl

"This will cut-down on around 64 bytes of bloat per array, help with kernel build times, and an all-around improvement"

Вот читаешь такие новости, и думаешь: "какие они там хорошие люди, все, что надо, починили, сънли все, что висит низко, и теперь вот байтики ковыряют".

Все это разбивается о простой факт - патчи про реальное ускорение сборки ядра от #Ingo Molnar они так и не вмержили?

Почему?

Потому что ядро - ведро плохо структурированного кода, и что бы там сломалось от этих патчей Инго, никто предсказать не может.

А вот патчи по 1 строке, которые в реальной жизни не делают ничего - это пожалуйста.

https://monaspace.githubnext.com/

Новые #monospace шрифты от github, а это всегда событие!

Из интересного, и чего я раньше не встречал:

"Texture healing works by finding each pair of adjacent characters where one wants more space, and one has too much. Narrow characters are swapped for ones that cede some of their whitespace, and wider characters are swapped for ones that extend to the very edge of their box. This swapping is powered by an OpenType feature called “contextual alternates,” which is widely supported by both operating systems and browser engines"

В каком эмуляторе терминала это работает, кто за это отвечает (#harfbuzz?), и как проверить,что оно срабатывает - я пока не понял.

Будни #bootstrap, #cross

У меня уже довольно давно была поддержка кросс-компиляции с любого host на любой linux, и на всякие нишевые платформы типа #WASI

Вот, добавил darwin-{amr64,x86_64} - https://github.com/pg83/ix/commit/85c66407c092677519f45ee55b265bc272759ad5.

В коммите всякие мелочи, типа {% if linux %} на зависимости, которые не собираются под darwin, типа libsigsegv, libbsd, и так далее.

Так как у меня cross compile даже для host == target, ничего особо сложного в этом не было, все заработало из коробки.

Почему я не сделал это раньше?

Потому что все это время я думал, как половчее попиздить macos sdk!

Компания Apple, как и MS, не очень поощряет сборку не на своих OS/железе. У них это написано в лицензии.

Поэтому есть такой небезызвестный https://github.com/phracker/MacOSX-SDKs - смотреть можно, трогать пользоваться, кажется, нельзя.

При этом, я решал следующие задачи:

* Рандомный васян, скачав #IX, должен "из коробки" уметь собрать любую программулю под macos. Украдет он при этом что-то, или нет, - не мои проблемы.

* Если это запускается на родной платформе для macos, то, по умолчанию, надо брать установленные в систему SDK, и ничего не воровать.

* Если этот код запускается в каком-то частном контуре, то должна быть возможность указать на url, по которому будет лежать цельнопижженый легальный (с точки зрения владельца этого контура) слепок macos sdk. Например, он его купил, но за пределы контура распространять не может.

Соответственно, для васяна я качаю SDK с инторнетов, для host == target сборки даю возможность использовать родную SDK, ну а злые корпорации пусть в своем контуре используют то, что считают нужным, это не мое дело.

Все это я сделал моим любимым способом "dispatch по настройкам во все более специализированный таргет" - https://github.com/pg83/ix/blob/main/pkgs/lib/darwin/c/ix.sh#L3-L12

И сразу добавил нужные мне таргеты в мой CI - https://github.com/pg83/ix/blob/main/pkgs/set/ci/unwrap/ix.sh#L8-L9, это было совсем просто!

С windows sdk все будет, кажется, существенно хуже, потому что найти прямые ссылки на даже "серые" их версии у меня не получается. Везде всратый windows installer, который даже cabextract не берет. А выкладывать пижженый контент от своего имени мне бы не хотелось.

#werror #rant

В копилку проектов, желающих мне смерти заебаться:

https://github.com/harfbuzz/harfbuzz/blob/main/src/hb.hh#L49-L97 - конечно, мы не только включим в meson Werror по умолчанию, так еще и досыпем всяких полезных (нет) предупреждений, которым сами не будем соответствовать!

Или вот - https://github.com/GNOME/pango/blob/main/meson.build#L91-L108

Коллеги, если вы ставите -Werror в свой проект, то вы обязуетесь убедиться, что оно работает корректно под всю матрицу поддерживаемых вами конпеляторов и OS.

Ладно, не обязуетесь, но если вы так не делаете - то вы больной на всю голову упырь зачем-то заставляете заебаться много людей на пустом месте!

#gnulib #rant

gnulib - это такая библиотека от #GNU, которая якобы должна приводить интерфейс системной библиотеки libc, к богоугодному столлманоугодному виду.

У нее есть ряд проблем, которые, в основном, вызваны тем, что у проекта GNU все принято делать через жопу:

* ее не существует в виде отдельной либы. Нельзя собрать libgnulib.a и установить ее к себе на хост

* она поставляется (и разрабатывается) в виде M4 макросов, которые, по странным правилам, генерируют исходники на машине, где собирается то или иное приложение от GNU

* эти псевдоисходники вендорятся каждым проектом от GNU, с патчами от этих проектов

Для этих исходников генерируются (в процессе configure, ага), заголовки, мимикрирующие заголовки несуществующей libc от несуществующей gnu os (!= linux, потому что на linux непустое множество кода, добавляющегося в эти заголовки).

Там куча ifdef, которые либо что-то скрывают из системной libc, либо что-то добавляют (например, функции, которых нет в системе).

Как это работает? Хуево это работает!

Все это барахло очень хрупкО по отношению ко входным параметрам (способам autodetect в configure скриптах фич компилятора и наличия определенных функций в libc), не cross-friendly (например, фишка этой библиотеки - переопределять malloc/realloc, когда системные реализации могут вернуть 0(что разрешено стандартом!), а для этого нужно код реально запустить под target платформу).

Перепоределяется это все с помощью макросов, хотя, казалось бы, нужен тебе realloc с определенным свойством - ну запили ты себе GNU_realloc, и используй консистентно. Это, конечно, слишком прямое решение для проекта GNU.

https://gist.github.com/pg83/55712a369912405fcf9c4063533722eb

Вот вам мой сегодняшний пример, который стриггерил эту волну хейта.

Что тут написано?

configure скрипты вывели несовместимые определение для эмуляции inline в С, и определение для пометки чего-то, как потенциально неиспользуемое.

Вот так выглядит их склейка:

# define _GL_INLINE static _GL_UNUSED

Ну, вот, реально эти затычки по отдельности могут работать, а вместе - нет, на что и ругается компилятор.

Самое безумие этой ситуации - что исправить это невозможно (а, точнее, запретительно дорого), потому что, даже если прийти в gnulib, и исправить это там, то по проектам это говно будет растекаться несколько лет!

Мораль?

Держитесь как можно дальше от проекта GNU, если у вас есть такая возможность.

https://www.opennet.ru/opennews/art.shtml?num=60104

https://www.opennet.ru/opennews/art.shtml?num=60107

Теперь ждем, когда релизы от сообщества начнут выходить чуть раньше, чем релизы от RedHat, если вы понимаете, о чем я!

Писал, что недолюбливаю оптимизации, которые занимаются тем, что распараллеливают неподходящие для этого задачи.

Вот есть, например, crud rpc сервер, он обладает "естественной", простой, параллельностью, которая висит низко - бери да ешь.

Но проекты имеют тенденцию скатываться от естественной параллельности к сложной. От низковисящих фруктов к высоко висящим.

Для очень небольшого числа проектов это оправдано, но, чаще всего, лучше перейти к рядом стоящему дереву, где еще полно фруктов на самых нижних ветвях.

Для системы сборки естественная параллельность - это файлы или модули, зависит от языка.

Но, когда это съедено, люди зачем-то начинают делать вот это вот - https://www.opennet.ru/opennews/art.shtml?num=60095

"Для поддержки распараллеливания фронтэнд переведён на использование библиотеки Rayon и значительно переработан, например, многие его части теперь синхронизируются с помощью мьютексов и блокировок чтения/записи, а в коде используются атомарные типы. При тестировании производительности новая распараллеливаемая реализация могла выполнять компиляцию до 2% медленнее при работе в однопоточном режиме (-Z threads=1), но когда потоков больше одного скорость значительно возрастала. Например, при установке 8 потоков (-Z threads=8) в некоторых ситуациях время компиляции удавалось сократить на 50%."

Я не знаю, по мне эти цифры говорят, что не надо ЭТО делать!

Это же жесть - простой код стал сложным, в него будет сложнее внедрять продуктовые фичи и другие оптимизации!

Мьютексы! Атомики! Danger, Will Robinson!

И все ради чего?

Чтобы в некоторых случаях, при использовании 8!!! потоков, ускорить все на 50%?

Я не знаю.

Писал, и буду писать, что иногда надо остановиться, и не делать улучшения, которые сложны непропорционально профиту.

https://xn--r1a.website/itpgchannel/353
https://xn--r1a.website/itpgchannel/1179
https://xn--r1a.website/itpgchannel/22
https://xn--r1a.website/itpgchannel/539

Нам нравится unix way.

Это когда есть инструмент, он хорошо делает одну задачу, и эти инструменты composable, например, через пайпы.

Но почему unix получился именно таким?

Моя гипотеза состоит в том, что, так как изначально Unix линковался статически, то такое вот разделение обязанностей по программам - это понятный и разумный способ экономить память.

Вот, реально, вместо того, чтобы в каждую программу статически влинковывать парсер регулярок, возьми да запили grep, который умеет фильтровать поток по регуляркам, и используй его консистентно.

Как side effect получаем пресловутый "unix way".

Ну и, конечно, все пошло по пизде, когда в unix завезли динамическую линковку, потому что такая вот декомпозиция на изолированные процессы - это же сложно, надо много думать, а тут взял и позвал нужную функцию, и OS даже сделает так, что это не потратит дополнительной памяти (ну, почти).

#sat

https://www.uber.com/blog/nilaway-practical-nil-panic-detection-for-go/

Компания Uber (эта та самая, которая хвасталась тем, что у нее 100500 git репозиториев, а потом сливала их все в монорепку), кажется, запилила нечто весьма годное - штуку, которая ловит разыменовывания nil в go.

При этом, не какой-нить дурацкой эвристикой, а вполне разумно:

"Our main idea is that nilability flows in code can be modeled as a system of global typing constraints, which can then be solved using a 2-SAT algorithm to determine potential contradictions"

Надо брать, пока дают!

https://www.opennet.ru/opennews/art.shtml?num=60133

"Реализован третий уровень поддержки для платформы i686-pc-windows-gnullvm. Третий уровень подразумевает базовую поддержку, но без автоматизированного тестирования, публикации официальных сборок и проверки возможности сборки кода"

Я чет ору, и не могу остановиться.

"i686-pc-windows-gnullvm" - что это? Что это за кадавр, зачем он появился на свет, кому он нужен, и зачем для него нужен Rust?

https://www.phoronix.com/news/Louvre-Wayland-Library
https://github.com/CuarzoSoftware/Louvre

Wlroots - по сути, безальтернативная библиотека, если вы хотите запилить wayland композитор.

Потому что, знаете ли, кто первый встал, того и тапки - вот, представители kwin, mutter, и wlroots по сути, пишут предложения и расширения к wayland. А считать первые два хоть сколько нибудь отделимыми от своих DE может только сумасшедший.

И ничего хорошего в этом нет, потому что:

* Дрю ДеВолт #ddv, как оказалось, еще тот SJW-гондон.
* Мало конкуренции - плохо для продукта.

Собственно, поэтому нельзя не радоваться еще одной полностью независимой реализации библиотеки для разработки #wayland композитора!

Факт того, что она написана на каком-то разумном С++, без мономорфизации во все дырки, тоже не может не радовать.

Конечно, ее авторы ничего не понимают в сборке, потому что она принудительно лезет в вашу систему - https://github.com/CuarzoSoftware/Louvre/blob/main/src/meson.build#L31-L34

В общем, штука интересная, конкуренция - хорошо.