commit -m "better"
3.45K subscribers
1.17K photos
165 videos
3 files
2.6K links
just random thoughts
Download Telegram
https://arstechnica.com/tech-policy/2022/09/experts-debate-the-ethics-of-linkedins-algorithm-experiments-on-20m-users/

В статье на серьезных щщах рассуждают, этично ли использовать A/B на кожаных мешках, или нет.

Ну, типа, еслы человек попал в плохой бакет - то это же плохо?

Какой-то левацкий sjw-душок у этого текста, не читайте.
🤯6🤡5🥴3🔥2😁1🖕1
https://kristerw.github.io/2022/11/01/verifying-optimizations/

У меня есть странная слабость к разным там солверам. Я не знаю, почему. Ладно, знаю, потому что мне это до сих пор кажется магией.

К сожалению, в своей практике мне удалось их применить всего пару раз, и это, кстати, тоже был #Z3.

Зато с удовольствием читаю, как и для чего люди их используют, в надежде, что и мне пригодится.
👍6👌21
commit -m "better"
В батле "статическая vs. динамическая линковка" есть один фактор, про который особо никто не рассказывает, ну или мне просто не встречалось раньше. Это эстетика! Причем не простая эстетика, что, дескать, в случае статической линковки по всей fs не валяются…
#gold

Обещал пример разделения статических библиотек, которое никогда бы не смогло случиться во внешнем мире с .so

Как я уже рассказывал, у меня есть реализация функций backtrace(), на самом деле, их там ажно три штуки:

#include <execinfo.h>
int backtrace(void **buffer, int size);
char **backtrace_symbols(void *const *
buffer, int size);
void backtrace_symbols_fd(void *const *
buffer, int size, int fd);

https://github.com/pg83/ix/tree/main/pkgs/lib/execinfo - у меня лежит 4 их реализации:

1) https://github.com/pg83/ix/tree/main/pkgs/lib/execinfo/fake

Это просто реализация, которая ничего не делает(имеет право!), с которой как раз и сломался eternal terminal #et

2) https://github.com/pg83/ix/tree/main/pkgs/lib/execinfo/fp

Это реализация, цельнотянутая из BSD мира, https://www.freshports.org/devel/libexecinfo, широко известна в узких кругах non-glibc linux.

Она содержит фатальный недостаток - если ее позвать из кода, который на x86_64 скомпилен с флагами компилятора по умолчанию(без -fno-omit-frame-pointer), она приводит к падению программы, потому что она падает без frame pointer.

3) https://github.com/pg83/ix/tree/main/pkgs/lib/execinfo/itanium

Эту реализацию наговнокодил я сам, поверх itanium abi для раскрутки стека. Он всегда доступен в программах на C++, а у меня используется #tcmalloc, поэтому по коду это для меня бесплатно. Собственно, она у меня стоит по умолчанию, с возможностью переопределения - https://github.com/pg83/ix/blob/main/pkgs/lib/execinfo/ix.sh Это полезно в цепочке bootstrap, чтобы для первого компилятора собирать поменьше кода - https://github.com/pg83/ix/blob/main/pkgs/bld/boot/8/clang/base/ix.sh

4) https://github.com/pg83/ix/tree/main/pkgs/lib/execinfo/unwind

И реализация поверх библиотеки libunwind от HP. Это старая, известная, библиотека, одна из трех более-менее известных реализаций itanium abi(наряду с stdc++ от gnu, и libunwind от проекта llvm)

Тут очень важно отметить, что, в двух последних случаях я реализовал только функцию backtrace(), одну из трех нужных. Потому что я ленивая жопа, да.

Что бы я сделал, если бы делал .so для внешнего мира? Я бы скопировал две оставшиеся функции из пункта 2) к себе в проект, и был бы счастлив.

Но, в случае статической линковки я могу себе позволить иметь сколько угодно артефактов любой степени всратости, лишь бы конечный продукт работал.

Поэтому я делаю финт ушами - https://github.com/pg83/ix/blob/main/pkgs/lib/execinfo/format/ix.sh

Я пересобираю библиотеку из пункта 2, но с указанием, что в .a файле нужно переименовать функцию backtrace(). На выходе я имею библиотеку, в которой есть функции xxx_backtrace(), backtrace_symbols(), и backtrace_symbols_fd()

Если ее скомпоновать с библиотекой 3), или библиотекой 4), то я получу на выходе годный артефакт. Линкер же выкинет при линковке ненужную функцию xxx_backtrace(), и все будет по красоте!

https://github.com/pg83/ix/blob/main/pkgs/lib/execinfo/itanium/ix.sh#L6
https://github.com/pg83/ix/blob/main/pkgs/lib/execinfo/unwind/ix.sh#L6

Собственно, я так и делаю.

В мире динамической линковки это было бы весьма странно.

В случае же статической сборки, если не особенно сильно принюхиваться, то норм, ну и я, заодно, сэкономил себе кучу времени и усилий.
👍8🤔4🔥3
Выходной, почему-то хорошее настроение, поэтому вот вам чутка менеджерской мудрости от дядюшки PG!

(мне эту глубокую мысль донес один коллега лет 17 назад, я не претендую на лавры изобретателя)

Если вы хотите от какого-то коллеги #protaskivanie чего-нибудь, а он активно сопротивляется, рассказывает про иерархию классов о 10 уровней, и про то, что просто так он протащить это не может, и нужен рефакторинг всей системы на пару месяцев, то скажите ему, что вы сейчас положите нужное значение в глобальную(можно пертредную) переменную, и прочитаете ее там, где вам нужно.

Пообещайте, что сейчас зашлете ему PR, и спокойно возвращайтесь на рабочее место.

К тому моменту, как вы сядете за ноутбук, в вашей почте, скорее всего, уже будет лежать предложение о компромиссном решении, каким-то не очень всратым образом.

В критической ситуации люди соображают быстро, да.
😁62💩14🔥7🤔2
https://xn--r1a.website/cgevent/4553

"Все чаще нейросети и Blender будут встречаться в одном предложении"

Если подумать, то этот сниппет вполне может стать провидческим.

Довольно легко представить себе Блендер такой площадкой, куда может прийти вендор, и наговнокодить немного кода для демонстрашки своей новой-кленовой технологии.

Ну вот как в #mesa идут Valve и Microsoft и Intel, и так делее.
👍4🤔1
https://vgel.me/posts/mmap-arena-alloc/

"mmap(1Tb): A Rust arena allocator (ab)using Linux overcommit"

Чувак написал memory pool поверх mmap. Как обычно, 2/3 статьи восхваляют Rust, еще 1/3 - некрасивые врапперы над системным примитивом(mmap, в данном случае), и одна строчка реально полезного кода.

При измерении скорости обхода этого дела автор, конечно, ничего не говорит про то, что основной perf gain, скорее всего, из-за hugetlb, не говоря уж про попытку это измерить.

Вообще, конечно, забавно наблюдать, как новое поколение осваиват старые трюки. Не могу сказать что "под новым соусом", скорее, под новым синтаксисом.

Трюк с выделением 1TB на старте довольно известный, у нас так работает один из боевых аллокаторов в проде.
😁12👍7🥰2
Forwarded from Топ Twitter
😁13👍3🤩2🔥1
commit -m "better"
https://vgel.me/posts/mmap-arena-alloc/ "mmap(1Tb): A Rust arena allocator (ab)using Linux overcommit" Чувак написал memory pool поверх mmap. Как обычно, 2/3 статьи восхваляют Rust, еще 1/3 - некрасивые врапперы над системным примитивом(mmap, в данном случае)…
Мне, пока я писал про memory pool на 1TB, вспомнилась история с одной нашей программой, которая ласково называется "движочек".

Программа использовала похожую технику. На старте каждого треда(на самом деле, корутины, но этот факт просто затруднит рассказ, но ничего не привнесет в него, поэтому пусть будет тред) выделялось 16 мегабайт памяти на стек, и дальше программа старалась минимизировать число динамических аллокаций, и использовать всякого рода memory pool, созданные на этом стеке.

Как?

char buf[1000000];
MemoryPool pool(buf, sizeof(buf));
someFunc(pool);

В какой-то момент времени заметили, что программа снова утекает.

(почему снова? Потому что программа была сложная, со сложной судьбой, берущей свои начала в C. А санитайзеры с ней тогда еще не умели работать)

Долго с этим ковырялись, в конце концов выяснилось красивое:

Стеки выделялись с overcommit, и переиспользовались. Запросы, которые обрабатывала программа, могли сожрать как 2 килобайта стека, так и 16 мегабайт.

Поэтому, с течением времени, каждый стек из пула обрабатывал "тяжелый" запрос, и "закоммичивался" на свой полный размер.

Выглядело это как утечка.

Как это починили?

Рассматривалось несколько разных решений:

* тред-реклеймер, который бы с каким-то постоянным rate возвращал бы пулы в систему

* В конце каждого запроса бросать кубик, и, с небольшой вероятностью, возвращать(или munmap, или madvise, это неважно) память в систему.

* Завести счетчик использования для каждого пула.

Как конкретно было сделано в движочке, я не помню, коллеги, которые меня читают, если захотят, расскажут в комментариях :)

Я особо хочу заострить внимание на вероятностном способе. Он применим много где, но про него, почему-то, мало кто знает.

Чаще всего его надо использовать, когда у вас горит здесь и сейчас, и проблему надо решить быстро - за единицы и десятки минут. Например, разросся какой-то кеш в программе, и все начало oom-иться - можно добавить в code path на добавление элемента бросание кубика и очистку кеша.

Это, конечно, скорее, про "починить быстро и грязно, чтобы получить время на нормальную починку", но, так-то, знаю места, где подобное грязное решение просуществовало несколько лет, прежде чем появилась нужда в чем-то более качественном.
🔥9👍4🐳3
Forwarded from Дидлошная
😁22🥴4🔥1
commit -m "better"
Прекрасное от того же автора, что и текст про статическую линковку: #gavin https://news.ycombinator.com/item?id=28737554 https://yzena.com/yzena-copyleft-license/ (пункт 16) #copilot Товарищ заодно еще и автор новой лицензии на OSS, основная фишка которой…
https://www.opennet.ru/opennews/art.shtml?num=58055
https://lobste.rs/s/ukgknn/github_copilot_litigation

#copilot

Мне особо нечего добавить к тексту на opennet, он реально хороший, разве что:

* Я не юрист, но, кажется, цитирование скольки-то строк не создает нарушение copyright.

* Чем обучение copilot отличается от обучения меня? Я, когда прочел код, и сам написал похожий, тоже нарушил copyright?

* В целом, считаю, что использование гитхабом исходников для обучения взамен предоставляемого сервиса - это честное(в человеческом смысле) использование.

* Я, с точки зрения отношения к #strong_ai, луддит, но эту лавину уже не остановить, поэтому зачем ее тормозить - непонятно.
👍5🤩3🤔1🤯1
https://github.com/hanslub42/rlwrap #terminfo

Релиз ничем не примечателен, кроме того замечательного факта, что он у меня сегфолтится.

Но я подумал, что, наверняка, есть коллеги, которые не знают про эту замечательную утилиту.

TL;DR - она добавляет readline в любую внешнюю программу, которая ориентирована на построчный ввод. С автодополнением, и прочими ништяками.

Конечно, было бы правильно, если бы этим занимался ваш терминал.

Ну, реально, если бы API терминала был чуть менее асинхронным, и можно было бы сделать синхронный вызов в него. Пишешь в него специальную ESC последовательность, а он тебе - строку с результатом в твой stdin.

Сразу исчезли бы все проблемы с лицензией на GNU readline, и она стала бы доступна по клиент-серверной модели всем желающим.

Вряд ли, конечно, господа терминало-писатели до этого договорятся. #foot
👍6
commit -m "better"
#svg С иконками, я, конечно, намучался. * Пути к дефолтным иконкам в тулкитах. * Какие иконки должны быть. * Часть иконок в Adwaita лежит в png, часть - в svg, эти множества частично пересекаются. Что выберет то или иное приложение, одному (хз знает кому)…
Решил я запилить простенький демон, который бы по запросу вычитывал svg, вызывал бы inkscape, и отдавал бы отренжеренную иконку.

А плагин для отрисовки svg в gtk(gdk-pixbuf) ходил бы в этот демон, вместо того, чтобы вызвать бажную и глючную librsvg.

Но, перед тем, как пилить код, решил проверить, сколько вообще inkscape рендерит простейший svg файл:

pg-> time inkscape -o ~/qw.png -w 100 
window-close-symbolic.svg

real 0m0.160s
user 0m0.147s
sys 0m0.014s

Запустил я это команду, и пригорюнился, потому что красивая концепция разрушилась на лету. С такой скоростью рендеринга первый запуск gui будет ну очень медленным.

(надо сказать, что сам рендеринг там быстрый, но вот cold start inkscape - тормозит)

Думал я, думал, и, в конце концов, плюнул на всю воображаемую красоту, и наговнокодил вот этот скриптец - https://github.com/pg83/ix/blob/main/pkgs/aux/adwaita/icons/png/ix.sh

Он готовит пакет с преренжеренными иконками в png формате, для любой наперед заданной темы, с помощью inkscape.

Все иконки из adwaita, например, заняли 10 мегабайт.

Артефакты рендеринга с таким пакетом иконок, понятное дело, ушли.

Ну, ладно, если попытаться отрендерить некоторые иконки в нестандартном разрешении, они все еще будут некрасивыми, но свои 90% профита я в данном месте съел.

А вы, конечно, сидите на inferior rendering от rsvg, да!
👍8😈3🔥1
commit -m "better"
Меня тут в комментариях спрашивали, что я собираюсь делать с вопроизведением звука через bluetooth, потому что в Linux оно нормально работает только через PipeWire. #cras #sndio Я на это ответил, что у меня есть 2 варианта: 1) alsa умеет предоставлять bluetooth…
ChromiumOS, это, конечно, кладезь полезного кода, жалко что Google не двигает все его запчасти в ширнармассы. Решения инженеров из Гугла мне нравятся больше, чем решения бородатых дядек из RedHat.

https://chromium.googlesource.com/chromiumos/platform2/+/master/vm_tools/sommelier/

Вот, например, совершенно замечательная штука - nested wayland compositor.

Я пока не придумал, куда мне ее применить, но, кажется, что, с ее помощью, можно научиться переживать смерть основного композитора.

Так же она позволяет запустить набор окон со своим уникальным scale.

Написано оно весьма неплохо, если интересно, как запилить свой композитор, то лучше почитать ее, нежели sway/wlroots.
👍9💯1
https://www.phoronix.com/news/Linux-DRM-Process-Start-With-X

Опять кто-то возбухает про хак про определение имени процесса, и выключении какой-то функциональности в ядре, если есть совпадение.

Так-то это нормальная практика, я несколько раз писал, что это делает, например, #mesa. Кстати, не помню, рассказывал или нет, но в одной из версий они проапдейтили этот механизм так, что он начал матчить хаки по md5 от бинарника(https://gitlab.freedesktop.org/mesa/mesa/-/blob/main/src/util/00-mesa-defaults.conf#L888). В мире Linux это имеет мало смысла, а вот в мире игруль под wine(windows, valve, etc) это, конечно, имеет смысл.

https://gitlab.freedesktop.org/mesa/mesa/-/blob/main/src/util/00-mesa-defaults.conf - вообще, посмотрите, сколько тут всяких интересных хаков для разных программ.
👍42😁2👎1
Я вам сегодня расскажу, что такое катарсис!

Катарсис, это когда:

* тебе нужно указать зависимость gtk -> набор иконок по умолчанию(скажем, adwaita)
* ты понимаешь, что рендеринг этих иконок у тебя сломан, потому что старая librsvg
* ты хочешь отрендерить эти иконки с помощью inkscape
* и тут появляется кольцевая зависимость, потому что inkscape -> gtk -> adwaita -> inkscape
* ты полгода пилишь свой графовый движок, чтобы он был достаточно хорош, чтобы понять, что data runtime dep не портит uid сборки, и сборка inkscape + gtk + adwaita - это ровно то же самое, что сборка inkscape + gtk + no icons
* и, наконец, разбить этот цикл, сказав, что inkscape для сборки - это inkscape, но с "gtk без иконок" - https://github.com/pg83/ix/commit/95eeebcce8a347873dbbf2b4ec54915265c7b1ff
* самое главное - что получившийся "inkscape без иконок" имеет тот же uid, и команду для сборки, что и "inkscape с иконками", то есть, у нас не случилось extra work!

То вот это вот - катарсис! :D
👍8🔥8😁3👎2🤔2
Oops!…I Did It Again

У меня тут, при переходе на #QT 6.4, каким-то очень странным образом начала коркаться телега, при попытке отобразить какие-то очень специфические картинки:

[Switching to LWP 14132]
0x0000000009f795b7 in QRgba64 const* fetchTransformedBilinear64<(TextureBlendType)4>(QRgba64*, Operator const*, QSpanData const*, int, int, int) ()
(gdb) bt
#0 0x0000000009f795b7 in QRgba64 const* fetchTransformedBilinear64<(TextureBlendType)4>(QRgba64*, Operator const*, QSpanData const*, int, int, int) ()
#1 0x0000000009f87338 in handleSpans<BlendSrcGenericRGB64>(int, QT_FT_Span_ const*, QSpanData const*, Operator const&)::{lambda(int, int)#1}::operator()(int, int) const ()
#2 0x0000000009f87444 in void std::__1::__function::__policy_invoker<void ()>::__call_impl<std::__1::__function::__default_alloc_func<handleSpans<BlendSrcGenericRGB64>(int, QT_FT_Span_ const*, QSpanData const*, Operator const&)::{lambda()#1}, void ()> >(std::__1::__function::__policy_storage const*)
()
#3 0x000000000a4ce3a1 in QThreadPoolThread::run() ()
#4 0x000000000a4cbdb9 in QThreadPrivate::start(void*) ()
#5 0x000000000a746a6c in start ()
#6 0x0000000000000000 in ?? ()

Проблема в том, что в дебажной сборке нихрена не видно - не падает, а как(и куда) нести такое - непонятно.

Поэтому базовую библиотеку qt я(временно!) собираю без оптимизаций - https://github.com/pg83/ix/blob/main/pkgs/lib/qt/6/base/ix.sh#L61, так оно делает вид, что работает.

Это уже вторая такая библиотека, первой была openssl - https://github.com/pg83/ix/blob/main/pkgs/lib/openssl/t/ix.sh#L25

Морали в этом особой нет, просто "и вот такие решения приходится принимать". На поиск таких ошибок можно полжизни положить, было бы желание.
👍3🤯3🤔1😢1
commit -m "better"
https://www.oilshell.org/blog/2022/10/garbage-collector.html Тут вот коллега пишет status update про oil shell. Пишут, что занимались garbage collector. Ну, конечно, это основное, что надо пилить, когда ты решил запилить shell. Я почему-то совсем не удивлен:…
https://www.oilshell.org/release/0.12.9/changelog.html

Я продолжаю (с огромным удовольствием!) следить за развитием проекта oil shell.

На этот раз интересного changelog нет, но я просто посмотрел в список коммитов.

Некто "Andy C" занимается рефакторингом, рантаймом, gc, бенчмарками, фреймворком для бенчмарков, всем, кроме самого shell.

И буквально 3 коммита от каких-то других людей, которые, видимо, пытаются этим пользоваться.

Ну, ладно, автора явно прет, а остальные-то чего хотят?
😁11👍2🤡2
Субботний rant про невменяемые системы сборки.

Нет ни одной OSS системы сборки, которую я бы мог назвать "бескомпромиссно хорошей".

Мало кто из OSS сборок знает, что такое "чистые билды", что такое content addressable storage.

#bazel знает, но написан на java.

#meson не знает, но зато в нем приятные скрипты для описания конфигурации.

Дай, думаю, посмотрю на #premake. https://premake.github.io/

Бугага, в качестве graph execution engine он предлагает gnu makefile, и даже не предлагает ninja.

И, самая мякотка, https://github.com/SpartanJ/efsw/blob/1.3.0/premake5.lua#L121, он позволяет сборочному скрипту контролировать, куда premake положит Makefile.

Вот, реально, сгенеренный Makefile можно положить в любое место, которое придет в голову мейнтейнеру пакета, и переопределить снаружи это невозможно.

Это вообще какое неуважение к тем, кто этот код собирает?

Для запуска Makefile так-то нужно знать, где он лежит.

Набор типовых конфигураций тоже не стандартизован - https://github.com/SpartanJ/efsw/blob/1.3.0/premake5.lua#L123, install таргетов я не нашел, да и вообще, все это выглядит как зумерская поделка.
👍3😢2😐2