Интересно конечно, что бы сделала цивиллизация, обладающая "настоящим наблюдателем", столкнувшись с философским зомби.
💊18🤔10👾4👍2❤1
commit -m "better"
Коллеги, а порекомендуйте нормальную очередь задач для распределенного кластера?
Я это вижу примерно так - etcd + какая-то встраиваемая библиотека, которая реализует скучные вещи, типа очередей поверх etcd, какой-нить простой work stealing алгоритм шедулинга, эфемерные ноды для каждого хоста, разгребающего очередь, для того, чтобы задачи с упавших нод прозрачно возвращались в общую очередь, и прочий crud.
Я это вижу примерно так - etcd + какая-то встраиваемая библиотека, которая реализует скучные вещи, типа очередей поверх etcd, какой-нить простой work stealing алгоритм шедулинга, эфемерные ноды для каждого хоста, разгребающего очередь, для того, чтобы задачи с упавших нод прозрачно возвращались в общую очередь, и прочий crud.
#LLM явно дают буст развитию моей #lab #homelab.
Взял и наклодил себе очередь задач - https://github.com/pg83/gorn
#distbuld
Взял и наклодил себе очередь задач - https://github.com/pg83/gorn
#distbuld
GitHub
GitHub - pg83/gorn
Contribute to pg83/gorn development by creating an account on GitHub.
🥱24👍6🤡5🔥4🤔2
commit -m "better"
Взял и наклодил себе очередь задач - https://github.com/pg83/gorn
Ссука, никто не выкупил "gorn плавит код, из которого куется stal/ix". Оркестратор, который будет выполнять граф #IX поверх gorn, будет называться, конечно, molot!
#distbuild
#distbuild
🔥24💊16⚡6🗿5❤3👍2🤡2🥱2
commit -m "better"
Оркестратор, который будет выполнять граф #IX поверх gorn, будет называться, конечно, molot!
https://github.com/pg83/molot
Производство непосредственно кода стало какой-то безумно дешевой вещью.
Я думаю, у меня этот #homelab проект "#distbuild в каждый дом" (а это именно он - распределенная очередь задач + выполнение сборочного графа поверх) занял бы пару месяцев напряженных вечеров и выходных, а сейчас я это сделал не напрягаясь, за пару выходных.
Оно, э, взяло и заработало с первого раза, и теперь я вышел на новый уровень своего CI - не локальный запуск на одном сервере, а честная распределенная сборка, с честным хранением всех артефактов в minio.
Производство непосредственно кода стало какой-то безумно дешевой вещью.
Я думаю, у меня этот #homelab проект "#distbuild в каждый дом" (а это именно он - распределенная очередь задач + выполнение сборочного графа поверх) занял бы пару месяцев напряженных вечеров и выходных, а сейчас я это сделал не напрягаясь, за пару выходных.
Оно, э, взяло и заработало с первого раза, и теперь я вышел на новый уровень своего CI - не локальный запуск на одном сервере, а честная распределенная сборка, с честным хранением всех артефактов в minio.
GitHub
GitHub - pg83/molot
Contribute to pg83/molot development by creating an account on GitHub.
❤28🤡10👍7🔥6🤮2🆒1
Мне тут, знаете, пеняют, что мой блог стал блогом про #LLM.
А что делать, если я сюда пишу, в основном, про свои технологические процессы? Вот занимался #bootstrap #stal/#ix, и 5 лет писал про это. Недавно написал, что эта задача, в целом, завершена https://xn--r1a.website/itpgchannel/3998 - сейчас #ix у меня обновляется бОльшей частью в автоматическом режиме. Понятное дело, что про bootstrap в блоге стало сильно меньше.
Сейчас много занимаюсь старыми долгами про #homelab - пишу про нее.
И, так как я решил, что руками сам ни строчки кода в жизни больше не напишу, потому что это неэффективно, во всех моих работах есть и будут есть отсылки к #LLM.
Это не какое-то локальное увлечение вайбкодингом, а то, что тут теперь будет всегда.
Кстати, отдельно замечу, что я разделяю "вайбкодинг" и "клодинг". Первое - это когда нуб генерирует тонны неподдерживаемого одноразового слопа, второе - совершенно другой подход, когда ты активно общаешься с LLM в процессе дизайна и разработки, прорабатываешь с ней лучшие варианты, и заставляешь переписывать плохой код по 3 - 4 раза.
В первом техпроцессе код получается "ничей", и плохой, во втором - в процессе ты этот код как бы адоптишь (начинаешь считать "своим", это очень важно), и он получается гораздо лучше, чем если бы вы этот код с LLM написали по отдельности.
А что делать, если я сюда пишу, в основном, про свои технологические процессы? Вот занимался #bootstrap #stal/#ix, и 5 лет писал про это. Недавно написал, что эта задача, в целом, завершена https://xn--r1a.website/itpgchannel/3998 - сейчас #ix у меня обновляется бОльшей частью в автоматическом режиме. Понятное дело, что про bootstrap в блоге стало сильно меньше.
Сейчас много занимаюсь старыми долгами про #homelab - пишу про нее.
И, так как я решил, что руками сам ни строчки кода в жизни больше не напишу, потому что это неэффективно, во всех моих работах есть и будут есть отсылки к #LLM.
Это не какое-то локальное увлечение вайбкодингом, а то, что тут теперь будет всегда.
Кстати, отдельно замечу, что я разделяю "вайбкодинг" и "клодинг". Первое - это когда нуб генерирует тонны неподдерживаемого одноразового слопа, второе - совершенно другой подход, когда ты активно общаешься с LLM в процессе дизайна и разработки, прорабатываешь с ней лучшие варианты, и заставляешь переписывать плохой код по 3 - 4 раза.
В первом техпроцессе код получается "ничей", и плохой, во втором - в процессе ты этот код как бы адоптишь (начинаешь считать "своим", это очень важно), и он получается гораздо лучше, чем если бы вы этот код с LLM написали по отдельности.
Telegram
commit -m "better"
https://github.com/pg83/ix/commit/39132fd0b07dcdd9f884e90f90a064bcefe04869
#LLM
Полностью накукложено, ноль вмешательства человека.
В целом, машина уже может обновлять пакеты, добавлять пакеты, при этом, в отличие от моих предыдущих автоматизаций, она…
#LLM
Полностью накукложено, ноль вмешательства человека.
В целом, машина уже может обновлять пакеты, добавлять пакеты, при этом, в отличие от моих предыдущих автоматизаций, она…
🤡57🤝32👍21❤7✍3🔥2🤯1👌1
https://www.ixbt.com/news/2026/04/19/proryv-v-kompiljatorah-optimizacija-delenija-uskorila-processory-apple-i-intel-pochti-vdvoe.html
TL;DR - ускорили деление на константу в 2 раза.
https://arxiv.org/html/2604.07902v1
UPD: в комментариях пишут, что не на все константы, а лишь на некоторые, так что важность, конечно, не такая, как кажется из заголовка.
(предложка)
TL;DR - ускорили деление на константу в 2 раза.
https://arxiv.org/html/2604.07902v1
UPD: в комментариях пишут, что не на все константы, а лишь на некоторые, так что важность, конечно, не такая, как кажется из заголовка.
(предложка)
IXBT.com
Прорыв в компиляторах: оптимизация деления ускорила процессоры Apple и Intel почти вдвое
Оптимизация устраняет «проблему 33-го бита» и уже внедрена в LLVM, с обновлениями для GCC и MSVC на подходе
🤡10👍4😢2🆒1
https://www.phoronix.com/news/GNU-Coreutils-9.11
TL;DR - в свежем GNU Coreutils 9.11 ВНЕЗАПНО ускорили cat аж в 15 раз, а wc - в 4.5 раза!
Двадцать лет дiды сидели на жопе ровно, с важным видом заявляя: "мы лучше всех, а больше и нет ничего, и что вы с этим сделаете?".
Но стоило на горизонте замаячить конкуренту в лице uutils, который начал отжимать аудиторию и хвастаться бенчмарками, как у дедушек моментально нашлось время прикрутить zero-copy I/O и векторные оптимизации.
Как же все-таки охуенно иметь конкурента: как только твоя монополия заканчивается и нужно реально соревноваться за выживание, ты сразу же прекращаешь кормить людей байками, и наконец-то идёшь оптимизировать свой код.
TL;DR - в свежем GNU Coreutils 9.11 ВНЕЗАПНО ускорили cat аж в 15 раз, а wc - в 4.5 раза!
Двадцать лет дiды сидели на жопе ровно, с важным видом заявляя: "мы лучше всех, а больше и нет ничего, и что вы с этим сделаете?".
Но стоило на горизонте замаячить конкуренту в лице uutils, который начал отжимать аудиторию и хвастаться бенчмарками, как у дедушек моментально нашлось время прикрутить zero-copy I/O и векторные оптимизации.
Как же все-таки охуенно иметь конкурента: как только твоя монополия заканчивается и нужно реально соревноваться за выживание, ты сразу же прекращаешь кормить людей байками, и наконец-то идёшь оптимизировать свой код.
Phoronix
GNU Coreutils 9.11 Brings New Performance Improvements: Up To 15x Faster cat
It's not only the uutil's Rust Coreutils project seeing performance improvements but some increased healthy competition now from GNU Coreutils
😁54❤18🤡8👍6🔥2🐳1
https://www.opennet.ru/opennews/art.shtml?num=65216
TL;DR - луддиты наступают, перепись проектов, отказавшихся от приема PR от LLM.
TL;DR - луддиты наступают, перепись проектов, отказавшихся от приема PR от LLM.
👍10🤡7🐳6❤5👀3🔥2🤮2
https://habr.com/ru/companies/pvs-studio/articles/1026084/
TL;DR - хороший пример https://ru.wikipedia.org/wiki/Подмена_тезиса, и https://xn--r1a.website/itpgchannel/4032 с https://xn--r1a.website/itpgchannel/4016 заодно.
Автор текста выбрал совершенно всратую библиотеку, которая была написана, очевидно, нубом в оптимизации (вспоминаем мой тезис, что LLM мультиплицирует твои скилы, а не прибавляет к ним), и явно "навайбкожена", а не "накложена" (разницу между этими понятиями я объянял по последней ссылке выше), и знатно проехался по коду, и заодно про способности LLM.
Чувак, судя по коду, просто попросил LLM "напиши мне оптимальный код", но это так не работает.
Вывод автор статьи получил, конечно, ровно тот, что и хотел.
Вот почему когда я кложу корутинный сервер в своей #std, он, судя по замерам, не сильно хуже современного state of the art, типа tokio/tbb/go runtime (в которые вложено на 3 порядка ресурсов больше, чем смог вложить я, на минуточку)?
Вопрос риторический, ответ я много раз уже давал, сходите по ссылкам.
#std #perf #LLM
(за ссылку спасибо https://xn--r1a.website/dereference_pointer_there/10976)
TL;DR - хороший пример https://ru.wikipedia.org/wiki/Подмена_тезиса, и https://xn--r1a.website/itpgchannel/4032 с https://xn--r1a.website/itpgchannel/4016 заодно.
Автор текста выбрал совершенно всратую библиотеку, которая была написана, очевидно, нубом в оптимизации (вспоминаем мой тезис, что LLM мультиплицирует твои скилы, а не прибавляет к ним), и явно "навайбкожена", а не "накложена" (разницу между этими понятиями я объянял по последней ссылке выше), и знатно проехался по коду, и заодно про способности LLM.
Чувак, судя по коду, просто попросил LLM "напиши мне оптимальный код", но это так не работает.
Вывод автор статьи получил, конечно, ровно тот, что и хотел.
Вот почему когда я кложу корутинный сервер в своей #std, он, судя по замерам, не сильно хуже современного state of the art, типа tokio/tbb/go runtime (в которые вложено на 3 порядка ресурсов больше, чем смог вложить я, на минуточку)?
Вопрос риторический, ответ я много раз уже давал, сходите по ссылкам.
#std #perf #LLM
(за ссылку спасибо https://xn--r1a.website/dereference_pointer_there/10976)
Хабр
Ревью вайб-кода с гнильцой, который притворяется оптимизированным С++ кодом
Обзор вайб-кода Ценность квалифицированного программиста смещается в сторону умения проводить обзоры кода. Генерировать код становится проще, но всё так же важно проверять его с точки зрения качества...
👍20🤡18❤4🔥1
Я, короче, опять сделал, и испытываю полный, полный восторг!
Реально, розовая мечта последних лет пяти, особенно после того, как у меня в доме стало больше одного телевизора, и больше одного человека, который ими пользуется.
В общем, мне хотелось завести решение для стриминга видео, которое:
* Надежно. То есть, не имеет ни одной точки отказа, разве что, кроме электричества и сети - я не могу себе позволить две входных линии того и другого.
* Удобно. Для меня это значит скачать торрент, и отправить его в телегу боту. Через какое-то время файл должен стать доступным для просмотра на всех устройствах дома, которые его могут воспроизвести.
* Эластично. Хотелось бы уметь растить хранилище инкрементально.
Сетевой диск + условный PLEX сразу отпадают - и неудобно, и ненадежно.
Систему я спроектировал давно, но все нужные компоненты у меня появились только сейчас - это gorn https://xn--r1a.website/itpgchannel/4027 #distbuild, batch система запуска задач, про которую я однажды писал, minio - надежный распределенный S3 store, ну и #LLM, главный спонсор "а теперь Антон может за вечерок наколбасить весь нужный код"!
Та-дам, https://github.com/pg83/samogon!
Как это работает?
Телеграм ботик получает на вход torrent file. Все, что он делает после этого - cat torrent | gorn ignite -- samogon fetch.
Далее где-то в глубинах моей #lab #homelab запускается эта команда, и начинает качать торрент.
Качает она его не на диск, качает она его в S3 minio. Каждый piece она кладет по его адресу, который является его же хешом, то есть, это content addressable store.
Далее есть sftp сервис, который тоже поднят в моем облаке, он абсолютно stateless, все, что он умеет - скачать к себе torrent file, и начать отдавать в stream чанки из S3, один за другим.
Все эти сущности написаны как несколько хендлеров одной программы - https://github.com/pg83/samogon.
Система абсолютно неубиваема - хост упал, значит, gorn перезапустит fetch в новом месте, до полного успеха. Уже скаченные чанки не качаются снова. S3 minio тоже переживает выпадание любого диска или машины целиком.
Да, да, я качаю торренты в свой S3, и раздаю их оттуда же!
КДПВ - пруф того, что я теперь реально смотрю фильмы, которые лежат в этой системе.
Ну и, конечно, totally clauded, без #LLM у меня никогда не нашлось бы на это времени.
Если честно, полный восторг!
(многие, услышав это название, поперхнутся от смеха/слез, но ничего лучше с *GO* я не придумал)
Реально, розовая мечта последних лет пяти, особенно после того, как у меня в доме стало больше одного телевизора, и больше одного человека, который ими пользуется.
В общем, мне хотелось завести решение для стриминга видео, которое:
* Надежно. То есть, не имеет ни одной точки отказа, разве что, кроме электричества и сети - я не могу себе позволить две входных линии того и другого.
* Удобно. Для меня это значит скачать торрент, и отправить его в телегу боту. Через какое-то время файл должен стать доступным для просмотра на всех устройствах дома, которые его могут воспроизвести.
* Эластично. Хотелось бы уметь растить хранилище инкрементально.
Сетевой диск + условный PLEX сразу отпадают - и неудобно, и ненадежно.
Систему я спроектировал давно, но все нужные компоненты у меня появились только сейчас - это gorn https://xn--r1a.website/itpgchannel/4027 #distbuild, batch система запуска задач, про которую я однажды писал, minio - надежный распределенный S3 store, ну и #LLM, главный спонсор "а теперь Антон может за вечерок наколбасить весь нужный код"!
Та-дам, https://github.com/pg83/samogon!
Как это работает?
Телеграм ботик получает на вход torrent file. Все, что он делает после этого - cat torrent | gorn ignite -- samogon fetch.
Далее где-то в глубинах моей #lab #homelab запускается эта команда, и начинает качать торрент.
Качает она его не на диск, качает она его в S3 minio. Каждый piece она кладет по его адресу, который является его же хешом, то есть, это content addressable store.
Далее есть sftp сервис, который тоже поднят в моем облаке, он абсолютно stateless, все, что он умеет - скачать к себе torrent file, и начать отдавать в stream чанки из S3, один за другим.
Все эти сущности написаны как несколько хендлеров одной программы - https://github.com/pg83/samogon.
Система абсолютно неубиваема - хост упал, значит, gorn перезапустит fetch в новом месте, до полного успеха. Уже скаченные чанки не качаются снова. S3 minio тоже переживает выпадание любого диска или машины целиком.
Да, да, я качаю торренты в свой S3, и раздаю их оттуда же!
КДПВ - пруф того, что я теперь реально смотрю фильмы, которые лежат в этой системе.
Ну и, конечно, totally clauded, без #LLM у меня никогда не нашлось бы на это времени.
Если честно, полный восторг!
(многие, услышав это название, поперхнутся от смеха/слез, но ничего лучше с *GO* я не придумал)
🔥45😁19❤10👍5🤡5🤯4🤔2