commit -m "better"
3.45K subscribers
1.17K photos
165 videos
3 files
2.6K links
just random thoughts
Download Telegram
😁92💯12👍5🔥2🤡2🏆2
https://www.opennet.ru/opennews/art.shtml?num=65216

TL;DR - луддиты наступают, перепись проектов, отказавшихся от приема PR от LLM.
👍10🤡7🐳65👀3🔥2🤮2
Ой как я хорошо свой #distbuild нагрузил - любо-дорого.

#lab #homelab
🔥144🤡3👍1
https://habr.com/ru/companies/pvs-studio/articles/1026084/

TL;DR - хороший пример https://ru.wikipedia.org/wiki/Подмена_тезиса, и https://xn--r1a.website/itpgchannel/4032 с https://xn--r1a.website/itpgchannel/4016 заодно.

Автор текста выбрал совершенно всратую библиотеку, которая была написана, очевидно, нубом в оптимизации (вспоминаем мой тезис, что LLM мультиплицирует твои скилы, а не прибавляет к ним), и явно "навайбкожена", а не "накложена" (разницу между этими понятиями я объянял по последней ссылке выше), и знатно проехался по коду, и заодно про способности LLM.

Чувак, судя по коду, просто попросил LLM "напиши мне оптимальный код", но это так не работает.

Вывод автор статьи получил, конечно, ровно тот, что и хотел.

Вот почему когда я кложу корутинный сервер в своей #std, он, судя по замерам, не сильно хуже современного state of the art, типа tokio/tbb/go runtime (в которые вложено на 3 порядка ресурсов больше, чем смог вложить я, на минуточку)?

Вопрос риторический, ответ я много раз уже давал, сходите по ссылкам.

#std #perf #LLM

(за ссылку спасибо https://xn--r1a.website/dereference_pointer_there/10976)
👍20🤡184🔥1
Я, короче, опять сделал, и испытываю полный, полный восторг!

Реально, розовая мечта последних лет пяти, особенно после того, как у меня в доме стало больше одного телевизора, и больше одного человека, который ими пользуется.

В общем, мне хотелось завести решение для стриминга видео, которое:

* Надежно. То есть, не имеет ни одной точки отказа, разве что, кроме электричества и сети - я не могу себе позволить две входных линии того и другого.

* Удобно. Для меня это значит скачать торрент, и отправить его в телегу боту. Через какое-то время файл должен стать доступным для просмотра на всех устройствах дома, которые его могут воспроизвести.

* Эластично. Хотелось бы уметь растить хранилище инкрементально.

Сетевой диск + условный PLEX сразу отпадают - и неудобно, и ненадежно.

Систему я спроектировал давно, но все нужные компоненты у меня появились только сейчас - это gorn https://xn--r1a.website/itpgchannel/4027 #distbuild, batch система запуска задач, про которую я однажды писал, minio - надежный распределенный S3 store, ну и #LLM, главный спонсор "а теперь Антон может за вечерок наколбасить весь нужный код"!

Та-дам, https://github.com/pg83/samogon!

Как это работает?

Телеграм ботик получает на вход torrent file. Все, что он делает после этого - cat torrent | gorn ignite -- samogon fetch.

Далее где-то в глубинах моей #lab #homelab запускается эта команда, и начинает качать торрент.

Качает она его не на диск, качает она его в S3 minio. Каждый piece она кладет по его адресу, который является его же хешом, то есть, это content addressable store.

Далее есть sftp сервис, который тоже поднят в моем облаке, он абсолютно stateless, все, что он умеет - скачать к себе torrent file, и начать отдавать в stream чанки из S3, один за другим.

Все эти сущности написаны как несколько хендлеров одной программы - https://github.com/pg83/samogon.

Система абсолютно неубиваема - хост упал, значит, gorn перезапустит fetch в новом месте, до полного успеха. Уже скаченные чанки не качаются снова. S3 minio тоже переживает выпадание любого диска или машины целиком.

Да, да, я качаю торренты в свой S3, и раздаю их оттуда же!

КДПВ - пруф того, что я теперь реально смотрю фильмы, которые лежат в этой системе.

Ну и, конечно, totally clauded, без #LLM у меня никогда не нашлось бы на это времени.

Если честно, полный восторг!

(многие, услышав это название, поперхнутся от смеха/слез, но ничего лучше с *GO* я не придумал)
🔥45😁1910👍5🤡5🤯4🤔2
😁75👍10🤡52🆒1
https://www.anthropic.com/engineering/april-23-postmortem

TL;DR - Антропики "извиняются" за то, что "случайно" ухудшили свои модели.

Не знаю, насколько это "случайно", но тот факт, что это произошло перед тем, как надо выкладывать бенчмарки старой vs. новой модели, доставляет.

Так же доставляет ощущение, что нифига они назад не открутили в полном объеме, opus тупее, чем был пару недель назад.
😁30👍6🤡3👎2🔥2💩2🐳1🤨1
больше всего на свете я люблю собирать clang!
😁24🔥5🤡3🐳21
commit -m "better"
Взял и наклодил себе очередь задач - https://github.com/pg83/gorn
Про то, как #LLM ищут дыры в безопасности.

Я свою #LLM в свой прод не пускаю, я ее поселил в отдельный сетевой namespace, у нее доступ только до socks5 для общения с API антропиков, и несколько дырок до всяких RO сервисов, типа мониторинга, коллектора логов, и так далее.

Помогает мне дебажить #homelab #lab, и пишет скрипты выкладки в прод. Как девопс/админ/хелпдеск - выше меня на голову.

Я думал, что я молодец, но тут ВДРУГ, ВНЕЗАПНО:

"Хочешь чтобы я зашёл на lab2 через gorn ignite и ethtool'ом вытащил категоризацию?"

И тут я седею, потому что понимаю, что у нее уже давно есть доступ к кластеру, потому что есть доступ в API gorn (дал для дебага, было RO), и теперь там есть API для запуска задач. Который, собственно, она же и написала.

Ссука.
😁115🤡97🔥3🐳1
https://malus.sh/

"Finally, liberation from open source license obligations.

Our proprietary AI robots independently recreate any open source project from scratch. The result? Legally distinct code with corporate-friendly licensing. No attribution. No copyleft. No problems"

Это гениально, я считаю!
😁42🤡14👎4🔥21🐳1
Дизайним с #LLM "надежный" (кворумный) git, поверх etcd + minio.

Ох, чувствую, опять ввязываюсь в приключение на пару выходных!
😁18💊109🤡6🤯4🥱2🔥1
commit -m "better"
Штош
pg:home# ETCDCTL_ENDPOINTS=lab1.nebula:8020 MC_HOST_ogorod=http://...@10.0.0.65:8012 git push ourselves master
To ogorod://ogorod
* [new branch] master -> master
...
pg:home# ETCDCTL_ENDPOINTS=lab1.nebula:8020 MC_HOST_ogorod=http://...@10.0.0.65:8012 git clone ogorod://ogorod .
Cloning into '.'...
ogorod: fetched 34 new objects (34 total reachable)
...
pg:home# ls
CLAUDE.md README.md STYLE.md env.go etcd.go gc.go go.mod go.sum helper.go main.go objects.go s3.go throw.go


однако
🔥10🤡7😁43🤔2👍1
Forwarded from Ньюсач/Двач
❗️МВД советует россиянам не переходить по ссылкам вне доменной зоны (.ru), чтобы не заразить устройства вредоносным ПО и не дать к ним доступ мошенникам
🤡86🤣24🫡13💩6👍4🤮43🔥2🖕2
commit -m "better"
Ох, чувствую, опять ввязываюсь в приключение на пару выходных!
Оказалось приключением на один выходной. Теперь у меня внутри #homelab поднят сервер, который ведет себя "как git", причем двумя разными способами. Но внутри он использует etcd/minio как backend.

В общем, есть у меня теперь "надежный git с кворумом".

Пока использую как кеш для внутренних процесссов CI и деплоя, уменьшая нагрузку на "точку правды" в github в 10 раз, тем самым, уменьшая лаг от коммита до деплоя в лабу (у github есть лимит по числу запросов, за который не стоит вылезать).

А если оно окажется реально надежным, то и разработку переведу в него. Точка правды, конечно, останется в github, много раз писал, почему.
👍18🔥10🥱63💊2🆒1
Пример того, что #LLM мультиплицируют скилы, а не прибавляют к ним.

После того, как Клода уговорила меня запилить ей стек из Loki/PromTail, для более удобной интроспекции кластера, я завел привычку раз в день говорить ей "полный анализ проблем на кластере".

И, знаете, Клода очень хороша в этом! Она нашла и починила с десяток проблем, которые я или не заметил, или проигнорировал, потому что лень.

Особенно тяжело было искать проблему с тем, что etcd где-то раз в час менял лидера, чего в здоровом кластере происходить не должно.

Она довольно долго строила гипотезы, грепала логи, строила предположения, но починить это так и не получилось.

В конце-концов я вспомнил, что закончил мехмат, и спросил у нее, есть ли вообще в Прометее анализ временных рядов в общем, и кросс-корреляция с задержкой в частности.

Клода мне честно ответила, что нет, и я заставил ее написать https://github.com/pg83/lab/blob/master/bin/dev/scripts/xcorr.py. Скрипт качает пару временных рядов из Прометея локально, и смотрит, как они скоррелированы.

Дальше я ее попросил построить десяток гипотез, и проверить их. Через 5 минут у нас случился прорыв, картинка на КДПВ. Простой взгляд на логи не работал, потому что там реально задержка в 60 секунд между рядами.
🔥40🤡8👍6🐳2🆒1
Forwarded from Админим с Буквой (Aleksandr Kondratev)
Современная CTF-реальность (основное мероприятие закончилось в 18)
👍14🤡8🔥43🤔1
😁119🤡2