Время Валеры
29K subscribers
189 photos
6 videos
1 file
400 links
Мне платят за то, что я говорю другим людям что им делать.
Автор книги https://www.manning.com/books/machine-learning-system-design
https://venheads.io
https://www.linkedin.com/in/venheads
Download Telegram
Получил три приглашения на ужин в палату лордов по разным поводам, на сентябрь, октябрь и ноябрь:

House of Lords Dinner on Supporting Growth with AI
House of Lords Dinner: Managing OT Cyber Risk
House of Lords Dinner: Surviving & Thriving a Data Breach

И даже думал пойти, но в итоге deal breaker-ом оказался следующий пункт: Allow 30 minutes for search and screening.
5🔥169🤔42😁28🤡1910👏7🌚2😱1
Читаю What makes Claude Code so damn good (and how to recreate that magic in your agent)!?

Вижу там такую фразу
I highly doubt your app needs a multi-agent system. With every layer of abstraction you make your system harder to debug, and more importantly you deviate from the general-model-improvement trajectory.

Вспоминаю великую книгу и приведенную там цитату, про фундаментальную теорему software engineering:
We can solve any problem by introducing an extra level of indirection. Except for the problem of too many levels of indirection.

Одна и та-же мысль повторяется везде
4😁11437👍12🤡8🔥4🗿2
По собственному опыту и тому, что прочитал в ряде источников, складывается ощущение, что retrieval через эмбеддинги в RAG проигрывает битву BM25 и regexp.

Правда, почему-то люди называют это всё RAG, хотя обсуждают только retrieval-часть.
💯80👍33🤔25😁14👀95🔥4🌭2🙏1💊1
Собеседовал кандидата на финальном техинтервью. Из плюсов — наконец-то годный staff engineer, впервые за долгое время. Из минусов — кандидат сидел голый
2😁865🌭179🤣119👀4512🤡7😭6🤔3🥴3🤨3🤝1
Примерно 6 лет назад, после конференции в Яндексе, мы с Сергеем Марковым сидели в баре и пили напитки: он пиво, я воду.

А теперь мы даже вместе не можем встретиться после конференции, а он по-прежнему выступает, в ближайшее время будет здесь https://aiboost2025.ru - собеседник он отличный, так что рекомендую
🤣101👍3712🤔10🔥4🤝4
Думал, что перечитываю курс Виктора Кантора про МЛ и его любимый Manifold Learning, а нет, это 12-млрдный стартап думающих машин - Modular Manifolds

Много думал.
1🤣74🔥3615💯7😁5👍3👎2
Forwarded from Сиолошная
Чуть более полугода назад у нас с Валерой был стрим про высказывание CEO Anthropic, мол, через полгода модели будут писать 90% кода. На стриме, как мне кажется, я очень хорошо описал некоторые из важных оговорок при оценке подобного рода высказываний:
— есть разница «могут» и «делают»
— это может быть применимо к определённым языкам программирования, а не всем
— часть подходов к разработке придётся пересмотреть, чтобы было проще интегрировать ИИ-инструменты
— это может быть применимо к свежим проектам, а не 15+ годичной давности
— это может быть применимо к проектам до определённого размера, а не кодовой базе всего Фейсбука, например

Сами Anthropic сейчас говорят, что Claude Code написан их же моделями на 90%.

Большинство заявлений о том, что «90% кода написано ИИ», исходят от разработчиков моделей / продавцов ИИ-инструментов, поэтому многие (не я) их отметают.

Aider, АИ-ассистент для программирования с открытым исходным кодом, который я как раз упоминал на стриме, от релиза к релизу то и дело перешагивает планки 75-80%. Неплохо!

И вот наткнулся на блог Armin Ronacher, создателя Flask, Jinja, Click и других крупных популярны проектов. Цитаты из поста (но рекомендую прочитать оригинал целиком):

— Что касается инфраструктурного компонента, который я начал разрабатывать в своей новой компании, то, пожалуй, больше 90% моего кода написано с помощью ИИ. Я не хочу вас убеждать — просто поделюсь тем, что узнал. Отчасти потому, что я подошел к этому проекту иначе, чем в своих первых экспериментах.

— Сервис написан на Go с небольшим количеством зависимостей. Сейчас в нём около 40 000 строк, включая Go, YAML, Pulumi и несколько специальных SDK-прослоек.

— Я установил высокую планку, особенно в плане надёжности работы. Я уже работал с подобными системами и знал, чего хочу.

— Я уделяю пристальное внимание основам архитектуры системы, структуре кода и взаимодействию с базами данных. Я невероятно самоуверен. Поэтому есть вещи, которые я не позволяю ИИ делать. Я начинал проект традиционным способом: проектирование системы, схема, архитектура. На этом этапе я не позволяю ИИ писать с нуля, а просто включаю его в свой цикл рассуждений. Это помогает мне видеть типовые ошибки, даже если я не доверяю LLM.

— Для кода, сгенерированного и поддерживаемого ИИ, я теперь получаю стек, который выглядит примерно так, как мне часто хотелось, но было слишком сложно сделать вручную.

— Не могу не подчеркнуть, насколько плохим может быть код агентов, если не быть осторожным. Хотя они понимают архитектуру системы и то, как что-то построить, они не могут смотреть на всю картину целиком. Вам постоянно нужно вносить правильную информацию в контекст.

— Легко создавать системы, которые кажутся правильными, но при использовании ведут себя неправильно. Вот пример: я попросил его создать ограничитель лимитов. Он «работал», но не имел джиттера и использовал неудачные решения по хранению данных. Легко исправить, если знаешь ограничители лимитов, но опасно, если не знаешь.

— Для меня это дошло до того, что я уже не представляю, как можно работать по-другому. Да, я, вероятно, смог бы обойтись без ИИ. Но я бы построил другую систему, потому что мне пришлось бы идти на другие компромиссы. Такой подход открывает возможности, которые я обычно пропускаю или откладываю.

— Исследование + разработка вместо «исследование, а разработка потом»: на некоторые вещи, на понимание которых у меня ушел бы день или два, теперь уходит 10–15 минут.

— Пишет ли ИИ 90% кода? Не знаю. Знаю только, что для меня в этом проекте ответ уже точно «да». В то же время, для меня ИИ не владеет кодом. Я всё равно проверяю каждую строчку, формирую архитектуру и несу ответственность за то, как всё это работает.

===

(обратите внимание, что ни о каком вайб-кодинге речи не идёт: только вдумчивая работа, где, как мне кажется, по сравнению с обычным процессом мозги приходится напрягать даже больше — пока LLM работает, ты думаешь)
6👍21161🔥17🤡10💯7🙏3🤝3
Примерно 10 лет назад Оксана написала мне в личку после конференции: «Псс, не хочешь ли пособеседоваться в Яндекс?» И тут закрутилось. (Из забавного: руководитель всей аналитики Яндекса, Лёша Долотов, случайно добавил меня в адресаты, когда давал отзыв HR на меня.)

Нынче Оксана — один из лидеров NewHR и попросила меня поделиться ссылкой на их опросник, так как результаты опроса открытые и полезны для всех, то я, конечно же, согласился.

Итак:

Мы снова запустили наше ежегодное исследование рынка аналитиков 🙂
В прошлом году ты нам здорово помог с промо опросника и мы бесконечно тебе благодарны ❤️
В этом году нам хочется еще больше данных) и может быть в этот раз у тебя тоже получится рассказать об исследовании своим подписчикам?

Что исследуем?
👉 Зарплаты и их динамика
👉 Рейтинг работодателей для аналитиков
👉 Где и как работают аналитики
👉 Как меняется зона ответственности аналитиков
👉 Как аналитики ищут работу и выбирают работодателя.
👉 Чему учатся аналитики
👉 Каких экспертов котируют


▶️ Ссылка на опросник тут ◀️
🥱12263🔥21💩15🤮94😁4👍3🖕1
Сегодня наконец-то доставили Звезду Смерти, осталось выбрать аудиокнигу.
2🔥426😁5944👍18🥱10💅9👎3🎉1
Продолжаю читать классическую китайскую литературу, с теплотой вспоминаю историю о пирожках с человечиной и рациональные причины не продавать дочь в бордель.

Так случилось, что в мае зашёл поесть хот пот в Haidilao, и там как раз рекламировали фильм Ne Zha 2, основанный на классическом китайском романе Investiture of the gods. Давно собирался его прочитать, а тут такой знак.

Самый интересный момент заключается в том, что в конце и плохие (местами очень даже поганые) , и хорошие погибшие персонажи были произведены в боги, потому что небесной канцелярии потребовалось заполнить вакансии.

Напомнило найм в МЛ.
6🤣246😁9115👎3🔥3🙈3🙊3😱2🙉2❤‍🔥1🤝1
Решил подготовиться к моменту, когда Игорь вернёт 9 биткоинов, тем более что Трамп на днях помог ему, скинув цену.

Закупил hardware кошельки (Keystone 3 Pro, Foundation Passport Core, Coldcard Mk4), металлические пластинки с буквами и мега секьюрные флешки, чтобы сделать multisig 2 of 3, multivendor.

Потратил минут 20 на настройку, затем ещё примерно 2 часа, чтобы выкладывать буквами seed фразы в многочисленных копиях на Stainless Steel Metal Seed Phrase Storage. Медитативный процесс

Закончив со всем этим, понял, все классно, но так жить нельзя, и нужно что-то простое для повседневных операций.

К важным делам нужно относиться легкомысленно." - прокомментировал мастер Иттэй. "К мелочам нужно относиться серьезно

Очевидно, что самое простое — это не ставить никакого приложения сверху, отсюда решил посмотреть, что есть нативного в ТГ, т.е. @Wallet. Буду пробовать, надо почитать, как работает non-custodial (утверждается, что есть обе опции) еще и токенизированное золото (sic!)

Игорь, жду.
7😁133👍25💩1413🔥13🤔1
Продолжаем рубрику-фаворит, форбс 30 до 30

Start-up founder Charlie Javice sentenced for defrauding JPMorgan

Подход кстати, был data driven, наняла дата саентиста, чтобы создать синтетических клиентов

Ms Javice was convicted for using falsified user-base data to make the customer list for her student financial aid company, called Frank, appear far larger than it actually was
2😁134🔥13👏93😱2💩1👌1
На днях в open source выпустили распределённую файловую систему, которая рассчитана на эксабайты (тысячи петабайт).

Сделали это чуваки из XTX, мощные трейдеры, которые известны двумя вещами: тем, что у них (по крайней мере недавно) был топ-3 кластер по количеству ГПУ, и тем, что их основатель, Александр Герко, так любит Лондон, что каждый год платит 500+ млн фунтов налогов на доходы как физическое лицо.

Из интересного (они выделили 9 пунктов, но только 5 мне кажутся отличительными)

Has no single point of failure in its metadata services.
Is hardware agnostic and uses TCP/IP to communicate.
Utilizes different types of storage (such as flash vs. hard disks) cost effectively.
Exposes read/write access through its own API over TCP and UDP, and a Linux kernel filesystem module.
Requires no external service and has a minimal set of build dependencies

Начали работы над системой в 2022 году, в середине 2024 мигрировали весь ML

TernFS' metadata is split into 256 logical shards. Shards never communicate with each other. This is a general principle in TernFS: Splitting the metadata into 256 shards from the get-go simplifies the design, given that horizontal scaling of metadata requires no rebalancing, just the addition of more metadata servers.

Ну и заодно свой формат сериализации разработали, чтобы разработчики передвигали не json, thrift, а что-то там свое.

Еще из интересного - обсуждение когда нужно зеркалить файлы, а когда делать Reed-Solomon coding.

Рекомендую почитать
1114🔥65👍3014🆒3
В качалке, где я занимаюсь, есть администратор.
Он полупрофессионально бегает марафоны.

Недавно он подошёл ко мне и заговорщически спросил: «Ты же из России?»
На что получил утвердительный кивок.
— А ты слышал, — продолжил он, — про мм-м-м--м-м-м-м-м-м-м-
— Мельдоний?
— Да!

Ясное дело, слышал, базовая добавка, которая делает цикл Кребса чуть более эффективным. И ещё с советских времён использовалась наряду с янтарной кислотой и прочими штуками, а лет 10 назад была объявлена страшным тайным допингом из СССР, и Шарапову за этот мельдоний долго полоскали.

- Привезти?
- Да!

Через пару дней подходит и спрашивает: а это таблетки или уколы?
- Не переживай, таблетки.

Сегодня передал ему две пачки Милдроната. Радости человека не было предела, теперь-то он от всех убежит. Кроме себя

Думаю, надо открывать бизнес и начать продавать секретные батончики из СССР с кровью, которые повышают перфоманс: Гематоген.
3😁1.14K121🫡43👍22💯15🤣12👏3💩3🔥2🤔1
Закончил читать второй поток МЛ Систем дизайна.

Вышло примерно 50 часов контента (плюс ещё 8 часов уйдёт на ревью финального дизайн-документа от одной из групп), и в связи с тем, что курс идёт вживую, он меняется в зависимости от аудитории и запросов.

Третий и планируемый последний запуск пройдёт на неделе с 10 ноября.
6👍94🔥27🤣14🤡127👎4👏3🤩3👌1🌚1
Сегодня, в 15:00 по Лондону, устроим стрим с Михаилом Неверовым, директором по развитию искусственного интеллекта Х5.

Сначала обсудим с ним, как Gen AI повлиял (или нет) на производительность труда, а затем откроем Твиттер, будем читать и обсуждать.


Вопросы задавать здесь же
12🔥94🍾19💩85👍3👏3😱32😁2👎1🫡1
Live stream started
Live stream finished (1 hour)
Серфил LI и наткнулся на три поста бывших коллег из блока о том, что

we have received its MiCA license, a major step that allows us to provide crypto services across all 30

Теперь можно покупать и продавать токенизированные ETF/акции. То есть настоящие мы тебе купить не дадим, но купленные кем-то и выпущенные под них токены — да.

For the first time, tokenized U.S. stocks and ETFs are available directly

Это, кстати, продолжение интересного тренда: US Treasuries начинают поддерживаться через стейблкоины (уже примерно 250 млрд ликвидности влито таким образом), что может серьёзно укрепить глобальную доминацию доллара. Какая ирония!

Теперь то же самое происходит со стоками и ETF, ждём роста всего рынка.

Продолжая сёрфить, понял, что, судя по всему, многие смотрят в одну сторону, потому что в @Wallet из недавнего поста тоже стали доступны токенизированные Stocks & ETFs.

Зашёл в криптокошелёк, а там:
United Kingdom is not supported by Crypto Wallet. We apologize for the inconvenience.

Спасибо пацаны, выручили, жаль только, что не добавили цитату Боба Марли: No woman, No cry.

С Озоном и книгой сработало, поэтому пишу чувакам из @Wallet : поправьте, чтобы хотя бы можно было документы прикладывать и получить разрешение, а не просто по локации/номеру банить. Все остальное то есть, чтобы использовать

Посвящаю этот пост Игорю

UPD: Появилась идея выпустить бонды на BTC Игоря и, понятное дело, токенизировать
5😁90👍3720💩9🤡31💔1