Для тех, кому тяжело пользоваться скиллами, создали два GPT:
* ML System Design Reviewer
* AI Stage Gate Reviewer
* ML System Design Reviewer
* AI Stage Gate Reviewer
ChatGPT
ChatGPT - ML System Design Reviewer
ChatGPT helps you get answers, find inspiration, and be more productive.
1🤡198❤52🔥15😁14🆒4
Вышло видео стрима с Витей Кантором по поводу МЛ систем дизайна
YouTube
Прямая трансляция Виктор Кантор и Валерий Бабушкин
Как выглядит ML System Design в крупных IT-компаниях? Чем он отличается от классического Machine Learning? Зачем вообще нужны дизайн-документы и почему именно они часто определяют успех проекта?
В этом выпуске мы поговорили с Валерием Бабушкиным — экспертом…
В этом выпуске мы поговорили с Валерием Бабушкиным — экспертом…
1💅91🔥20❤10💩2👍1
Прочитал замечательную статью: The Linux Scheduler: a Decade of Wasted Cores
15 + лет спустя
и
Стоит заметить, что их фикс у меня вызывает много сомнений, замена среднего на минимум, для оценки загрузки - многое может пойти не так. Да и в целом, я бы даже не назвал это багами, оптимизировали под свою нагрузку - честь им и хвала, но это не значит что в среднем стало лучше, а не хуже.
Самый важный вывод, что понимая систему достаточно глубоко, можно ее взять и допилить очень значимо под себя
“And you have to realize that there are not very many things that have aged as well as the scheduler. Which is just another proof that scheduling is easy.”
Linus Torvalds, 2001
15 + лет спустя
As a central part of resource management, the OS thread scheduler must maintain the following, simple, invariant: make sure that ready threads are scheduled on available cores. As simple as it may seem, we found that this invariant is often broken in Linux. Cores may stay idle for seconds while ready threads are waiting in runqueues. In our experiments, these performance bugs caused many-fold performance degradation for synchronization-heavy scientific applications, 13% higher latency for kernel make, and a 14-23% decrease in TPC-H throughput for a widely used commercial database
и
The Group Imbalance bug
The bug. We encountered this bug on a multi-user machine which we used to perform kernel compilation and data analsis using the R machine learning package. We suspected that this system, a 64-core, eight-node NUMA server, did not use all available cores for highly-threaded computations, instead crowding all threads on a few nodes. We illustrate this bug with the output from our visual tool
Стоит заметить, что их фикс у меня вызывает много сомнений, замена среднего на минимум, для оценки загрузки - многое может пойти не так. Да и в целом, я бы даже не назвал это багами, оптимизировали под свою нагрузку - честь им и хвала, но это не значит что в среднем стало лучше, а не хуже.
Самый важный вывод, что понимая систему достаточно глубоко, можно ее взять и допилить очень значимо под себя
👍33💯27❤13🔥5🤓5🎉2
Зашёл в магазин, где шьют обувь королю. Спросил, за какой срок пошьют bespoke. Сказали 18 месяцев.
В истории за такой срок менялись многие правители, а в ЮК совсем недавно так 3 премьер-министра было за это время.
Много думал.
В истории за такой срок менялись многие правители, а в ЮК совсем недавно так 3 премьер-министра было за это время.
Много думал.
1😁324❤25💅18🔥4🤡3🌭2
В комментариях к предыдущему посту просили рассказать про оптимизацию состояния тела, и тут как раз есть что рассказать.
Мой текущий набор в виде Ultimate Anti-Ageing Bundle и Orange Triad + Greens Vitamins имеет следующую проблему:
Тяжело набирать 20 таблеток из первого, да ещё с учётом того, что в каждом пакете разное количество порций, то есть части стака банально заканчиваются в разное время
И отвратительный вкус второго, хотя это меньшая проблема.
Почитав, посмотрев — решил попробовать играть как Бэкхэм The Beckham Stack - IM8
По нутриентам заменяет всё выше.
По удобству — гораздо лучше.
Вкус — хороший.
Рекомендовать пока не могу, но через три месяца напишу.
Мой текущий набор в виде Ultimate Anti-Ageing Bundle и Orange Triad + Greens Vitamins имеет следующую проблему:
Тяжело набирать 20 таблеток из первого, да ещё с учётом того, что в каждом пакете разное количество порций, то есть части стака банально заканчиваются в разное время
И отвратительный вкус второго, хотя это меньшая проблема.
Почитав, посмотрев — решил попробовать играть как Бэкхэм The Beckham Stack - IM8
По нутриентам заменяет всё выше.
По удобству — гораздо лучше.
Вкус — хороший.
Рекомендовать пока не могу, но через три месяца напишу.
🤣187💊139❤20👍9👎5👏2👌1🖕1
Пару лет назад я общался с CTO Ozon Tech Антоном Степаненко и ребятами из его команды по поводу создания платформы для LLM. Ребята оказались замечательными, но переезжать из Лондона я не стал (примерно как с кафедрой ЦУ вышло), а ещё за пару лет до этого я выиграл книгу во время доклада Бориса Штерна в Яндексе — за лучший вопрос.
И вот эти два замечательных человека встречаются хэдлайнерами на конференции E-CODE от Ozon Tech, а в секцию ML/DS добавляется Валентин Малых, с которым мы недавно стояли на капитанском мостике.
ML-секция хорошая — индустриальный ML, работа с генеративными подсказками, уровни дообучения и агентский Cotype.
Зарегистрироваться можно здесь: https://ecode.ozon.tech/
Участие в конференции и вечеринках — бесплатное
И вот эти два замечательных человека встречаются хэдлайнерами на конференции E-CODE от Ozon Tech, а в секцию ML/DS добавляется Валентин Малых, с которым мы недавно стояли на капитанском мостике.
ML-секция хорошая — индустриальный ML, работа с генеративными подсказками, уровни дообучения и агентский Cotype.
Зарегистрироваться можно здесь: https://ecode.ozon.tech/
Участие в конференции и вечеринках — бесплатное
💅92🔥49❤27👍11👎8🤡5💩1
Мы с Романом Нестером, Валерием Бабушкиным и Бесланом Курашовым (plevako.ai и karpov.courses) приглашаем вас на наш FuckUp Night 26 августа.
От формата отходить не будем — поделимся своими историями, где всё пошло не по плану. И поговорим про культуру ошибок: как не зацикливаться на промахах и использовать их в свою пользу.
Встречу проведём онлайн, поэтому подключиться можно из любой точки и всем, кто принимает решения на основе данных.
🔵 Важно! Записи не будет, поэтому приходите на эфир. Главное, не забудьте зарегистрироваться.
От формата отходить не будем — поделимся своими историями, где всё пошло не по плану. И поговорим про культуру ошибок: как не зацикливаться на промахах и использовать их в свою пользу.
Встречу проведём онлайн, поэтому подключиться можно из любой точки и всем, кто принимает решения на основе данных.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2💅48🔥28❤15👍4👎2
3 года назад я рассказывал про сказочника в своем посте
Но тот случай был хотя бы безвредным, да и, прочитав это, сказочник быстро убрал свои фантазии.
На днях в местах, где я живу, произошла история более печальная и более масштабная со всех сторон.
Профессор Jason Arday, который стал самым молодым черным профессором в истории Кембриджа, оказался не тем, за кого себя выдавал. Оказалось, что докторская его с большой вероятностью полна плагиата.
Но здесь ничего необычного нет - плагиат встречается регулярно. Необычно то, что человека, судя по всему не очень связанного с реальностью (дальше станет понятно почему), подняли на флаг и использовали как классический токен.
Arday с каждым годом завирался все больше
* То он пробежал 600 миль (почти 1000 км) за 6 дней.
* То он научился читать и писать только в 18 лет, но при этом в 16 сдал два GCSE (аналог ОГЭ) и учился на BTEC в колледже.
* То он пролежал в коме и заново учился ходить.
* То он собрал 5 млн фунтов на благотворительность.
* Где-то сообщалось, что он говорил, что участвовал в записи телепередачи ребенком, оказалось, что она про детей, которые родились за 15+ лет до него
* И много-много чего еще, очевидно невероятного.
Его лекции, по словам студентов, представляли собой (если он приходил на них) какую-то околесицу, где в основном смотрели YouTube и затем обсуждали в группах. Это, конечно, говорит еще и про качество самой дисциплины, где он преподавал (sociology of education).
Кембридж вначале сказал, что все это клевета и навет.
Потом, под весом доказательств, когда университеты, указанные Джейсоном в резюме как те, где он почетный лектор, сообщили, что это не так и он никогда у них не был, согласился на расследование. До этого 4 месяца полиция слегка прессовала журналиста, который посмел найти плагиат у почетного академика - теперь публично извинилась.
В конце концов - Джейсон ушел в отставку, а сегодня BBC сообщило, что он найден мертвым.
В итоге история, начавшаяся как враки и фантазии, принесла множество бед. Самому Джейсону и его семье. Студентам, многие из которых заплатили деньги, чтобы слушать такую чепуху, Кембриджу, а заодно дала повод для критики практик DEI. Такой вот Мюнхгаузен наших дней.
Самое удивительное в этой истории — как настолько очевидную ложь и регулярные жалобы со стороны студентов заметали под ковер в жертву великой идее. А казалось бы, университет мирового уровня.
Поэтому каждый раз, сталкиваясь на работе с фантазерами и решая промолчать (а ситуаций, аналогичной этой, много, пусть и не в таком масштабе), подумайте о конечном эффекте и о том, к чему это может привести.
Но тот случай был хотя бы безвредным, да и, прочитав это, сказочник быстро убрал свои фантазии.
На днях в местах, где я живу, произошла история более печальная и более масштабная со всех сторон.
Профессор Jason Arday, который стал самым молодым черным профессором в истории Кембриджа, оказался не тем, за кого себя выдавал. Оказалось, что докторская его с большой вероятностью полна плагиата.
Но здесь ничего необычного нет - плагиат встречается регулярно. Необычно то, что человека, судя по всему не очень связанного с реальностью (дальше станет понятно почему), подняли на флаг и использовали как классический токен.
Arday с каждым годом завирался все больше
* То он пробежал 600 миль (почти 1000 км) за 6 дней.
* То он научился читать и писать только в 18 лет, но при этом в 16 сдал два GCSE (аналог ОГЭ) и учился на BTEC в колледже.
* То он пролежал в коме и заново учился ходить.
* То он собрал 5 млн фунтов на благотворительность.
* Где-то сообщалось, что он говорил, что участвовал в записи телепередачи ребенком, оказалось, что она про детей, которые родились за 15+ лет до него
* И много-много чего еще, очевидно невероятного.
Его лекции, по словам студентов, представляли собой (если он приходил на них) какую-то околесицу, где в основном смотрели YouTube и затем обсуждали в группах. Это, конечно, говорит еще и про качество самой дисциплины, где он преподавал (sociology of education).
Кембридж вначале сказал, что все это клевета и навет.
Потом, под весом доказательств, когда университеты, указанные Джейсоном в резюме как те, где он почетный лектор, сообщили, что это не так и он никогда у них не был, согласился на расследование. До этого 4 месяца полиция слегка прессовала журналиста, который посмел найти плагиат у почетного академика - теперь публично извинилась.
В конце концов - Джейсон ушел в отставку, а сегодня BBC сообщило, что он найден мертвым.
В итоге история, начавшаяся как враки и фантазии, принесла множество бед. Самому Джейсону и его семье. Студентам, многие из которых заплатили деньги, чтобы слушать такую чепуху, Кембриджу, а заодно дала повод для критики практик DEI. Такой вот Мюнхгаузен наших дней.
Самое удивительное в этой истории — как настолько очевидную ложь и регулярные жалобы со стороны студентов заметали под ковер в жертву великой идее. А казалось бы, университет мирового уровня.
Поэтому каждый раз, сталкиваясь на работе с фантазерами и решая промолчать (а ситуаций, аналогичной этой, много, пусть и не в таком масштабе), подумайте о конечном эффекте и о том, к чему это может привести.
Telegram
Время Валеры
У меня в друзьях в Фейсбуке есть сказочник из Узбекистана.
Причем не такой сказочник, как Дмитрий Гайдук.
То он устроится в OpenAI работать над узбекским языком и через два месяца уволится (понятное дело, ни в каком OpenAI он не работал).
То создаст сервис…
Причем не такой сказочник, как Дмитрий Гайдук.
То он устроится в OpenAI работать над узбекским языком и через два месяца уволится (понятное дело, ни в каком OpenAI он не работал).
То создаст сервис…
1👍162😁41❤39😱21😢8🦄6💯5🔥4🥴4🤓2👎1
Две первые главы книги «Agentic AI System Design» уже написаны и сейчас находятся на ревью у соавторов.
Один соавтор тот же: https://xn--r1a.website/partially_unsupervised
Два — с курса по ML System Design.
По отзывам вышло неплохо:
Надеюсь, к концу года допишем.
Один соавтор тот же: https://xn--r1a.website/partially_unsupervised
Два — с курса по ML System Design.
По отзывам вышло неплохо:
Прочитал с кайфом и даже взял на вооружение
Надеюсь, к концу года допишем.
Telegram
partially unsupervised
@arsenyinfo пишет про software engineering и machine learning
337🤡187👍134🔥51❤32😁4🥰2👎1🙏1👨💻1
После ревью документов сегодня (один из дизайнов был на 51 страници!) даю совет всем, кто готовит документацию, пишет дизайн-доки и т. п.
1. То, что это написал агент/LLM, — не проблема, если вы это прочитали, поправили, дали контекст и т. д. Считайте, что отдали работу по редактуре. Если делегировали думать, получается чаще ерунда.
2. Прогоните свой документ через простую команду: «compress this as much as possible without losing any information» — обычно сокращает где-то в 2 раза (и заодно чистит часть слопа).
Всем хорошо: вам, ревьюерам, команде, моделям.
1. То, что это написал агент/LLM, — не проблема, если вы это прочитали, поправили, дали контекст и т. д. Считайте, что отдали работу по редактуре. Если делегировали думать, получается чаще ерунда.
2. Прогоните свой документ через простую команду: «compress this as much as possible without losing any information» — обычно сокращает где-то в 2 раза (и заодно чистит часть слопа).
Всем хорошо: вам, ревьюерам, команде, моделям.
👍345😁68❤42🌭12🔥11💯7👎2💅2
На основе пятничного поста про промт:
Превратили этот подход в отдельный open-source skill — lossless-doc-compress.
Скилл читает документ целиком и относит каждый фрагмент к одной из трёх категорий:
KEEP — содержит информацию и остаётся без изменений;
REMOVE — доказуемо избыточен и удаляется;
FLAG — требует решения автора, поэтому остаётся в документе с пометкой.
Он удаляет filler, пустой hedging, LLM-slop, дословные повторы и избыточные формулировки. Сохраняет факты, цифры, решения, оговорки, ограничения, названия систем, код и таблицы.
Если есть сомнение — не удалять, дает отметку для автора
Результат: три артефакта:
Сжатый документ.
Лог всех удалений и спорных мест.
Scorecard: число слов до/после, процент сокращения и подтверждение сохранности содержания.
Код и инструкция:
https://github.com/ML-SystemDesign/MLSystemDesign/tree/main/skills/lossless-doc-compress
Это пост был прогнан через скилл
Сожми документ максимально, не потеряв никакой информации.
Превратили этот подход в отдельный open-source skill — lossless-doc-compress.
Скилл читает документ целиком и относит каждый фрагмент к одной из трёх категорий:
KEEP — содержит информацию и остаётся без изменений;
REMOVE — доказуемо избыточен и удаляется;
FLAG — требует решения автора, поэтому остаётся в документе с пометкой.
Он удаляет filler, пустой hedging, LLM-slop, дословные повторы и избыточные формулировки. Сохраняет факты, цифры, решения, оговорки, ограничения, названия систем, код и таблицы.
Если есть сомнение — не удалять, дает отметку для автора
Результат: три артефакта:
Сжатый документ.
Лог всех удалений и спорных мест.
Scorecard: число слов до/после, процент сокращения и подтверждение сохранности содержания.
npx skills add ML-SystemDesign/MLSystemDesignКод и инструкция:
https://github.com/ML-SystemDesign/MLSystemDesign/tree/main/skills/lossless-doc-compress
Это пост был прогнан через скилл
GitHub
MLSystemDesign/skills/lossless-doc-compress at main · ML-SystemDesign/MLSystemDesign
Contribute to ML-SystemDesign/MLSystemDesign development by creating an account on GitHub.
🔥171💅36😁24❤19👍18👎3
Прочитал отличную заметку Shopify про gisting — сжатие системного промпта в обучаемые токены.
По сути, это компиляция промпта.
У GraphQL-агента Sidekick системный промпт занимал около 6 000 токенов, которые постоянно приходилось обрабатывать снова и снова.
Prefix caching решает проблему лишь частично. Модели не нужно повторно вычислять KV cache для промпта, но при генерации каждый новый токен всё равно работает со всем контекстом. Чем длиннее промпт, тем больше памяти и времени требуется на каждый шаг декодирования. Придумали логичную штуку применить: gisting
Как работает gisting.
Сначала Shopify выбрали коэффициент сжатия 4:1(это гиперпараметр) и создали 1 500 новых специальных токенов вместо 6 000 исходных.
Эти токены не были выбраны из системного промпта и не являлись его текстовым summary. Это просто новые ID вроде
Дальше:
* Все веса модели замораживаются. Обучаются только эмбединги новых gist-токенов.
* Teacher-версия модели получает полный системный промпт, запрос пользователя и начало правильного ответа. На каждой позиции она выдаёт распределение вероятностей следующего токена.
* Student-версия той же самой модели получает тот же запрос и ответ, но вместо 6 000 токенов системного промпта видит 1 500 gist-токенов;
* Распределения teacher и student сравниваются через KL divergence.
* Градиент меняет только эмбединги gist-токенов, пока student не начинает выдавать практически те же распределения ответов, что и teacher.
* Изначально новые эмбединги можно было бы задать случайно. Но Shopify нашли более эффективную инициализацию: исходный промпт разделили на группы по четыре токена, а каждый gist-embedding инициализировали средним значением эмбедингов соответствующей четвёрки. Это снизило начальный loss в семь раз.
При этом
Получаем сжатие поведения: модель учат реагировать на короткую последовательность обучаемых векторов так же, как на длинную текстовую инструкцию.
В результате примерно 6 000 обычных токенов превратились в 1 500 обученных токенов. Модель ведёт себя так, будто прочитала полный промпт, хотя фактически получает его сжатое представление.
После обучения никакой отдельной архитектуры не требуется. Эмбединги записываются в embedding matrix, токены регистрируются в tokenizer, а длинный промпт при запросе просто заменяется их последовательностью. Нет дополнительного encoder, специального attention mask или отдельного serving path.
Результаты при нагрузке 350 запросов в минуту:
— time to first token: с 438 до 354 мс, −19%;
— полная задержка: с 6,8 до 4,2 секунды, −38%;
— throughput: с 20,2 до 23,4 запроса в секунду, +16%;
— требуемое количество GPU: −14%.
Качество при этом не ухудшилось.
Как они подбирали рецепт: Autoresearch-цикл сам менял гиперпараметры, запускал обучение и оценивал результат.
Так нашли оптимальное сжатие 4:1. При дальнейшем уменьшении количества gist-токенов качество начинало падать. Для другой модели, промпта и предметной области граница будет другой.
Предварительный расчёт teacher logits и токенизация сократили один обучающий прогон с 30 до 6 часов.
Оказалось также, что усреднение функции потерь по токенам ответа приводило к галлюцинациям, а усреднение по batch сохраняло больше сигнала от длинных ответов. Хорошее напоминание, что даже в относительно простой оптимизации детали функции потерь могут полностью изменить поведение системы.
Prompt engineering постепенно превращается в обычный ML engineering.
Системный промпт можно рассматривать как исходный код, а gist-токены — как его скомпилированную версию. Здесь всё знакомо: датасет, distillation, loss, evaluation, нагрузочное тестирование, мониторинг качества и стоимости.
#ArticleReview
По сути, это компиляция промпта.
У GraphQL-агента Sidekick системный промпт занимал около 6 000 токенов, которые постоянно приходилось обрабатывать снова и снова.
Prefix caching решает проблему лишь частично. Модели не нужно повторно вычислять KV cache для промпта, но при генерации каждый новый токен всё равно работает со всем контекстом. Чем длиннее промпт, тем больше памяти и времени требуется на каждый шаг декодирования. Придумали логичную штуку применить: gisting
Как работает gisting.
Сначала Shopify выбрали коэффициент сжатия 4:1(это гиперпараметр) и создали 1 500 новых специальных токенов вместо 6 000 исходных.
Эти токены не были выбраны из системного промпта и не являлись его текстовым summary. Это просто новые ID вроде
<GIST_1>, <GIST_2> и так далее. Дальше:
* Все веса модели замораживаются. Обучаются только эмбединги новых gist-токенов.
* Teacher-версия модели получает полный системный промпт, запрос пользователя и начало правильного ответа. На каждой позиции она выдаёт распределение вероятностей следующего токена.
* Student-версия той же самой модели получает тот же запрос и ответ, но вместо 6 000 токенов системного промпта видит 1 500 gist-токенов;
* Распределения teacher и student сравниваются через KL divergence.
* Градиент меняет только эмбединги gist-токенов, пока student не начинает выдавать практически те же распределения ответов, что и teacher.
* Изначально новые эмбединги можно было бы задать случайно. Но Shopify нашли более эффективную инициализацию: исходный промпт разделили на группы по четыре токена, а каждый gist-embedding инициализировали средним значением эмбедингов соответствующей четвёрки. Это снизило начальный loss в семь раз.
При этом
<GIST_1> не становится сокращённым обозначением первых четырёх токенов. Все 1 500 embeddings обучаются совместно и в итоге кодируют не текст промпта, а его влияние на поведение модели.Получаем сжатие поведения: модель учат реагировать на короткую последовательность обучаемых векторов так же, как на длинную текстовую инструкцию.
В результате примерно 6 000 обычных токенов превратились в 1 500 обученных токенов. Модель ведёт себя так, будто прочитала полный промпт, хотя фактически получает его сжатое представление.
После обучения никакой отдельной архитектуры не требуется. Эмбединги записываются в embedding matrix, токены регистрируются в tokenizer, а длинный промпт при запросе просто заменяется их последовательностью. Нет дополнительного encoder, специального attention mask или отдельного serving path.
Результаты при нагрузке 350 запросов в минуту:
— time to first token: с 438 до 354 мс, −19%;
— полная задержка: с 6,8 до 4,2 секунды, −38%;
— throughput: с 20,2 до 23,4 запроса в секунду, +16%;
— требуемое количество GPU: −14%.
Качество при этом не ухудшилось.
Как они подбирали рецепт: Autoresearch-цикл сам менял гиперпараметры, запускал обучение и оценивал результат.
Так нашли оптимальное сжатие 4:1. При дальнейшем уменьшении количества gist-токенов качество начинало падать. Для другой модели, промпта и предметной области граница будет другой.
Предварительный расчёт teacher logits и токенизация сократили один обучающий прогон с 30 до 6 часов.
Оказалось также, что усреднение функции потерь по токенам ответа приводило к галлюцинациям, а усреднение по batch сохраняло больше сигнала от длинных ответов. Хорошее напоминание, что даже в относительно простой оптимизации детали функции потерь могут полностью изменить поведение системы.
Prompt engineering постепенно превращается в обычный ML engineering.
Системный промпт можно рассматривать как исходный код, а gist-токены — как его скомпилированную версию. Здесь всё знакомо: датасет, distillation, loss, evaluation, нагрузочное тестирование, мониторинг качества и стоимости.
#ArticleReview
Shopify
Gisting: Compressing LLM Agent context to ↑ throughput and ↓ cost (2026) - Shopify
Gisting compresses context into a set of learned tokens, preserving its quality while making the model faster and cheaper.
2👍145❤44🤯17🔥10🥴9👏2👀1
Мы давно про это знали: Design Docs Are All You Need: An AI-native Machine-Learning Performance Tool
academy.dair.ai
Design Docs Are All You Need: An AI-native Machine-Learning Performance Tool
Samuel Kushnir, Kimia Noorbakhsh and colleagues at MIT, Google, Google DeepMind and Stanford keep a performance-modeling library whose main branch contains almo
💯84✍24😁17❤14❤🔥5🤡4🔥3💊2🤩1
На днях начал делать ревью А/Б-платформы от Три сигма, позавчера отправил им 9 уточняющих вопросов, и пока они отвечают, попросили прорекламировать их митап в Ташкенте.
На что я говорю: так вы ответьте на вопросы, я в одном посте разбор проведу и заодно про митап расскажу.
Говорят, не успевают, митап уже скоро.
1 октября у них митап в Ташкенте
Data-Driven – от данных к действиям
На что я говорю: так вы ответьте на вопросы, я в одном посте разбор проведу и заодно про митап расскажу.
Говорят, не успевают, митап уже скоро.
1 октября у них митап в Ташкенте
Data-Driven – от данных к действиям
😁244❤15💩13🔥7🤮5🤣3
С середины лета мегапростыня начала барахлить.
Ну как барахлить — она просто говорила, что меня нет. Я спал, а она говорит: нет, сегодня ты на мне не спал. Сначала пару раз в неделю, потом 3–4, потом уже почти каждый день. Но продолжала но ночам холодить, а по утрам греть и жужжать
Поначалу я подумал, что, возможно, уже достиг такого уровня познания, что по ночам ухожу в астрал. Но затем решил что реальность прозаичнее.
Мельдонщик из зала тоже недавно заявил ряду людей: «Что-то я давно не видел Валерия». Сказал он это людям, которым я регулярно говорил, что хожу в зал. Неловко вышло.
Потом оказалось, что он просто начал работать в другую смену, как, видимо, и мегапростыня.
В итоге я написал в команду поддержки, что вот я был, а вот меня не стало. Они почесали репу и выслали мне новую мегапростыню бесплатно.
Спасибо.
А мельдонщик, кстати, снова вышел в утреннюю смену и попросил еще мельдония.
Ну как барахлить — она просто говорила, что меня нет. Я спал, а она говорит: нет, сегодня ты на мне не спал. Сначала пару раз в неделю, потом 3–4, потом уже почти каждый день. Но продолжала но ночам холодить, а по утрам греть и жужжать
Поначалу я подумал, что, возможно, уже достиг такого уровня познания, что по ночам ухожу в астрал. Но затем решил что реальность прозаичнее.
Мельдонщик из зала тоже недавно заявил ряду людей: «Что-то я давно не видел Валерия». Сказал он это людям, которым я регулярно говорил, что хожу в зал. Неловко вышло.
Потом оказалось, что он просто начал работать в другую смену, как, видимо, и мегапростыня.
В итоге я написал в команду поддержки, что вот я был, а вот меня не стало. Они почесали репу и выслали мне новую мегапростыню бесплатно.
Спасибо.
А мельдонщик, кстати, снова вышел в утреннюю смену и попросил еще мельдония.
😁334💅25🤣21🔥10❤8👻2💊2🤔1👌1🐳1
Про важное поговорили, теперь можно про ML.
Сейчас читаю ML System Design (который уже неприлично разросся: 5 месяцев и 10+ часов контента только по агентским системам, а всего 60+) в школе ML Inside (запись на текущий поток закрыта).
Мой давний друг и коллега Витя Кантор попросил рассказать про другой его курс.
Онлайн-специализация «Искусственный интеллект и анализ данных»
Это реинкарнация старой специализации по ML на Coursera от МФТИ и Яндекса, теперь, небось, без второго Питона. В программе 7 модулей: Математика и Python, Classic ML, DL, AI-агенты, A/B, Production ML (MLOps) и введение в ML System Design. https://mlinside.ru/specializaciya
Подойдёт тем, кто хочет перейти в ML из аналитики или разработки, подтянуть теорию перед собеседованиями или просто освежить базу и разобраться в новом, например, в агентах. Учиться можно в своём темпе, все модули открыты сразу (только последний ещё в разработке).
Для студентов университетов особое предложение: покупать подписку не надо, доступ можно получить бесплатно.
Бюджет или платная форма обучения, очно или дистанционно, бакалавриат, магистратура или даже аспирантура — заполняете анкету, подтверждаете, что вы студент, и получаете доступ: https://forms.yandex.ru/u/69e893846d2d7372b90870d5
Сейчас читаю ML System Design (который уже неприлично разросся: 5 месяцев и 10+ часов контента только по агентским системам, а всего 60+) в школе ML Inside (запись на текущий поток закрыта).
Мой давний друг и коллега Витя Кантор попросил рассказать про другой его курс.
Онлайн-специализация «Искусственный интеллект и анализ данных»
Это реинкарнация старой специализации по ML на Coursera от МФТИ и Яндекса, теперь, небось, без второго Питона. В программе 7 модулей: Математика и Python, Classic ML, DL, AI-агенты, A/B, Production ML (MLOps) и введение в ML System Design. https://mlinside.ru/specializaciya
Подойдёт тем, кто хочет перейти в ML из аналитики или разработки, подтянуть теорию перед собеседованиями или просто освежить базу и разобраться в новом, например, в агентах. Учиться можно в своём темпе, все модули открыты сразу (только последний ещё в разработке).
Для студентов университетов особое предложение: покупать подписку не надо, доступ можно получить бесплатно.
Бюджет или платная форма обучения, очно или дистанционно, бакалавриат, магистратура или даже аспирантура — заполняете анкету, подтверждаете, что вы студент, и получаете доступ: https://forms.yandex.ru/u/69e893846d2d7372b90870d5
🔥99🤣33❤24👍10❤🔥1💩1
В последнее время все дружно делают корпоративных AI-агентов и постепенно приходят к замечательной мысли: чтобы модель делала работу, ей надо дать доступ к работе. А не только поле, куда работяга будет заботливо копировать содержимое остальных корпоративных систем.
OpenAI называют это переходом от assistance к execution. Microsoft развивает skills, коннекторы к корпоративным данным и взаимодействие агентов между собой. В общем, хочется, чтобы AI уже что-нибудь сделал, а не только рассказал, как это можно было бы сделать. Вполне понятное желание.
Яндекс туда же: на Yandex Scale 2026 (обсуждали здесь) анонсировали Алису AI Про. Заявленный сценарий — сотрудник описывает задачу обычным языком, а дальше Алиса сама определяет шаги (делает стейт машину?), подбирает инструменты и работает с подключёнными корпоративными системами (mcp/a2a registry?). Для сложной задачи может собрать команду специализированных агентов, которые параллельно занимаются документами, поиском информации и прочими частями работы (конкурент моей книге по дизайну AI систем?)
В целом задача непростая
Модель, даже очень умная, сама по себе не знает, как устроена ваша компания. Где лежит актуальный договор, кто согласовывает закупку, откуда брать цифры для отчёта и почему файл «финал_финал_2» использовать нельзя (лекция про rag), а надо спросить у человека, который сейчас в отпуске. В обучающую выборку эти замечательные знания, скорее всего, не попали.
Ей нужны документы, внутренние инструкции, CRM, почта, трекер, базы знаний и правила выполнения конкретных операций. Причём всё это надо не просто подключить, но и разобраться, что кому можно читать и менять. Просьба в системном промпте «пожалуйста, не показывай чужие данные» проверку прав доступа не заменяет.
Дальше надо решить, какие действия агент выполняет сам, а где должен остановиться и спросить человека.
У Алисы AI Про такие разрешения предусмотрены отдельно. Потому что между «подготовь письмо клиенту» и «отправь письмо клиенту» разница небольшая только в количестве букв.
В общем, снова данные, интеграции, permissions и оркестрация. Обычный system design, который после появления LLM почему-то никуда не делся. Хорошая модель нужна, но работу по встраиванию в конкретную организацию за вас не отменяет.
Для российского enterprise есть ещё вопрос, где всё это разворачивается и куда уходят данные. Если компания не готова отправлять их во внешнее облако, рассказ о том, какой у вас замечательный интеллект, обсуждение далеко не продвинет. Поэтому мои бывшие коллеги, Яндексоиды, предусмотрели варианты on-premises и гибридного развёртывания, выбор модели и собственные специализированные навыки.
Конкретные условия и доступность возможностей имеет смысл обсуждать наравне с качеством самой модели как ещё одну часть ТТХ
Поэтому следует смотреть на следующий показатель : сколько работы после внедрения перестал делать сотрудник. С учётом времени на подготовку контекста, проверку и исправление результата, конечно.
Если он по-прежнему должен всё найти, скачать, скопировать, принести в чат, а потом разнести ответ обратно по системам, то агент у вас, возможно, и появился.
Но коннектором в этой архитектуре всё ещё работает человек.
OpenAI называют это переходом от assistance к execution. Microsoft развивает skills, коннекторы к корпоративным данным и взаимодействие агентов между собой. В общем, хочется, чтобы AI уже что-нибудь сделал, а не только рассказал, как это можно было бы сделать. Вполне понятное желание.
Яндекс туда же: на Yandex Scale 2026 (обсуждали здесь) анонсировали Алису AI Про. Заявленный сценарий — сотрудник описывает задачу обычным языком, а дальше Алиса сама определяет шаги (делает стейт машину?), подбирает инструменты и работает с подключёнными корпоративными системами (mcp/a2a registry?). Для сложной задачи может собрать команду специализированных агентов, которые параллельно занимаются документами, поиском информации и прочими частями работы (конкурент моей книге по дизайну AI систем?)
В целом задача непростая
Модель, даже очень умная, сама по себе не знает, как устроена ваша компания. Где лежит актуальный договор, кто согласовывает закупку, откуда брать цифры для отчёта и почему файл «финал_финал_2» использовать нельзя (лекция про rag), а надо спросить у человека, который сейчас в отпуске. В обучающую выборку эти замечательные знания, скорее всего, не попали.
Ей нужны документы, внутренние инструкции, CRM, почта, трекер, базы знаний и правила выполнения конкретных операций. Причём всё это надо не просто подключить, но и разобраться, что кому можно читать и менять. Просьба в системном промпте «пожалуйста, не показывай чужие данные» проверку прав доступа не заменяет.
Дальше надо решить, какие действия агент выполняет сам, а где должен остановиться и спросить человека.
У Алисы AI Про такие разрешения предусмотрены отдельно. Потому что между «подготовь письмо клиенту» и «отправь письмо клиенту» разница небольшая только в количестве букв.
В общем, снова данные, интеграции, permissions и оркестрация. Обычный system design, который после появления LLM почему-то никуда не делся. Хорошая модель нужна, но работу по встраиванию в конкретную организацию за вас не отменяет.
Для российского enterprise есть ещё вопрос, где всё это разворачивается и куда уходят данные. Если компания не готова отправлять их во внешнее облако, рассказ о том, какой у вас замечательный интеллект, обсуждение далеко не продвинет. Поэтому мои бывшие коллеги, Яндексоиды, предусмотрели варианты on-premises и гибридного развёртывания, выбор модели и собственные специализированные навыки.
Конкретные условия и доступность возможностей имеет смысл обсуждать наравне с качеством самой модели как ещё одну часть ТТХ
Поэтому следует смотреть на следующий показатель : сколько работы после внедрения перестал делать сотрудник. С учётом времени на подготовку контекста, проверку и исправление результата, конечно.
Если он по-прежнему должен всё найти, скачать, скопировать, принести в чат, а потом разнести ответ обратно по системам, то агент у вас, возможно, и появился.
Но коннектором в этой архитектуре всё ещё работает человек.
1🤡723👍64🤮31❤18🤣12🔥5👾5🤔4👎2💯2
Не перестаю радоваться и удивляться тому, что студенты всегда остаются студентами. Вот и в эту субботу они в очередной раз это доказали.
Команда из пяти человек. Все очень серьёзные люди, умудрённые опытом, сединами и отягощенные грузом PhD: архитекторы, совладельцы бизнеса - вообщем серьезные дядьки.
Должны были продемонстрировать и защитить первую половину дизайн-документа по агентной системе, которая призвана ревьюить дизайн-документы. Они начали переделывать под себя систему с предыдущего потока, потому что задача у них как у архитекторов достаточно интересная: какие вопросы нужно задать и какие ответы получить, чтобы снизить дисперсию оценки проекта. Это, очевидно, очень важно для любой компании, которая оценивает проекты, а затем их выполняет.
Изначально они должны были защищаться за неделю до этого, но попросили отсрочку: все разъехались по командировкам. Люди, опять же, занятые.
Договорились встретиться на защите в субботу.
Суббота наступила, я заварил чай, думаю: Ну, наконец-то я буду не читать, а слушать.
Начинаем занятие, вызываю команду:
И тут лидер команды говорит:
— А мы сегодня не готовы и документ не покажем
Чем в очередной раз подтверждает: студенты всегда остаются студентами.
Дисперсию они, очевидно, не снизили.
Команда из пяти человек. Все очень серьёзные люди, умудрённые опытом, сединами и отягощенные грузом PhD: архитекторы, совладельцы бизнеса - вообщем серьезные дядьки.
Должны были продемонстрировать и защитить первую половину дизайн-документа по агентной системе, которая призвана ревьюить дизайн-документы. Они начали переделывать под себя систему с предыдущего потока, потому что задача у них как у архитекторов достаточно интересная: какие вопросы нужно задать и какие ответы получить, чтобы снизить дисперсию оценки проекта. Это, очевидно, очень важно для любой компании, которая оценивает проекты, а затем их выполняет.
Изначально они должны были защищаться за неделю до этого, но попросили отсрочку: все разъехались по командировкам. Люди, опять же, занятые.
Договорились встретиться на защите в субботу.
Суббота наступила, я заварил чай, думаю: Ну, наконец-то я буду не читать, а слушать.
Начинаем занятие, вызываю команду:
И тут лидер команды говорит:
— А мы сегодня не готовы и документ не покажем
Чем в очередной раз подтверждает: студенты всегда остаются студентами.
Дисперсию они, очевидно, не снизили.
1😁341❤42🤣29😢6🤡4🔥3💅2👍1🤔1🌚1
AI-проекты с нуля: как выбрать нишу, собрать продукт и выйти на первую выручку
Собрать AI-продукт сейчас можно за выходные. Сложнее добиться, чтобы им пользовались и за него платили: большинство таких проектов так и остаются демками.
8 октября на онлайн-панели разберём весь путь от идеи до первых денег.
Обсудим:
— как выбрать нишу, которую не съест следующий релиз OpenAI
— на чём собирать продукт: готовые API, агенты или своя модель, и как не утонуть в стоимости токенов
— где найти первых платящих клиентов без бюджета на маркетинг
— по каким сигналам понять, что проект пора масштабировать или закрывать
Спикеры:
Андрей Резинкин — ангел-инвестор в 20+ стартапах
Валерий Бабушкин — ex-VP of ML в Alibaba, руководил AI-командами до 600 человек в BP, Kaggle Grandmaster
Игорь Зуев — в портфеле 30+ приложений на рынок ЕС и США, выручка $1.5 млн+ в год
Артём Субботин — 20 лет опыта в hardware и создании глобальных трендов
Николай Хлебинский — серийный IT-предприниматель, основатель Retail Rocket
Александр Горный — ex-директор по стратегии Mail.Ru Group (VK), основатель клуба для предпринимателей ShareAI
📅 Когда: 8 октября, четверг, 19:00 мск
📍 Где: онлайн, Zoom
💰 Стоимость: бесплатно, нужна подписка на каналы всех спикеров
❓Q&A: да, приносите вопросы по своим проектам
Доступ к трансляции и запись получат только зарегистрированные — забирайте место:
👉 Зарегистрироваться на конференцию
Собрать AI-продукт сейчас можно за выходные. Сложнее добиться, чтобы им пользовались и за него платили: большинство таких проектов так и остаются демками.
8 октября на онлайн-панели разберём весь путь от идеи до первых денег.
Обсудим:
— как выбрать нишу, которую не съест следующий релиз OpenAI
— на чём собирать продукт: готовые API, агенты или своя модель, и как не утонуть в стоимости токенов
— где найти первых платящих клиентов без бюджета на маркетинг
— по каким сигналам понять, что проект пора масштабировать или закрывать
Спикеры:
Андрей Резинкин — ангел-инвестор в 20+ стартапах
Валерий Бабушкин — ex-VP of ML в Alibaba, руководил AI-командами до 600 человек в BP, Kaggle Grandmaster
Игорь Зуев — в портфеле 30+ приложений на рынок ЕС и США, выручка $1.5 млн+ в год
Артём Субботин — 20 лет опыта в hardware и создании глобальных трендов
Николай Хлебинский — серийный IT-предприниматель, основатель Retail Rocket
Александр Горный — ex-директор по стратегии Mail.Ru Group (VK), основатель клуба для предпринимателей ShareAI
📅 Когда: 8 октября, четверг, 19:00 мск
📍 Где: онлайн, Zoom
💰 Стоимость: бесплатно, нужна подписка на каналы всех спикеров
❓Q&A: да, приносите вопросы по своим проектам
Доступ к трансляции и запись получат только зарегистрированные — забирайте место:
👉 Зарегистрироваться на конференцию
🥱58🤣19👍13❤12🤡10⚡1🔥1💩1💅1