#кейсы

Про instant карму

На днях надо было сравнить API разных LLM

ChatGPT — включил vpn, залогинился через гугл, закинул денег, получил токен, работает
DeepSeek — залогинился через гугл, закинул денег, получил токен, работает
Grok — включил vpn, залогинился через гугл, закинул денег, получил токен, работает
Groq (инференс провайдер, разные модели) — получил пробный токен, работает
GigaChat — 2 минуты бродил по документации, залогинился через sms, получил пробный токен (и еще 2 каких-то), работает (но не без приколов -- с переполучением токена каждые полчаса)
Qwen — залогинился через гугл, подтвердил телефон, ввел карту, бродил минут 15 — получил бесплатный млн токенов и api-ключ

YandexGPT — 2 часа читал документацию пытаясь понять как просто получить токен не заводя себе клауд. Оставил заявку.
На сл день (вчера) мне выслали ту же ссылку на документацию на почту и позвонили — попросил перезвонить через полчаса.
Через 2 часа звоню сам тому корп продажнику (КП) кто мне писал, происходит примерно такой диалог:

— Добрый день, Максим, подскажите пожалуйста как купить у вас API не покупая клауд?
— КП: читайте документацию, там все написано (без привета без ответа)
— Я бы хотел избежать покупки клауда, мне только токен от API и все
— КП: Вы не понимаете что Яндекс Cloud это платформа?
— А что такое платформа?
— КП: вы что не знаете? Платформа это клауд
— А клауд что такое? Я думал это облако — когда есть железо, которое можно арендовать и накатывать разные конфигурации и платить за использование
— КП: нет, клауд это сервис. Вам надо купить клауд, потом купить AI студию, потом API — читайте документацию, там все написано
— Мы всей командой читали весь вечер — там в контракте требуется Cloud_ID и много всяких штук, плюс не ясно как у вас устроен function calling — например, как вызвать search или web_search?
— КП: в документации все есть, я не буду вам разжевывать — дайте ее почитать тому кто у вас поумнее, разработчику например. Вам не API нужно, это для приложений, вам Алиса нужна.

Алиса:

«Алиса» умерла по всей России. «Умные» колонки массово перестали распознавать команды. На все просьбы ассистент либо молчит, либо отвечает фразой: «У меня что-то сломалось внутри». @bankrollo

#корпжиза

Шел по описанию резидентуры в Open AI и зацепило «We’re open to a wide range of backgrounds from self-taught engineers…»

Видел множество персон кто «я вот сам всему научился». Потом выясняется что базу заложили в физмат лицее, потом была кафедра в вузе где преподавали с матфака или другого вуза, потом была сильная команда на работе и тд

Наверняка есть и исключения, но чаще я наблюдаю другую картину — вокруг тысяча возможностей для обучения, которая никак не используется.

Лет 10 назад когда нас набрали в ЦАД ДИТ / ДЗМ нашим кураторам стало понятно что кроме того чтобы просто задавать вектор надо бы толпу 30 чел молодежи научить как вообще DS-проекты структурируются, какие задачи ставятся и как решаются, как это продается клиентам — ну короче то, сейчас частично входит в ML System Deisgn, частично в проектный менеджменти и всякое такое.

И вот выписали нам классного эксперта с огромным опытом из одной (на тот момент топ-1 в аналитике в мире) западной компании, который дважды в неделю по вечерам приезжал в офис, отвечал на наши вопросы по текущим проектам, рассказывал истории как успешных проектов, так и фейлов. Пользуясь моментом — спасибо, Саша , я многим тебе обязан.

Первую неделю из 30 чел пришло примерно 12
Вторую неделю человек 7
А с четвертой ходило 2-3.

Догадайтесь кто из них спустя время руководил коллективами в 100+ человек.

И так достаточно часто — как правило, больше половины студентов на курсах, которые я веду — руководители, причем скорее среднего звена.

И я сейчас не рекламирую наш очередной курс (рано 😄), но я куда как больше верю в правильный выбор наставников (как Саша для меня в свое время) чем в освоение бокса по самоучителю 😄.

Что не отменяет необходимость курсов — наставник сможет помочь сформировать вектор / стержень и разобрать конкретно ваши кейсы, но ни у одного наставника конечно нет столько деталей и кругозора чтобы охватить всю нашу область в глубину.

Но технику всегда можно добрать, а сформировать целостное видение и иметь поддержку — бесценно.
Так что, про self-taught engineers я бы не обольщался.

#кейсы #корпжиза

История о том как один топ все управление DS [censored]

Однажды в N-ском банке M-ского уездного города разразился скандал: топ одной связанной с банком компании, который тем не менее получал зп на карточку этого банка, получил в приложении этого банка оффер по кредитной карте. Все бы ничего, но с лимитом аж в 10 тысяч рублей. Такого оскорбления он стерпеть не смог и DS по цепочке были пропесочены на тему какие же у них модели плохие и руки растут … и дальше сами можете представить.

Естественно, в процессе разбора стало понятно что сработало «мудрое» бизнес-правило, которое поставили портфельщики на лимит по тем о ком мало данных.

Как так получилось что данных о человеке, получающем зп в банке, мало?

Он не пользовался этой картой! И еще и с пустой кредитной историей…

Борьба с ветряными мельницами не всегда конек DS и было решено для всех возможных топов всех связанных организаций (несколько сотен человек) просто поставить максимальный лимит, доступный по продукту.

Довольные DS пришли отчитываться на встречу с тем оскорбленным топом что все починили, естественно, готовые к немедленной проверке.

Собственно, встреча ровно так и началась.

Только топ оказался опытным 😂, и со словами, «знаю я вас небось по мне все захардкодили» с видом победителя из широких штанин достал
другой телефон с другой симкой!
Еще и оформленной ровно накануне встречи
Зато приложение банка заботливо поставлено )

Внезапно, на этом телефоне в приложении банка не оказалось оффера на кредитку, да и большая часть операций была ограничена — что вызвало баттхерт топа.

Пришлось уже сдаться и рассказать зачем моделям данные и как вообще открываются счета новым клиентам, ссылочка для самых дотошных

PS: Неужели ни у кого не было похожей истории?

Опередил ) история в духе каналий про процесс внедрения Copilot

#кейсы
Рекомендации курильщика
Один развлекательный сервис с UGC-контентом попросил помощи с рекомендациями. Потому как сколько «траффика» не наливалось (а реклама денег стоит) — пользователи на сервисе не задерживались, и у руководства сервиса была гипотеза что рекомендации спасут положение.

К тому моменту in-house команда уже пилила рекомендации для длинных видео — «лонгов», а новая команда подключилась делать модельку для коротких видео, и заодно «присмотреть» за модельной на длинных -- и коллегам помочь.

И вот месяц идет A/B — на коротких видео на новых пользователях: timespent прокрасился больше чем x2, недельный retention +10%, среднее число просмотренного видео на нового пользователя +40% и.т.д 🔥🔥🔥
Пора праздновать?
Но на длинных видео — ничего. Вот совсем ничего по итогам A/B.

Что могло пойти не так?
Есть гипотезы?

PO сервиса за год+ не смог убедить дизайнера разместить рекомендации длинных не в подвале до которого мотать и мотать, а хотя бы как в youtube — или просто в верхней части экрана.
То есть пользователь просто не долистывал до полки с рекомендациями!
На что надеялся PO — загадка 😳

Причем рецепт успеха был до смешного прост -- сделать скрины макета интерфейса, запихнуть в любую мультимодальную llm и написать промпт в духе "оцени интерфейс, найти UX-косяки и предложи как сделать чтоб нормально было».

Не верите?
Ну вот ребята так сделали и доложили на воркшопе RecSys'25 в Праге

— Взяли 10 популярных сервисов с рекомендациями (типа стриминга, маркетплейсов и соцсетей).
— Сделали скриншоты интерфейсов в двух состояниях:
когда пользователь задаёт предпочтения и когда ему уже что-то рекомендуют.
— Составили чек-лист “хорошего рекомендательного интерфейса”: понятно ли, красиво ли, можно ли влиять на рекомендации и объясняют ли они вообще, за что вам это показывают.
— Скормили все эти скриншоты мультимодальной LLM (Google Gemini) ровно с тем промптом что выше

482 страницы с кодом и через год это почти полностью устареет (а часть уже). Не припомню такого хайпа как про агентов

Плачу от зависти.

Люди просто пишут понятную каждому документацию

#корпжиза

Приятно когда манагеры тоже оставляют вклад в науку, вводя новые термины

Нейросетевой недотрах -- надо же было придумать 🙀

Искренне уверен что рынок подчиняется законам спроса и предложения.

Есть спрос на коммерческий опыт с нейронками — люди будут их делать на работе в абсолютно любой ситуации.

Будет спрос на эффективное решение прикладных кейсов — будут стараться находить изящные и эффективные решения.

Если сделать шаг назад, то стратегий развития в корпорации у DS не так много:

1. Стараться приносить максимальную пользу компании именно в рамках продукта/ бизнес-задачи
2. Работать процентов на 70%, а 30% инвестировать в свое развитие, постоянно щупая рынок на предмет востребованных навыков, пробовать применять эти навыки в текущей работе — и максимизировать их применения, независимо от задачи и целей компании

Риски первого подхода очевидны:
— вокруг DS несколько каналий, начиная с PO, которые бизнес-результат припишут исключительно себе и везде об этом раструбят
— при любом реорге / трансформации менеджмент будет сильно трясти и думать они будут прежде всего о сохранении своей работы а не о судьбе рядового DS
— если не развиваться и не получаешь опыт коммерческой работы со свежими технологиями — твоя ценность на рынке падает и ты попадаешь в ловушку-зависимость даже не от конкретной компании — а от конкретных персоналий в лице своих менеджеров

Более того, в крупнейших корпорациях процесс роста грейда DS/MLE часто устроен как результат на продукте + техническое собеседование / или несколько.

И вишенкой на торте — иногда топы просыпаются и требуют с каналий показать «инновационность» используемых методов, и здесь канальи с удовольствием прикрываются экспериментами тех самых «DS с нейросетевым недотрахом».

Худшее что можно сделать это поверить канальям в том что «сетки ничего не добавляют, надо пользоваться простыми и надежными методами, бизнес-эффективность превыше всего». Ну уж нет — развивайтесь, пробуйте новое не только на курсах и в пет-проектах, следите какие навыки и технологии востребованы рынком. Опыт внедрения в прод этих новых технологий растит вашу ценность на рынке. Точка.

Угрызения совести? Смотрите на это так: компания платит фикс за продукт (вас) которые постоянно растит компетенции — разве ей плохо?

А уж за эффективность пусть манагеры отвечают — им за это и платят.