Forwarded from ODS #jobs
Team Lead Data Scientist
400 000 – 550 000 ₽/месяц
Удаленка или офис, Фултайм
Вакансия идеально подойдет как опытным Team Lead, желающим решать интересные задачи в области оптимизации ценообразования, так и специалистам с прикладным опытом и подтвержденными успехами в решении задач оптимизации ценообразования…(читать далее)
400 000 – 550 000 ₽/месяц
Удаленка или офис, Фултайм
Вакансия идеально подойдет как опытным Team Lead, желающим решать интересные задачи в области оптимизации ценообразования, так и специалистам с прикладным опытом и подтвержденными успехами в решении задач оптимизации ценообразования…(читать далее)
👀3👍2🤣2
#корпжиза
Скрытые KPI
Выше мы с вами рассуждали о KPI, которые вообще бывают у DS-ветки.
Но самые важные, от которых напрямую зависят ваши повышения и в карьере и в грейде, вы не найдете в формах оценки и ревью, о них вам на собеседованиях не скажут HR.
Если есть предположения о чем пойдет речь – пишите в комментариях под постом 😄.
Свою версию изложу как обычно с кейсами и утром )
Скрытые KPI
Выше мы с вами рассуждали о KPI, которые вообще бывают у DS-ветки.
Но самые важные, от которых напрямую зависят ваши повышения и в карьере и в грейде, вы не найдете в формах оценки и ревью, о них вам на собеседованиях не скажут HR.
Если есть предположения о чем пойдет речь – пишите в комментариях под постом 😄.
Свою версию изложу как обычно с кейсами и утром )
👍11❤3
#корпжиза
Скрытые KPI – моя версия
Спасибо вам за комментарии под предыдущим постом, реально заставили задуматься и вспомнить разных ситуаций
Дисклемер: речь о корпорациях
А картинка из статьи на хабре, статью комментировать не буду, но картинка классная.
Сначала кейсы
Кейс 1
Как вы думаете, что будет если удачно показать презентацию акционеру?
Внеплановая премия на 50М рублей – как вам?
Кейс 2
Очень крепкий начальник DS-отдела тащит звездный (уникальный, имиджевый, денежный, на благо клиентам и тд) проект, визибилити на самом высоком уровне, получает грейд, звание, еще пару команд. А меньше чем через год вынужден уволиться. Почему?
Кейс 3
Регулярная оперативка у президента Банка, президент не в настроении. AI идет четвертым, последним вопросом. Шеф докладывает результаты моей команды – гробовое молчание секунд 15, вступается один старший вице-президент – “мои ребята провалидировали, все сделано грамотно”, затем второй – “а мои уже пропилотировали, работает, эффекты есть”, мы с шефом выдыхаем, президент выдает – “а для физиков когда это же сделаете?”.
Давайте попробуем суммаризировать этот опыт:
1) Больше всех в колхозе пахала лошадь, но председателем она так и не стала => визибилити очень важен
2) Если вы сделали один классный и значимый проект – вы задали планку, и у вас даже после повышения может не хватить задач / полномочий / ресурсов / гороскопа сделать что-то такого же масштаба
3) А “на радарах” надо быть регулярно, желательно либо с важной либо с хайповой темой – а фокус постоянно меняется, поэтому темы тоже надо менять – люто плюсую комментарий под предыдущим постом на тему новизны и early adopter
4) Достижения должны не убывать по значимости => правильное планирование и револьверные схемы
5) Любой манагер обучен представлять результаты своих сотрудников как свои. Как же тогда получить визибилити? Искать недооцененные темы, где шеф видит вероятность провала (и последствия там таковы что кадровые решения неминуемы – тогда он всегда сможет пожертвовать тем кто докладывал и сослаться на ошибку сотрудника, который за это был им уволен).
6) Надо уметь балансировать между стремлением “сделать нормально” и закрыть тех. долги и ростом вширь в хайповые темы. Инвестируйте в рост тоже, копать картоху можно долго
7) Решать все проблемы шефа плохая стратегия если вам не платят 100500 денег – кто же вас отпустит на повышение если вы так удобны? Если у вас хорошие отношения с начальником – значит, вам недоплачивают. Вообще залог хороших отношений с людьми – с вас они имеют больше, чем вы с них. И быть на расстоянии повышает шанс воспользоваться возможностью из п4. Здесь, как и из любого правила, есть исключение -- если вас купили с потрохами, еще и с опережением ваших запросов -- то логично честно впрячься -- такая ситуация хоть и может оказаться неустойчивой, но сулит нереально редкий баланс нервы / деньги
8) А вот решать проблемы шефа своего шефа – работающая история. Ведь стейкхолдер так похож на shareholder ;)
9) У акционера проблемой могут быть не деньги, а померяться чем-н с акционерами другой крупной компании
10) Поддержка смежников (за периметром феода вашего синьора) критически важна – более того, не раз наблюдал “десанты” из соседних подразделений – испытанная временем практика – "женишься" сам или "женишь сына" на "дочке" соседнего феодала и он перестает тебя атаковать (особенно полезно когда тебя атакуют другие, с которыми ты породниться или заключить союз не успел). Речь о приеме на работу к себе в структуру на ненизовую должность -- еще таких называют парашютистами
11) Не встревать в конфликтные темы (когда две вертикали бьются за какую-то бизнес-линию или даже зону ответственности) – они потом решение найдут, а ваша голова полетит. Паны дерутся – у холопов чубы трещат.
Итого: у всех, кто хочет расти, есть незафиксированный kpi “не реже раза в месяц/квартал -- в зависимости от левела -- доложить на уровне шеф+1 результаты, имеющие новизну, выхлоп и при этом относящимся либо к сиюминутно важным фокусам того уровня либо к жизненно-важной теме для кор-бизнеса”
Скрытые KPI – моя версия
Спасибо вам за комментарии под предыдущим постом, реально заставили задуматься и вспомнить разных ситуаций
Дисклемер: речь о корпорациях
А картинка из статьи на хабре, статью комментировать не буду, но картинка классная.
Сначала кейсы
Кейс 1
Как вы думаете, что будет если удачно показать презентацию акционеру?
Кейс 2
Очень крепкий начальник DS-отдела тащит звездный (уникальный, имиджевый, денежный, на благо клиентам и тд) проект, визибилити на самом высоком уровне, получает грейд, звание, еще пару команд. А меньше чем через год вынужден уволиться. Почему?
Кейс 3
Регулярная оперативка у президента Банка, президент не в настроении. AI идет четвертым, последним вопросом. Шеф докладывает результаты моей команды – гробовое молчание секунд 15, вступается один старший вице-президент – “мои ребята провалидировали, все сделано грамотно”, затем второй – “а мои уже пропилотировали, работает, эффекты есть”, мы с шефом выдыхаем, президент выдает – “а для физиков когда это же сделаете?”.
Давайте попробуем суммаризировать этот опыт:
1) Больше всех в колхозе пахала лошадь, но председателем она так и не стала => визибилити очень важен
2) Если вы сделали один классный и значимый проект – вы задали планку, и у вас даже после повышения может не хватить задач / полномочий / ресурсов / гороскопа сделать что-то такого же масштаба
3) А “на радарах” надо быть регулярно, желательно либо с важной либо с хайповой темой – а фокус постоянно меняется, поэтому темы тоже надо менять – люто плюсую комментарий под предыдущим постом на тему новизны и early adopter
4) Достижения должны не убывать по значимости => правильное планирование и револьверные схемы
5) Любой манагер обучен представлять результаты своих сотрудников как свои. Как же тогда получить визибилити? Искать недооцененные темы, где шеф видит вероятность провала (и последствия там таковы что кадровые решения неминуемы – тогда он всегда сможет пожертвовать тем кто докладывал и сослаться на ошибку сотрудника, который за это был им уволен).
6) Надо уметь балансировать между стремлением “сделать нормально” и закрыть тех. долги и ростом вширь в хайповые темы. Инвестируйте в рост тоже, копать картоху можно долго
7) Решать все проблемы шефа плохая стратегия если вам не платят 100500 денег – кто же вас отпустит на повышение если вы так удобны? Если у вас хорошие отношения с начальником – значит, вам недоплачивают. Вообще залог хороших отношений с людьми – с вас они имеют больше, чем вы с них. И быть на расстоянии повышает шанс воспользоваться возможностью из п4. Здесь, как и из любого правила, есть исключение -- если вас купили с потрохами, еще и с опережением ваших запросов -- то логично честно впрячься -- такая ситуация хоть и может оказаться неустойчивой, но сулит нереально редкий баланс нервы / деньги
8) А вот решать проблемы шефа своего шефа – работающая история. Ведь стейкхолдер так похож на shareholder ;)
9) У акционера проблемой могут быть не деньги, а померяться чем-н с акционерами другой крупной компании
10) Поддержка смежников (за периметром феода вашего синьора) критически важна – более того, не раз наблюдал “десанты” из соседних подразделений – испытанная временем практика – "женишься" сам или "женишь сына" на "дочке" соседнего феодала и он перестает тебя атаковать (особенно полезно когда тебя атакуют другие, с которыми ты породниться или заключить союз не успел). Речь о приеме на работу к себе в структуру на ненизовую должность -- еще таких называют парашютистами
11) Не встревать в конфликтные темы (когда две вертикали бьются за какую-то бизнес-линию или даже зону ответственности) – они потом решение найдут, а ваша голова полетит. Паны дерутся – у холопов чубы трещат.
Итого: у всех, кто хочет расти, есть незафиксированный kpi “не реже раза в месяц/квартал -- в зависимости от левела -- доложить на уровне шеф+1 результаты, имеющие новизну, выхлоп и при этом относящимся либо к сиюминутно важным фокусам того уровня либо к жизненно-важной теме для кор-бизнеса”
1👍46🔥19💯8❤6👏3🦄2🖕1
20250109_jamboree_v3_nobrand_noanim_handout (1).pdf
3.6 MB
#корпжиза
Рубрика “полезное от подписчиков”
Под одним из предыдущих постов про DS в корпоративном мире представитель венгерского DS-комьюнити Самвел @samvelkoch, активный кагглер 💪, создатель secretalchemistsociety, поделился интересными материалами, которыми не могу не поделиться с вами.
Итак, в презентации взгляд психолога (по совместительству Head of DS Редбулла -- интересный карьерный трек 😂) на наши корпоративные игры и составляющие успеха в корпорации.
А по ссылке крутой карьерный спич от представителя террористических и нежелательных организаций 😄
Рубрика “полезное от подписчиков”
Под одним из предыдущих постов про DS в корпоративном мире представитель венгерского DS-комьюнити Самвел @samvelkoch, активный кагглер 💪, создатель secretalchemistsociety, поделился интересными материалами, которыми не могу не поделиться с вами.
Итак, в презентации взгляд психолога (по совместительству Head of DS Редбулла -- интересный карьерный трек 😂) на наши корпоративные игры и составляющие успеха в корпорации.
А по ссылке крутой карьерный спич от представителя террористических и нежелательных организаций 😄
🔥15❤4👍3🦄3
#ML
А эта штука и правда работает -- грузишь фотку, пишешь что хочешь задетектить -- на фотке появляется бокс с твоим объектом https://va.landing.ai/demo/agentic-od. Каждый раз когда вижу такое думаю -- "ну это же так просто, почему я не додумался?!". Конечно, ни разу это не просто, но идея-то классная
там еще и API есть
А эта штука и правда работает -- грузишь фотку, пишешь что хочешь задетектить -- на фотке появляется бокс с твоим объектом https://va.landing.ai/demo/agentic-od. Каждый раз когда вижу такое думаю -- "ну это же так просто, почему я не додумался?!".
там еще и API есть
import requests
url = "https://api.landing.ai/v1/tools/agentic-object-detection"
files = {
"image": open("{{path_to_image}}", "rb")
}
data = {
"prompts": [ "{{prompt1}}", "{{prompt2}}" ],
"model": "agentic"
}
headers = {
"Authorization": "Basic {{your_api_key}}",
"Content-Type": "multipart/form-data"
}
response = requests.post(url, files=files, data=data, headers=headers)
print(response.json())
🔥10🦄2
#ML
Как связан Data Science и Дом-2?
В соседнем чате Влад (который https://xn--r1a.website/sberloga) скинул наш с Витей вводный вебинар (кусочек первого семинара курса "ML в бизнесе" с описанием какой наш курс хороший и примерами схем валидации моделей), и я чего-то не мог понять кто это в описании и когда же мы его упоминали.
Поиск по картинке в Яндексе вывел на материал "Дава показал как живет после расставания с Бузовой" 🤦♂️.
Поиск по Бузовой -- на Дом-2.
И, видимо, на выходных я буду заниматься подходами explainable ai, ибо понять как это все связано пока что выше моих сил 🤔. Спасибо ютюбу за мотивацию, а то все руки не доходили 😆
Если хотите, поделюсь материалами которые найду (а модификации SHAP и LIME мне уже немного не интересны, каузальные эмбеддинги вообще немного про другое) -- ставьте лойс 👍.
Как связан Data Science и Дом-2?
В соседнем чате Влад (который https://xn--r1a.website/sberloga) скинул наш с Витей вводный вебинар (кусочек первого семинара курса "ML в бизнесе" с описанием какой наш курс хороший и примерами схем валидации моделей), и я чего-то не мог понять кто это в описании и когда же мы его упоминали.
Поиск по картинке в Яндексе вывел на материал "Дава показал как живет после расставания с Бузовой" 🤦♂️.
Поиск по Бузовой -- на Дом-2.
И, видимо, на выходных я буду заниматься подходами explainable ai, ибо понять как это все связано пока что выше моих сил 🤔. Спасибо ютюбу за мотивацию, а то все руки не доходили 😆
Если хотите, поделюсь материалами которые найду (а модификации SHAP и LIME мне уже немного не интересны, каузальные эмбеддинги вообще немного про другое) -- ставьте лойс 👍.
👍27🔥4🥴3🦄3😁1🗿1
#ML
Итак, про XAI, он же eXplainable AI
Глубина глубин открываются с первого же найденного постера — 17 методов и 20 (!) метрик для сравнения в постере с последнего NIPS (декабрь 24го)
Explaining explanations (рис 3 в самом свежем обзоре — январь 25го) тоже намекают что не все так просто 🤔
В итоге разобраться за выходные не получилось, «не шмогла» — недооценил куда наука ушла, сорян 🤷
Ухожу читать обзоры и смотреть туториалы 🤓🙈
Вроде такого: A Review of Multimodal Explainable Artificial Intelligence: Past, Present and Future от 18 декабря
Отдельно радует что есть попытки в метрики и бенчмаркисамого XAI (!)
Наметил себе еще «немного материалов»
https://neurips.cc/virtual/2024/tutorial/99520
https://www.youtube.com/watch?v=ObaXpJVqgt4
https://neurips.cc/virtual/2023/workshop/66529
PS
Пока искал встречал и очередное развитие SHAP
И реинкарнации градиентных методов
И attention maps / saliency maps (которую кстати и получают градиентными методами)
И модели, которые сразу учат и объяснения делать (еще и на фондовом рынке!)
Если кому-то тема тоже интересна — мб соберемся через недельку онлайн и обменяемся мнениями?
Например, вторник, 18 февраля, в 20 по мск?
По итогам саммари обсуждения выложу сюда
Если готовы собраться онлайн — ставьте 😄, 18го пришлю ссылку.
Если я все усложнил и PDP / ICE / H-stat / ALE / SG достаточно и вообще надо было начать с гайда 2024 года, в котором все уже достаточно структурировано и объяснена связь задач XAI и adversation attacks -- вы крутые, ставьте 😎
Итак, про XAI, он же eXplainable AI
Глубина глубин открываются с первого же найденного постера — 17 методов и 20 (!) метрик для сравнения в постере с последнего NIPS (декабрь 24го)
Summary of Navigating the Maze of Explainable AI: A Systematic Approach to Evaluating Methods and Metrics
LATEC is a new tool that helps researchers understand different methods of Explainable AI (XAI) by comparing 17 popular XAI methods across various settings and using 20 evaluation metrics. The study shows that previous evaluations of XAI methods were often inconsistent and biased because they used limited criteria. By analyzing a large number of combinations and making all results available, LATEC aims to help users pick the right XAI method for their needs, especially in areas involving images and 3D data.
Explaining explanations (рис 3 в самом свежем обзоре — январь 25го) тоже намекают что не все так просто 🤔
В итоге разобраться за выходные не получилось, «не шмогла» — недооценил куда наука ушла, сорян 🤷
Ухожу читать обзоры и смотреть туториалы 🤓🙈
Вроде такого: A Review of Multimodal Explainable Artificial Intelligence: Past, Present and Future от 18 декабря
Отдельно радует что есть попытки в метрики и бенчмаркисамого XAI (!)
Наметил себе еще «немного материалов»
https://neurips.cc/virtual/2024/tutorial/99520
https://www.youtube.com/watch?v=ObaXpJVqgt4
https://neurips.cc/virtual/2023/workshop/66529
PS
Пока искал встречал и очередное развитие SHAP
И реинкарнации градиентных методов
И attention maps / saliency maps (которую кстати и получают градиентными методами)
И модели, которые сразу учат и объяснения делать (еще и на фондовом рынке!)
Если кому-то тема тоже интересна — мб соберемся через недельку онлайн и обменяемся мнениями?
Например, вторник, 18 февраля, в 20 по мск?
По итогам саммари обсуждения выложу сюда
Если готовы собраться онлайн — ставьте 😄, 18го пришлю ссылку.
Если я все усложнил и PDP / ICE / H-stat / ALE / SG достаточно и вообще надо было начать с гайда 2024 года, в котором все уже достаточно структурировано и объяснена связь задач XAI и adversation attacks -- вы крутые, ставьте 😎
😁12😎8👍5❤3🔥3🦄1
Видел кучу презентаций и докладов где DS противопоставлялся MLE, где буква E про инженера. Прямо такие разные профессии, смотрите не перепутайте 😄
Кажется, Авито решили эту проблему — не удивлюсь если их DSE еще и на кларнете играет 🤣
Кажется, Авито решили эту проблему — не удивлюсь если их DSE еще и на кларнете играет 🤣
😁17👍2
Forwarded from ODS #jobs
DS-инженер в команду Авито
от 285 000 ₽/месяц
Удаленка или офис, Фултайм
Ищем опытных DS-инженеров на Weekend Offer в Авито! Ускоренный отбор за выходные и возможность попасть в одну из пяти команд: автомодерация, монетизация, поисковое ранжирование, AI Lab и вертикальные команды DS…(читать далее)
от 285 000 ₽/месяц
Удаленка или офис, Фултайм
Ищем опытных DS-инженеров на Weekend Offer в Авито! Ускоренный отбор за выходные и возможность попасть в одну из пяти команд: автомодерация, монетизация, поисковое ранжирование, AI Lab и вертикальные команды DS…(читать далее)
❤🔥7😁2👍1🔥1
#корпжиза
Про манагеров-каналий и матрицу – но не ту что в алгебре, а как структуру управления.
В комментах к посту про скрытые KPI
Спойлер: я сторонник системы сдержек и противовесов (чтобы хирург не перепутал ноги при ампутации – а такие случаи вполне гуглятся)
Сейчас покажу на неожиданном примере.
Если попросить вас представить структуру где максимально жесткая система приказов, за неповиновение – расстрел в военное время, все представят армию.
На этом моменте манагеры-канальи мечтательно закатят глаза в мечтах о безграничной власти и единоначалии (ох как любят они это слово и ощущение).
Первая же ссылка на wiki
дает нам представление о том что управление вооруженными силами внезапно тоже матрица – как минимум (но не только), есть географический разрез (военные округа) и рода и виды войск (те самые компетенции).
При этом все защитники должны работать вместе и их объединяют, неожиданно, в объединения (например, в армию, и у нее есть свой командующий)
То есть в составе армии может быть дивизия, в которой есть карандашеметательный полк, и командир этого полка подчиняется комдиву, но его боеготовность оценивает начальник карандашеметательных войск армии. Ничего не напоминает?
Даже такая организация, которая для многих выступает примером супериерархичной структуры -- управляется матрицей.
Как говорит мой шеф – “принцип двух ключей” – и такой подход проверен и в мирной жизни и в войнах.
Понятно, что из любого правила найдутся исключения – но на то они и исключения.
Так вот, стремление манагера в крупной компании к единоначалию – нормально, главное чтобы оно оставалось недостижимо 😄
Про манагеров-каналий и матрицу – но не ту что в алгебре, а как структуру управления.
В комментах к посту про скрытые KPI
А кто шеф в матричной структуре?
Спойлер:
Сейчас покажу на неожиданном примере.
Если попросить вас представить структуру где максимально жесткая система приказов, за неповиновение – расстрел в военное время, все представят армию.
На этом моменте манагеры-канальи мечтательно закатят глаза в мечтах о безграничной власти и единоначалии (ох как любят они это слово и ощущение).
Первая же ссылка на wiki
дает нам представление о том что управление вооруженными силами внезапно тоже матрица – как минимум (но не только), есть географический разрез (военные округа) и рода и виды войск (те самые компетенции).
При этом все защитники должны работать вместе и их объединяют, неожиданно, в объединения (например, в армию, и у нее есть свой командующий)
То есть в составе армии может быть дивизия, в которой есть карандашеметательный полк, и командир этого полка подчиняется комдиву, но его боеготовность оценивает начальник карандашеметательных войск армии. Ничего не напоминает?
Даже такая организация, которая для многих выступает примером супериерархичной структуры -- управляется матрицей.
Как говорит мой шеф – “принцип двух ключей” – и такой подход проверен и в мирной жизни и в войнах.
Понятно, что из любого правила найдутся исключения – но на то они и исключения.
Так вот, стремление манагера в крупной компании к единоначалию – нормально, главное чтобы оно оставалось недостижимо 😄
🔥23👍5❤3👏2😁1🦄1
Forwarded from Нескучный Data Science (Евгений Смирнов)
Всем привет! 28 февраля в 17:00 приходите на митап по Data Science в Москве. На встрече экспертами из Центра Big Data МТС и Лаборатории машинного обучения Альфа-Банка поделимся кейсами:
🎙️Гибкая калибровка: как одновременно попадать в KPI для сотен рекламных кампаний?
🎙️Превращаем нейросети в SOTA и для табличных задач
🎙️Трансформеры в RecTools: от fit/predict из коробки до кастомных архитектур
🎙️Улучшаем клиентский опыт за счет комплекса моделей
🎙️Бандиты и нейросети. Строим рекомендации с нуля в стриминговом сервисе с UGC-контентом
🎙️Ускоряем работу аналитиков инструментами Data Science
🎙️Новый релиз CoolGraph – краткий обзор нашей библиотеки для быстрого старта с GNN
🎬Модераторы: Никита Зелинский (CDS & Head of ML Platforms МТС и Евгений Смирнов (CDS & Head of ML Lab, Alfa-Bank).
😍 В рамках колоборации двух CDS-ов из красных компаний запускаем розыгрыш аж1️⃣ 0️⃣ подписок ✈️ -премиум на год!
Как принять участие?
1️⃣ Подписаться на канал "Нескучный Data Science" (@not_boring_ds)
2️⃣ Подписаться на канал "Дата канальи – про "специалистов" данных в ML/AI" (@datarascals)
3️⃣ Ждать 28 февраля, когда мы объявим, кто победил.
🗓️ 28 февраля в 17:00
📍 г. Москва, офлайн
➡️ Регистрация по ссылке: https://mts-digital.ru/events/details?id=12357783
🎙️Гибкая калибровка: как одновременно попадать в KPI для сотен рекламных кампаний?
🎙️Превращаем нейросети в SOTA и для табличных задач
🎙️Трансформеры в RecTools: от fit/predict из коробки до кастомных архитектур
🎙️Улучшаем клиентский опыт за счет комплекса моделей
🎙️Бандиты и нейросети. Строим рекомендации с нуля в стриминговом сервисе с UGC-контентом
🎙️Ускоряем работу аналитиков инструментами Data Science
🎙️Новый релиз CoolGraph – краткий обзор нашей библиотеки для быстрого старта с GNN
🎬Модераторы: Никита Зелинский (CDS & Head of ML Platforms МТС и Евгений Смирнов (CDS & Head of ML Lab, Alfa-Bank).
😍 В рамках колоборации двух CDS-ов из красных компаний запускаем розыгрыш аж
Как принять участие?
🗓️ 28 февраля в 17:00
📍 г. Москва, офлайн
➡️ Регистрация по ссылке: https://mts-digital.ru/events/details?id=12357783
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👍7❤4🦄1
Forwarded from Нескучный Data Science (Евгений Смирнов)
This media is not supported in the widget
VIEW IN TELEGRAM
🔥11❤5👍2😱1
Дата канальи — про «специалистов» в данных / ML / AI pinned «Обещал вам показать самописного бота, с помощью которого готовлюсь к behavioral interview (любят в faang/maang и последователях) и заодно практикую английский. Еще хотелось понять насколько я оменеджерился, смогу ли сделать что-то минимально рабочее за пару…»
Дата канальи — про «специалистов» в данных / ML / AI pinned «#кейсы #ML Сегодня 31 декабря. Поэтому расскажу кейс о работе 31 декабря много лет назад. Горел флагманский и достаточно сложный и в плане бизнеса и плане инфры (первое внедрение в пром на спарке за историю банка, причем на паре десятков источников и с кучей…»
#ML
Foundation Models уже и сюда добрались 😱
В прошлом июне на RuCode рассказывал про FM для временных рядов.
Что следующее? Видео?
Foundation Models уже и сюда добрались 😱
В прошлом июне на RuCode рассказывал про FM для временных рядов.
Что следующее? Видео?
Telegram
Дата канальи — про «специалистов» в данных / ML / AI
#ML
На вебинаре поступил вопрос про SOTA-трансформеры для временных рядов.
В ответ пообещал скинуть сюда в канал свою июньскую лекцию на RuCode по foundation models for time series. Заодно узнаете почему соревы по прогнозированию называются М1, ... M4,…
На вебинаре поступил вопрос про SOTA-трансформеры для временных рядов.
В ответ пообещал скинуть сюда в канал свою июньскую лекцию на RuCode по foundation models for time series. Заодно узнаете почему соревы по прогнозированию называются М1, ... M4,…
🤔6👍1
Forwarded from LightAutoML framework
В классических алгоритмах для решения suprevised задач на табличных данных модель обучается с нуля, в статье используется подход с предобучением:
1. Генерируются 130 миллионов синтетических датасетов с помощью каузальных графов, которые имитируют сложные зависимости в данных, пропуски, выбросы.
2. На сгенерированных данных предобучается трансформер, предсказывая таргет test выборки, получая на вход train как контекст. Для каждой ячейки таблицы используется отдельная репрезентация. Используется механизм внимания как по строкам, так и по столбцам таблицы.
3. Вместо привычных отдельных "fit" и "predict", трансформер за один проход получая и train, и test новой задачи одновременно, делает инференс на test, используя in-context learning. Простыми словами, модель обучена однажды, но подхватывает зависимости в данных из подаваемого в контекст датасета и сразу делает предсказания.
1. Скорость и качество: в задачах классификации и регрессии на данных до 10к строк и 500 признаков за несколько секунд получает качество лучше, чем ансамбль из базовых алгоритмов (бустинги, лес, линейные), которые тюнились в течение нескольких часов.
2. Минимум работы: алгоритм не нужно тюнить, имеет отбор признаков, нативно работает с числовыми и категориальными признаками, а также с пропусками.
3. Плюсы foundation моделей: возможность получить распределение таргета, генерировать данные итд.
4. Неплохо показывает себя на временных рядах.
1. Статья показала эффективность foundation моделей в домене табличных данных, теперь у бустингов сильные конкуренты.
2. Пока есть вопросы с точки зрения эффективности инференса, ограниченности контекста, но дальше будут улучшения.
3. Интересно, что TabPFN v2 можно назвать AutoML решением, ведь для решения задачи он не требует ни настройки гиперпараметров, ни предобработки данных.
Тема интересная, у нас имеются наработки по этой теме, и мы работаем над их применением в LightAutoML
#обзор
Please open Telegram to view this post
VIEW IN TELEGRAM
Nature
Accurate predictions on small data with a tabular foundation model
Nature - Tabular Prior-data Fitted Network, a tabular foundation model, provides accurate predictions on small data and outperforms all previous methods on datasets with up to 10,000 samples by a...
👍17🔥6🦄2
#ML
DS и нумерология
Если кто до сих пор не нашел что почитать в выходные и при этом увлекается нумерологией -- то небезызвестный Юрген Шмидхубер еще 8 октября выпустил 88-
страничный обзор, в котором ровно 888 ссылок.
Название вполне в его духе — Deep Learning in Neural Networks: An Overview (мужик считает себя минимум отцов всего современного AI -- и у него правда есть как минимум одна важная работа в области), многие уже посмеялись с его поста про DeepSeek, но если кто-то считает нашу среду токсиком, посмотрите как он огребает в комментах к одному из его предыдущих постов в линке.
Жалко мужика, а обзор любопытный как минимум для понимания истории вопроса.
DS и нумерология
Если кто до сих пор не нашел что почитать в выходные и при этом увлекается нумерологией -- то небезызвестный Юрген Шмидхубер еще 8 октября выпустил 88-
страничный обзор, в котором ровно 888 ссылок.
Название вполне в его духе — Deep Learning in Neural Networks: An Overview (мужик считает себя минимум отцов всего современного AI -- и у него правда есть как минимум одна важная работа в области), многие уже посмеялись с его поста про DeepSeek, но если кто-то считает нашу среду токсиком, посмотрите как он огребает в комментах к одному из его предыдущих постов в линке.
Жалко мужика, а обзор любопытный как минимум для понимания истории вопроса.
❤7😁7👍1🫡1