Есть ли рисерч в Лаборатории машинного обучения?

🧪 Лаборатория по определению ассоциируется с исследованиями, но в нашей команде нет рисерча в классическом представление - мы не пишем статьи в цитируемые журналы и не выступаем на научных конференциях. Более того, 95% наших моделей идут в продашкн.
❓ Какими же исследованиям мы занимаемся и когда переключимся на общепринятые?

💭 Лаборатория образовалась вместе с централизацией функции анализа данных в банке полтора года назад, когда data science был в зачаточной стадии в компании. На тот момент существовало большое количество процессов принятий решений непокрытых моделями машинного обучение. В виду этого обстоятельства, мы в первую очередь сфокусировались на внедрении в ключевые процессы банка нейронные сетей и полностью отказались от привычного рисерча. Более того, Лаборатория является абсолютным лидером в банке по количеству внедренных в продашн моделей. В результате, у бизнеса сформировалось доверие к сеткам, что поможет в будущем их развитию.
👉 Исследования своевременны тогда, когда вы уже выжали максимум для бизнеса за счет общедоступных инструментов и для совершения следующего шага вам требуются делать прорыв в области. В противном случае, исследования не принесут пользы бизнесу, ибо не ясно какой именно процесс нуждается в улучшении.

👉 В практически-ориентированном анализе данных исследования отличаются от тех, что вы можете прочитать на arxiv.
💭 Постановка задач в новом бизнес-процессе в терминах комплекса моделей машинного обучения считается исследованием. Переход с простой аналитики принятии решений на модельный тоже можно отнести к этой области. Добавление новых данных для усиления действующих моделей также считается исследованием, но уже направленное на анализ самого источника.

💭 Процесс внедрения нейронных сетей для различных бизнес-задач становится уже такой же рутиной, как и подбор гипер-параметров для градиентного бустинга. Модели с ноги заходят в 80% core-задач банка и выжимают максимум из данных (как минимум в соревнованиях никто больше не выжал). Не смотря на этот практически полезный факт, ключевые идеи не являются новаторскими и очевидны всем, кто раньше занимался NLP.
❓Как отказаться от рутины и перейти к исследованиям?
👉 Сервисы по автоматическому обучению и внедрению моделей в продакшн позволяют избавить дата сайентистов от рутинных задач и перейти, наконец, к исследованиям в классическом понимании. В результате, вы ускоряете TTM и находите время на развитие мозгов сервиса - исследования.
💭 Мы уже оптимизировали задачу семантического анализа произвольной коллекции текстовых документов. В следующем году оптимизируем и построение нейронных сетей для core-бизнес задач.

🙅‍♂️ В итоге, сейчас в Лаборатории практически нет классического рисерча, но он обязательно появится после перевода рутины в сервисы.

👋 P.S. пишите в ЛС если вы сейчас тоже в отпуске в Бангкоке.
#research

#ML_Lab

Что вы выберете для табличных данных: бустинг или MLP?

🤖 Большой пласт задач машинного обучения на практике - задачи на табличных данных, которые чаще всего решаются при помощи градиентного бустинга. Стандартная для табличных данных MLP-архитектура обычно имеет хуже качество и требует больше ресурсов для обучения и тюнинга.
🤔 Можно ли применять глубокое обучение более эффективно?

🔍 Yandex Research активно занимается исследованиями в этой области. ИМХО, лучшие статьи на эту тему, прошедшие на NeurIPS c 90+ цитированиями:
[1] - Revisiting Deep Learning Models for Tabular Data, 2021
[2] - On Embeddings for Numerical Features in Tabular Deep Learning, 2022

💪 Сетки рвут бустинг несмотря на то, что работы фокусируются на изначально сложных для глубокого обучения задачах, на которых доминируют бустинги традиционно доминируют. Более того, в статье идет сравнение с хорошо натюненными бустингами.
👀 Взляните на ключевые результаты из статьи. В списке ниже указаны модели и их среднее места по задачам в бенчмарке (меньше - лучше).
- Классический MLP - 8.5
- XGBoost - 4.6
- Transformer и кусочно-линейные эмбеддинги - 3.7
- CatBoost - 3.6
- MLP и эмбеддинги с периодическими активациями - 3.0

Рассмотрим основные идеи и техники, помогающие улучшить качество ваших нейронок:
🌟 Архитектурные модификации. Простая модификация MLP c добавлением BatchNorm и пробросных связей подобно ResNet уже показывает существенные улучшения по сравнению с базовым вариантом и является хорошим бейзлайном. Однако, системные приросты показывает предложенная в [1] трансформер-архитектура, изначально использующая эмбеддинги фичей и механизм внимания.

🌟 Эмбеддинги для числовых фичей. Обычно числовые фичи передаются в MLP напрямую, но можно добиться буста качества за счет расширения их размерность, применяя для этого эмбеддинги. Любые варианты эмбеддингов числовых фичей существенно бустят табличные модели и снижают разницу между архитектурными конфигурациями. Для максимального улучшения в работе [2] выделяются две более сложные схемы организации эмбеддингов - с использованием кусочно-линейных функций и периодических активаций.

🅰️ В практике Лаборатории табличные данные появляются в разных форматах: как в виде структурированных фичей, так и в виде сырых последовательностей. Наибольший интерес вызывает применение глубокое обучение там, где оно изначально имеет преимущества - это могут быть чисто неструктурированные данные, или же объединение их с табличными фичами для получения одной сильной модели.

🤔 Отметим следующий интересный факт - чем больше данных имеется, тем менее сильно влияют различные архитектурные модификации и другие техники. Это особенно относятся к табличным данным - зачастую задачи на них и общая структура самих данных куда более простые, чем на неструктурированных доменах вроде картинок или текстов, и возможность полностью описать задачу большим числом данных становится абсолютно реальной на практике.

Потестить различные техники из статей можно в песочнице нашего соревнования на Boosters, причем как на чисто табличных агрегатах, так и на последовательных данных. У двух статей есть открытый исходный код, так что с реализациями мучиться не придется.

🤔 Слово "бустинг" в этом посте оказалось популярнее множества слов {"mlp", "сетка"}.

💬 Автор поста @oasidorshin ответит на ваши вопросы про сравнение сеток с бустингами в комментариях.

#mlsysdesign #dl_in_finance

Масштаб стажерских проектов в Лаборатории

🏆 Проект Лаборатории занял первое место во внутреннем конкурсе "Alfa Award 2021" в категории "сверхэффективность". Экспертное жюри, далее, сотрудники Альфы выбирали среди всех проектов банка — это не был конкурс для стажеров.

🎁 Победителей на бизнес-завтрак пригласил CEO Альфы.
💰 Команда получила материальное вознаграждение в размере 1 млн. рублей.

📸 Бывшие стажеры (сейчас middle DS) Лаборатории набора 2021, Владимир Верхошинский, команда клиентского опыта Альфа-Банка.

💬 Расскажите о своих стажерских проектах в комментариях.
#команда #стажировки

#карьера #ML_Lab

Трудности перевода

🤔 Модель ровно по три раза выбрала мужской и женский род.

Как думаете почему так произошло❓
- Модель переобучилась под конкретный датасет.
- Модель не уверена в своем ответе.
- Новый вид борьбы с дискриминацией. 🤡

Как можно исправить эту проблему❓
- Постобработка текста после перевода.
- Добавление специальных токенов, определяющих пол автора.

💬 Расскажите, как вы добавляете пользовательские признаки в nlp-модели для перевода и чат-бота.
📨 Какие сейчас самые актуальные статьи по этой теме?

#mlsysdesign

Как стать Head of Data Science?

🤦‍♂️Ребят, вы че издеваетесь? Я понимаю, что вам хочется просто расслабиться и наслаждаться жизнью. И не думать о курсах по анализу данных, пользе DS для бизнеса, kaggle, резюме и собеседованиях.

🙅 Я понимаю, что вы уже не верите курсам от популярных блоггеров за 100k+ рубасов, как и они сами. Эти курсы нужно проходить больше месяца, а вам нужно в DS еще вчера.

🙏 Сегодня мне захотелось, чтобы через мой продукт смог пройти каждый. Чтобы у каждого была возможность обучаться и расти вместе со мной. Разработал для вас минутный курс, который позволит вам сразу стать Head of DS всего за три строчки кода.

🤙 Делитесь курсом с друзьями, чтобы не скучать в одиночку в бизнес джете.

📈 Прошедшие обучение говорят, что вы сможете стать kaggle grandmaster, если перепишите этот курс в одну строчку и сможете вычеркнуть Иван Иваныча из него навсегда.

🤡 Начинайте этот рабочий год с хорошего настроения, год будет тяжелым. Смех - это лучшее противоядие от стресса.

💬 Пишите о своих историях успеха после прохождения курса в комментариях.

#карьера

Масштаб проектов Junior NLP DS в Лаборатории

📝 Про развитие чат-бота в Альфе вышла статья, где техническая часть с моих слов адаптирована под широкую аудиторию.

💪 Перечислю наши ключевые достижения:
- Разработали и внедрили свое решение, включающее порядка десятка моделей для различных направлений бизнеса. В течении этого года менялась инфраструктура для исполнения моделей, поэтому работу пришлось дублировать и быть первопроходцами на новой инфраструктуре.
- Показали лучшее качество по результатам а/б-теста по сравнению со внешним решением.
- Построили совместно с бизнесом с нуля процесс разметки данных, предварительно убедив банк в его необходимости.

🤔 К сожалению, без взятия дополнительной ответственности не обошлось. При обслуживании большого количества клиентов, для банка крайне важна стабильность решения. Сейчас мы дублируем инфраструктуру и выстроили несколько линий поддержки решения. Однако, в момент тестирования и перехода со внешнего решения на внутреннее этого ничего не было. Дата сайентист вместе с выделенным MLOPs на протяжении трех месяцев аккумулировали на себе задачи команды сопровождения. Благодаря нашей бизнес-ориентированности, мы становимся первым выбором для внутреннего заказчика в задачах обработки естественного языка.

👶 Как вы могли догадаться, всю техническую часть затащил всего один Junior DS. Впереди нас еще ждет огромный пласт работ, после выполнения которого, нам действительно будет не за что краснеть.

🗣 В этом году мы будем часто рассказывать про результаты работы nlp-направления: чат-боты, голосовые роботы, помощники операторам, работа с обратной связью клиентов и артефактами коммуникации с ними.
👋 Более того, мы будем масштабироваться и искать будущих лидеров в нашу команду.

💬 Набросьте нам в комментариях, что бы вы улучшили в нашем чат-боте.

#nlp #ML_Lab

Десять важных вопросов перед трудоустройством в Data Science

Собеседование в компании, где будет вам честью поработать бесплатно, может отнимать до пяти часов вашего времени. Вас попросят порешать гномиков и другие задачи во время интервью, а после него вы скорее всего будете заниматься менее интеллектуальным трудом и ботать гномиков к следующему собесу, посматривая в сторону леса вакансий.

Как определить будет ли ваша работа нескучным Data Science? Очень просто, нужно всего лишь очень подробно опросить своего будущего работодателя и поискать о нем информацию в сети. Никогда на это не жалейте времени, например, в последний раз лично потратил на это мероприятие четыре месяца.

Подготовил для вас десять важных вопросов, ответы на которые обязательно нужно знать до трудоустройства на новое место работы. Простым перечислением статья не ограничивается — подробно аргументирую, почему считаю ответ на каждый из вопросов обязательным до принятия решения. Не остался в стороне и рассказал, как обстоят дела в Лаборатории.

💬 А какие вопросы вы задаете работодателю перед трудоустройством?

🙏 Прочитав статью, вы надеюсь поймете, что для автора значит "Нескучный Data Science" и, наконец, почему этот канал называется именно так. Однако, не переживайте, в одном из будущих юбилейных постов дам более явное объяснение.

Если вы в поиске места работа, то желаю вам найти свой "Нескучный Data Science Jobs". Если вы в поисках команды, то приложите все усилия, чтобы создать его.

#статьи #карьера

Как стать Kaggle competition master?

🤔 Хотите стать Kaggle Master, но не знаете с чего начать?
Начните со статьи @oasidorshin, который уже успешно прошел этот путь.

⏳ Потратьте 14 минут вашего драгоценного времени, и вы узнаете:

⁃ Зачем нужно участвовать в соревнованиях, особенно если ищите работу в индустрии?
⁃ Сколько времени занял путь автора до заветного титула?
⁃ Как правильно валидироваться и подняться на 400+ мест на private leaderboard?
⁃ Как побеждать в соревнование без серьезных инвестиций в железо?
⁃ Какие методы ансамблирования заходят?

🧐 Не хотите становиться Kaggle Master?
Все равно прочтите статью и узнаете:

⁃ Как анализ данных помогает питомникам животных найти хозяев?
⁃ Какой пайплайн зашел в задаче регрессии на данных изображений?
⁃ Как трансформеры можно использовать в задачах компьютерного зрения?

🎯 Мы стараемся привлекать первоклассных игроков в Лабораторию, ведь они так любят работать вместе с другими первоклассными игроками.
🙏 Очень рады, что автор статьи из всех вариантов выбрал стажировку именно у нас. Как вы могли догадаться, он станет постоянным членом нашей команды в ближайшее время.

💬 Задавайте ваши вопросы автору статьи в комментариях и плюсуйте его достижение 💪 на habr.

#статьи #карьера #соревнования

Эффективный алгоритм найма дата сайентистов

😲 Существует очень простой и интуитивный алгоритм найма, по которому набираю себе команду уже почти 5 лет. Хочу поделиться с вами этими пятью шагами.

1️⃣ Составляешь описание вакансии самостоятельно. Описываешь подробно требования к кандидату и что ему предстоит делать. Таким образом экономишь свое время и относишься с уважением к времени соискателей.

2️⃣ Публикуешь вакансию в ODS, linkedin, Нескучный Data Science Jobs. Отвечаешь на все вопросы сообщества по теме вакансии.

3️⃣ Выбираешь кандидатов для телефонного звонка. Подчеркиваешь ценность позиции личным звонком.

4️⃣ Проводишь одно часовое собеседование. Спрашиваешь только то, что пригодится на работе.

5️⃣ Передаешь кандидата на оформление в отдел кадров. Заводишь заявку на доступы для ускорения онбординга.

🤔 Кому-то покажется, что я "капитаню". Однако, по моим наблюдениям, не все нанимающие менеджеры знают об этом алгоритме и продолжают искать на hh.ru. Более того, некоторые DSы до сих пор не знают, что эффективнее всего искать работу в ODS.

💬 Какой алгоритм найма используете вы? Какой опыт трудоустройства вам больше всего запомнился?

#карьера

Проактивный алгоритм найма

Алгоритм гораздо проще предыдущего, ведь состоит из одного пункта. 🎉
⚠️ Будьте готовы, что вам не только ответят отказом, но и вовсе проигнорируют.

Готовы? Открывайте! 👇

1️⃣ Напишите самостоятельно заинтересовавшему вас специалисту в личку на LinkedIn.
💁‍♂️ Подсказка: Обратите особое внимание на иконку "open to work".
➕ Большой плюс этой социальной сети - вы видите сразу резюме и ваше видят тоже.

🤔 Скорее всего, я не первый его придумал - очень часто по этому алгоритму пытаются схантить меня.
🤔 Уверен, это один из лучших форматов для закрытия Team Lead.+ позиций.

😅 В тот день открытых дверей на Физтехе мы с Демидом проявили проактивность и раздали больше сотни стикер-паков.

🤣 Не зарегистрировались в LinkedIn - ошибка, не добавились в друзья - фатальная ошибка.

#карьера

Лидер vs эффективный менеджер

🔎 Уже в следующем месяце буду искать в Лабораторию Team Lead DS в NLP.
Выделяю для себя два класса руководителей: эффективный менеджер и лидер.

✍️ Различаю их по двум ключевых маркерам:

👉 Если ты внутри команды, то отчет по срокам задач будет единственным форматом коммуникации, интересующим эффективного менеджера. Лидер же будет приходить часто к тебе с новыми идеями, пытаясь тебя и команду максимально вовлекать в процесс брейншторма и совместного планирования реализации амбициозных задач.
👉 Группа лидеров команд обычно фокусируется на том, как совместными силами их команд сделать классный продукт, совершить бизнес-прорыв или поменять устоявшийся неоптимальный порядок вещей для клиентов компании или ее сотрудников.

Если этих маркеров недостаточно, то вот что пишут на сайтах про лидерство.
⚠️ Осторожно высокопарный слог!
1. Руководитель управляет, лидер изменяет и совершенствует.
2. Руководитель — это копия, лидер — это оригинал.
3. Руководитель поддерживает, лидер развивается.
4. Руководитель фокусируется на системах и структуре, лидер фокусируется на людях.
5. Руководитель полагается на контроль, лидер внушает доверие.
6. Замысел руководителя краткосрочный, у лидера далекие перспективы.
7. Руководитель спрашивает, каким образом и когда, лидер спрашивает, что и почему.
8. Руководитель смотрит на нижнюю строчку с «Итого», лидер поднимает глаза на горизонт.
9. Руководитель подражает, лидер создает.
10. Руководитель принимает текущее положение дел, лидер бросает ему вызов.
11. Руководитель — классический бравый солдат, лидер — это только он сам.
12. Руководитель делает все правильно, лидер делает правильные вещи.

Очевидно, что сочетание лучших качеств от обоих типов - идеальный вариант руководителя. Однако,
💬 Вы бы предпочли работать с эффективным менеджером или лидером?
💬 Какое оптимальное соотношение лидеров и эффективных менеджеров в компании?
Опросы вас ждут в комментариях к посту.👇

🔜 В следующий раз расскажу на что обращаю внимание при поиске Тим Лидов.

#карьера

Как лидерам и эффективными менеджерами ужиться в одной компании?

📊 По результатам опроса в канале и linkedin, большинство(~80%) ответивших предпочитают работать под руководством лидера. Более того, опрошенные предпочитают работать в компаниях, где лидеров больше, чем эффективных менеджеров.

Всегда ли нужны лидеры вашей команде?
👉 Вам точно нужен лидер если вы создаете что-то новое или меняете старые парадигмы в компании. Лидер, в отличии от фантазера, не только генерирует вижн, но и отвечает за конечный результат.

👉 Вам точно нужен лидер, если область его компетенций не является core-бизнесом компании, но необходима бизнесу для развития.

👉 Вам точно нужен хотя бы один лидер чтобы иметь альтернативную точку зрения и не погрязнуть в рутинных процессах, пока другие компании меняют рынок.

👉 Часто лидер эффективно менторит команду и растит лидеров внутри, но не всегда)

Эффективные менеджеры точно не нужны?

👉 В свою очередь, эффективные менеджеры точно нужны для управления уже состоявшимися процессами и командами или их шаблонного построения.

👉 В случаях, когда предстоит выполнять не самую интересную, но важную работу без эффективного менеджера команда не справится, а компания забуксует.

👉 Необходимость эффективных менеджеров возрастает, если требуется жестко контролировать результат работы команды.

Есть ли противоречия или конфликт между этими ролями?

🤔 Роли тесно связаны между собой - лидеры выступают локомотивом для создания будущих процессов, пока эффективные менеджеры поддерживают устоявшиеся. Далее, часть новых процессов становится эффективной рутиной, которые передаются эффективным менеджерам и так далее. Правильный баланс между этим роля в компании позволяет не упустить новые возможности и не расшатать фундамент в погоне за ними.

🤝 Избежать конфликтов помогает взаимное уважение сильных сторон каждого и правильное распределение задач, согласно уровню компетенций и реального опыта, а не только грейда.

Как в Лаборатории?

📈 На данном этапе мы отдаем предпочтение лидерам, так как мы меняем парадигмы Data Science в компании. Мы делаем огромный фокус на ответственность чтобы бизнес нам доверял, а мы помогали ему становиться более технологичным.

💬 Результаты опросов в комментариях. 👇

#карьера