🚀 Сейчас активно готовим материалы к Data Fest. Будем рады вас видеть на офлайн дне, 2 июня.

😮 В этот день мы запустим новый образовательный трек NLP in Practice: 10 видео, 10 квизов, соревнование по ML Data Science.

🔄 Обновим трек DL in Finance тремя новыми видео, из которых вы узнаете на сколько мы продвинулись в монетизации нейронных сетей за прошлый год.

👉 Регистрируйтесь на офлайн часть, чтобы понетворкать с авторами треков и узнать интересующие вас детали из первых уст.

😩 Сейчас мы шлифуем датасет для соревы, поэтому не такие довольные, как на фото(

🔜 Ожидайте подробный анонс трека 2 июня.

#курсы #ML_Lab

🚀 Запустили трек NLP in Practice

📚 Обучение в треке разбито на три ключевых блока: ознакомление с теоретической базой, изучение опыта построения nlp-продуктов и, наконец, закрепление на практике полученных знаний.

1️⃣ В первом блоке делается акцент на минимальном наборе хард скиллов. Все начинается с семантического анализа, без которого практически невозможно поставить корректно задачу. Далее разметке данных уделяется особое внимание, так как без нее практически невозможно обойтись сегодня в nlp. Очень часто на собеседованиях кандидаты предлагают использовать BERT во всех случаях жизни, поэтому мы не могли не покрыть вопрос выбора класса моделей и подходов для их эффективного обучения.

2️⃣ Во втором блоке вы узнаете из первых уст истории развития NLP-based продуктов Альфа-Банка: чат-бота, голосового бота, ассистента оператора, семантического анализа обратной связи клиентов, категоризации обращений клиентов на 1000+ классов и структуризации чеков ОФД. Вы услышите не только истории успеха, но и прочувствуете весь тернистый путь, который им предшествовал.

3️⃣ В заключительном части вас ждет соревнование по ML Data Science. На практике редко кто-то выбивает десятысячные доли целевой метрики, подбирая целую неделю гиперпараметры и стакая сотни моделей. В соревновании по DS, на последнем этапе каждый из участников будет выбирать уникальное множество примеров для доразметки, за счет которых сможет улучшить свое решение и обойти конкурентов. Таким образом, уникальный дизайн соревнования позволит более точно смоделировать работу дата сайентиста в индустрии.

💸 Общий призовой фонд соревнования - 800 тысяч рублей.

🅰️ По результатам квизов, 🔝 5 участников трека получат мерч Альфа-Банка.

💬 Вступайте в чат трека и соревнования, чтобы не пропустить важные новости.

P.S. уже начали использовать материалы трека для онбординга новых членов NLP-команды.

#курсы

Как ChatGPT изменит Data Science?

Провели дискуссию с экспертами Альфы, Тинькофф @anatoliipotapov, Huawei @madrugado и Сбер/AIRI @lizagonch о будущем NLP после ChatGPT 🔥

📌 Какие NLP модели применяют в продакшене больших компаний, где в индустрии будут применять GPT и что не получится заменить генеративными моделями?

📌 Когда GPT заменит джунов-программистов и что изучать молодым специалистам, чтобы выдержать конкуренцию с нейросетями?

📌 В чем фундаментальная разница искусственного интеллекта и естественного? В чем естественный интеллект будет проигрывать?

📌 Research – это только 🌿 -архитектуры, или даже в исследованиях применяют регулярки? Как убеждать бизнес инвестировать в исследования?

📌 Почему современные трансформеры все еще недообучены? Где брать данные для обучения больших языковых моделей, когда весь интернет будет сгенерирован нейросетями?

📌 Куда копать участникам нашего соревнования NER на чеках ОФД? 🤫

🤔 Общественность часто считает искусственный интеллект неким сверхразумом. В этом момент почему-то все забывают, что он обучается копировать естественный интеллект, который очень далек от совершенства.

#митап #nlp #видео

Обрабатываем терабайты данных в кредитном скоринге

🥱 Все знают, что в кредитном скоринге мы используем нейросетевые модели, которые трансформируют терабайты сырых данных в оценку благонадежности наших клиентов.

В предыдущих выступлениях делал акцент только на модели, на Saint HighLoad дал больше акцента на инфраструктуру. Основные тезисы выступления:

1️⃣ Построить инфраструктуру для обучения таких моделей довольно просто - достаточно купить отдельный мощный сервер.

2️⃣ Убедить бизнес инвестировать в железо чуть сложнее - необходимо научиться считать экономический эффект.

3️⃣ Внедрить решение на коленке и приносить пользу компании уже сейчас, пока не готовы все интеграции еще сложнее - необходимо взять на себе ответственность и передавать на протяжении полутора лет результаты через почту. Не просто передавать, а делать это вовремя, таким образом чтобы промышленный процесс ни разу не лег.

4️⃣ Построить целевую инфраструктуру, так чтобы бизнес получал эффекты, а дата сайентисты спали спокойно - тоже нелегкая задача. @andriazol прошел этот путь со своей командой MLOPs и подробно рассказал, как устроена наша инфраструктура для обучения и инференса моделей. Рекомендую прочитать, если вы все еще запускаете прод на коленке.

P.S. на этот раз в отзывах на доклад не было комментариев про интимные поцелуи DSов)

#митап #dl_in_finance #видео

Как повысить качество модели кредитного скоринга, не добавляя новые источники данных?

🤔 Источников данных в кредитном скоринге становится все больше, и возникает вопрос: почему бы не попробовать смешивать их не на уровне предсказаний, а на некотором более низком уровне?

🔖 В статье от @nickimpark вы узнаете:

1️⃣ Как построить единую нейросетевую модель, работающую на нескольких источниках последовательных данных?
2️⃣ Как получить из модели эмбеддинг клиента по источнику данных?
3️⃣ Почему смешивание моделей на уровне эмбеддингов позволяет повысить итоговое качество?
4️⃣ Какой эффект в задаче кредитного скоринга можно получить с использованием такого подхода?

📺 Лень читать длинные статьи? Смотрите видео-выступление от автора по этой теме на DataFest 2023

💬 А как вы объединяете нейронные сети на различных источниках данных?

#статьи #dl_in_finance

📝 BERT не всему голова

💻 Знания большого количества специалистов по NLP, судя по сотням проведенных собеседований, нередко ограничиваются одной фразой - «буду использовать BERT для решения любой этой задачи». Связываю с тем, что NLP начала активно развиваться после прихода именно этого персонажа из улицы сезам. В результате, в нее пришло много молодых специалистов, которые не очень хотели изучать додедовские методы. Тем не менее, tf-idf очень часто применяют в проде и нередко побивает знаменитого героя.

😱 Сегодня попытаюсь убедить читателей расширить свой кругозор менее сложными по количеству параметров моделями:

🧠 Вам не требуется большое количество обучаемых параметров, если вы решаете простую задачу. Например, если контекст не сильно влияет на результат или вовсе отсутствует. В исключения запишем случаи, когда у вас небольшое количество размеченных данных.

😮‍💨 Нагрузка на инфраструктуру тем меньше, чем меньше количество параметров у модели. Коммерческие компания считают ресурсы и вам нужно уметь их экономить. Уметь вычислять число параметров модели также важно дата сайентисту, как плюсовову программисту, оценивать сложность алгоритма. Вас не заботят чужие деньги?) Подумайте о планете)

🤔 С ростом сложности модели повышается сложность ее отладки, а не только сложность ответа на формальные запросы интерпретируемости от непрофильных специалистов.

❓ Замедляете свое развитие, сужаете кругозор и становитесь фитпредиктором несмотря на то, что обучаете нейронные сети на 🔥, а не логрег. Вдохновляетесь только статьями про 🌿? В хороших исследованиях всегда приводятся сравнения с качественными бейзлайнами.

📺 Не знакомы с методами древних и предпочитаете видео-контент? Не смог убедить, в итоге, вас интересуют только лучшие стратегии тюнинга BERTа? Смотрите Моделирование на практике из трека NLP in Practice.

💬 Что у вас крутится в проде?)

#mlsysdesign #nlp