Dimension AI | Dmitry Sirakov
Давайте жесткий тур по задачкам на собесы по мл. Буду иногда вкидывать задачи из РЕАЛЬНЫХ собесов, а в комментах будем смотреть решения. Задача: Обучили модель. Log_loss = 0.3 Посчитали Accuracy, он получился 0.6. Задача бинарной классификации. Может ли…
https://xn--r1a.website/dimension_ai?livestream
Сегодня в 21:00 по МСК будет разбор этой задачки)
Разбор будет павучительный: разберем откуда у нас вообще тут взялись лоссы, как их связать и решить задачу.
Не просто голое решение, а мини-ликбез.
Завариваем чаечек и готовимся в 21:00 слушать)
Сегодня в 21:00 по МСК будет разбор этой задачки)
Разбор будет павучительный: разберем откуда у нас вообще тут взялись лоссы, как их связать и решить задачу.
Не просто голое решение, а мини-ликбез.
Завариваем чаечек и готовимся в 21:00 слушать)
Telegram
Dimension AI | Dmitry Sirakov
Блог юного ML-человека
Ссылка на чат - t.me/dimensionchat
Связь - @Shadekss
Ссылка на чат - t.me/dimensionchat
Связь - @Shadekss
❤5
ЛУЧШЕЕ ДЛЯ ИЗУЧЕНИЯ CLASSIC ML. ЛУЧШЕ НЕ НАЙДЕШЬ. ЭТО ВСЕ, ЧТО ТЕБЕ НУЖНО. БЕСПЛАТНО.
ROADMAP: КАК СТАТЬ УВЕРЕННЫМ DS И ПОЛУЧИТЬ СВОЙ ОФФЕР (1 / ?)😳
БАЗА. БАЗА ее спрашивают всегда и везде. С нее и начнем.
Классическое машинное обучение - спрашивают везде, если ты подаешься на DS (Яндекс, Сбер, ВК, Авито, WB, Cloud.ru и прочие топовые компании)
Глубокое понимание этих вещей очень сильно упрощает жизнь, а также позволяет построить очень крепкий мост для Deep Learning и не ощущать дискомфорта в топовых отраслях: NLP, CV, RecSys и многое другое..
Классическое машинное обучение - это совокупность алгоритмов машинного обучения, метрик, как они красиво друг в друга перетекают, как одни методы - тесно связаны с другими. Это все БЕЗУМНО интересно при правильной подаче.
### ХВАТИТ. РАССКАЖИ УЖЕ КАК🍴
Начнем по порядку. Ресурсы:
1. Лекции Жени Соколова— [ссылка]
2. Учебник от ШАД Яндекса — [ссылка]
3. Конспект — ПРИКРЕПЛЕН В ПОСТЕ [Потрачено более 80 часов]
4. GPT-4о.
### МОТИВАЦИЯ😊
1. Курс Жени Соколова — я просмотрел огромное количество курсов и прочитал массу учебников. Этот курс — безусловно лучший на рынке, и он БЕСПЛАТНЫЙ.
2. Учебник ШАД Яндекса — идеален для более глубокого понимания математики. И просто офигенно дополняет Женю Соколова.
3. Мой конспект — невероятно важная часть: подходит как новичкам, так и тем, кто готовится к собеседованиям или хочет освежить свои знания. Он основан на лекциях Жени Соколова с авторскими дополнениями.
### КАК БОТАТЬ? ИНСТРУКЦИЯ😳
1. Открываем лекции на YouTube Жени Соколова . Смотрим видосик.
2. Ищем эту тему в учебнике ШАД Яндекса (если ее нет - забиваем)
3. Параллельно задаем вопросы GPT-4o. Это ОЧЕНЬ ВАЖНО! Без него ты будешь черепахой.
4. Регулярно повторяем прошедшие лекции по КОНСПЕКТУ. Сравниваем, воспроизводим всё, что там написано красивым почерком.
И ВСЕ. БОЛЬШЕ ТЕБЕ НИЧЕГО НЕ НАДО. ЭТО ПОКРЫВАЕТ ВСЕ. ЕСЛИ У ТЕБЯ ХВАТАЕТ УМА, ДИСЦИПЛИНЫ И ЕСТЬ В КАРМАНЕ 2 ТЫСЯЧИ РУБЛЕЙ, ТО ТЕБЕ БОЛЬШЕ НИЧЕГО НЕ НАДО. ВСЁ.
ЭТО ЛУЧШЕЕ ЧТО ЕСТЬ. ЛУЧШЕ НЕ НАЙДЕШЬ. ПОВЕРЬ МНЕ
Поддержите пожалуйста этот пост макисмально реакциями, лайками, комментами, репостами и уточками. Это правда очень важно для нас😘
ROADMAP: КАК СТАТЬ УВЕРЕННЫМ DS И ПОЛУЧИТЬ СВОЙ ОФФЕР (1 / ?)
БАЗА. БАЗА ее спрашивают всегда и везде. С нее и начнем.
Классическое машинное обучение - спрашивают везде, если ты подаешься на DS (Яндекс, Сбер, ВК, Авито, WB, Cloud.ru и прочие топовые компании)
Глубокое понимание этих вещей очень сильно упрощает жизнь, а также позволяет построить очень крепкий мост для Deep Learning и не ощущать дискомфорта в топовых отраслях: NLP, CV, RecSys и многое другое..
Классическое машинное обучение - это совокупность алгоритмов машинного обучения, метрик, как они красиво друг в друга перетекают, как одни методы - тесно связаны с другими. Это все БЕЗУМНО интересно при правильной подаче.
### ХВАТИТ. РАССКАЖИ УЖЕ КАК
Начнем по порядку. Ресурсы:
1. Лекции Жени Соколова— [ссылка]
2. Учебник от ШАД Яндекса — [ссылка]
3. Конспект — ПРИКРЕПЛЕН В ПОСТЕ [Потрачено более 80 часов]
4. GPT-4о.
### МОТИВАЦИЯ
1. Курс Жени Соколова — я просмотрел огромное количество курсов и прочитал массу учебников. Этот курс — безусловно лучший на рынке, и он БЕСПЛАТНЫЙ.
2. Учебник ШАД Яндекса — идеален для более глубокого понимания математики. И просто офигенно дополняет Женю Соколова.
3. Мой конспект — невероятно важная часть: подходит как новичкам, так и тем, кто готовится к собеседованиям или хочет освежить свои знания. Он основан на лекциях Жени Соколова с авторскими дополнениями.
### КАК БОТАТЬ? ИНСТРУКЦИЯ
1. Открываем лекции на YouTube Жени Соколова . Смотрим видосик.
2. Ищем эту тему в учебнике ШАД Яндекса (если ее нет - забиваем)
3. Параллельно задаем вопросы GPT-4o. Это ОЧЕНЬ ВАЖНО! Без него ты будешь черепахой.
4. Регулярно повторяем прошедшие лекции по КОНСПЕКТУ. Сравниваем, воспроизводим всё, что там написано красивым почерком.
И ВСЕ. БОЛЬШЕ ТЕБЕ НИЧЕГО НЕ НАДО. ЭТО ПОКРЫВАЕТ ВСЕ. ЕСЛИ У ТЕБЯ ХВАТАЕТ УМА, ДИСЦИПЛИНЫ И ЕСТЬ В КАРМАНЕ 2 ТЫСЯЧИ РУБЛЕЙ, ТО ТЕБЕ БОЛЬШЕ НИЧЕГО НЕ НАДО. ВСЁ.
ЭТО ЛУЧШЕЕ ЧТО ЕСТЬ. ЛУЧШЕ НЕ НАЙДЕШЬ. ПОВЕРЬ МНЕ
Поддержите пожалуйста этот пост макисмально реакциями, лайками, комментами, репостами и уточками. Это правда очень важно для нас
Please open Telegram to view this post
VIEW IN TELEGRAM
Это - лучший ресурс для повторения, запоминания, усваивания материала по CLASSIC ML.
ЗДЕСЬ ПРЕКРАСНО ВСЕ:
-> структура материала и его качество (Cпасибо Жене Соколову, ШАД)
-> прекрасное оформление, красивый почерк
(Спасибо Нине Мельниковой)
Делимся постом. Ставим реакции. Распространяем.
На конспект потрачено более 80 часов. Все для вас
ЗДЕСЬ ПРЕКРАСНО ВСЕ:
-> структура материала и его качество (Cпасибо Жене Соколову, ШАД)
-> прекрасное оформление, красивый почерк
(Спасибо Нине Мельниковой)
Делимся постом. Ставим реакции. Распространяем.
На конспект потрачено более 80 часов. Все для вас
💘78
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤26👍8💘6
ROADMAP: МАТЕМАТИКА ЭТО НЕ СЛОЖНО, ЕСЛИ ТЕБЕ ЕЕ ПРАВИЛЬНО ПРЕПОДАЮТ (2 / ?) 😳
Следующее, что вас ждет после классики ML на собесах / в жизни - матеша.
Сразу выделю два типа матеши:
1. Лайт-матеша, которую спрашивают на собесах.
2. Базовая матеша, которая требуется для более глубокого, лучшего, качественного понимания классик ML / DL (это буквально основы первых двух семестров бакалавриата).
3. Матеша для RnD (жесткий ресерч, глубокое изучение). Влезают под капот там, где не нужно, и вертят тем, чем до этого никто не вертел.
Этот пост сосредоточен на пунктах 1 и 2. 80% результата дают 20% усилий.
### РЕСУРСЫ
0. Для повторения матеши, для систематизации существующих знаний (если ты вдруг проспал первые два семестра матеши) - рекомендую начать с МАТЕМАТИКА ДЛЯ DS от karpov.courses (БЕСПЛАТНО).
1. Теорвер
а) Для собесов (обычные логические задачи на вероятность / формулу Байеса) - отличный задачник с теорией. (прям как симулятор, очень крутой и практичный. Как будто бы это 80% матеши на собесах, на которых я был)
ССЫЛКА НА ЗАДАЧНИК.
б) Основательный теорвер.
Для тех, кто хочет разбираться в статистических критериях, делать верные гипотезы и узнать фундамент науки. Преподает его ПРЕКРАСНЫЙ мужик из МФТИ, очень вдохновленно, очень понятно, очень доходчиво (бояться правда не надо, поверь мне). ССЫЛКА НА КУРС (БЕСПЛАТНО)
2. Мат.стат.
Куда же без практического мат. стата? АВИТО! Легендарный (как мне кажется) курс по стате от Авито. Очень годно и очень доступно. Да и бесплатно. Дает практическое понимание обо всём происходящем + по науке, конечно же.
ССЫЛКА НА КУРС
Многим знаком, многим любим - и вот он, мат.профи.
Гладко, наглядно, практично, понятно.- гладко, наглядно, практично, понятно. Зачем? Чтобы порешать более математические задачки, которые бывают на душных собесах.
ССЫЛКА НА КУРС
И чтобы быть уверенным орешком - решаем задачки на мат. ожидание / дисперсии (главы 5-7). Это немного, это четко, это быстро.
ССЫЛКА НА КНИЖКУ
### КАК ЭТО НОРМАЛЬНО ЗАБОТАТЬ? МНОГО ЖЕ.
0. Сначала математика для DS (просто базу сформировать)
1. Решаем задачи на простой теорвер из п.1 а) и весь мат.стат из п.2 (тихонько, повышаем сложность, развиваем мозг / ломаем его)
2. Если есть силы и желание - курс Райгородского из п.2 (для любителей и с горящими глазами)
3. Валидируем себя на задачках от GPT-4o на теорвер, особенно задачки с играми / стратегиями (очень любят на собесах)
### SUMMARY
На собесах 80% случаев (по моему опыту) спросят формулу Байеса / условной вероятности и/или дадут задачку на ее решение (для этого у нас есть п.1).
Также часто спрашивают про распределения и мат.стат (для этого у нас есть п.2).
Могут углубиться в алгоритмы классического машинного обучения (Читаем пост ранее).
И на этих знаниях заканчивается первые два собеса в том же Яндексе на классик-DS (на самом деле все намного сложнее / вариативнее, но для крепкой базы, для крепкого начала и дальнейшего определения конкретной области - это оооооочень крутая база)
Поддержите пожалуйста этот пост максимально реакциями, лайками, комментами, репостами и уточками. Это правда очень важно для нас 😘
Следующее, что вас ждет после классики ML на собесах / в жизни - матеша.
Сразу выделю два типа матеши:
1. Лайт-матеша, которую спрашивают на собесах.
2. Базовая матеша, которая требуется для более глубокого, лучшего, качественного понимания классик ML / DL (это буквально основы первых двух семестров бакалавриата).
3. Матеша для RnD (жесткий ресерч, глубокое изучение). Влезают под капот там, где не нужно, и вертят тем, чем до этого никто не вертел.
Этот пост сосредоточен на пунктах 1 и 2. 80% результата дают 20% усилий.
### РЕСУРСЫ
0. Для повторения матеши, для систематизации существующих знаний (если ты вдруг проспал первые два семестра матеши) - рекомендую начать с МАТЕМАТИКА ДЛЯ DS от karpov.courses (БЕСПЛАТНО).
1. Теорвер
а) Для собесов (обычные логические задачи на вероятность / формулу Байеса) - отличный задачник с теорией. (прям как симулятор, очень крутой и практичный. Как будто бы это 80% матеши на собесах, на которых я был)
ССЫЛКА НА ЗАДАЧНИК.
б) Основательный теорвер.
Для тех, кто хочет разбираться в статистических критериях, делать верные гипотезы и узнать фундамент науки. Преподает его ПРЕКРАСНЫЙ мужик из МФТИ, очень вдохновленно, очень понятно, очень доходчиво (бояться правда не надо, поверь мне). ССЫЛКА НА КУРС (БЕСПЛАТНО)
2. Мат.стат.
Куда же без практического мат. стата? АВИТО! Легендарный (как мне кажется) курс по стате от Авито. Очень годно и очень доступно. Да и бесплатно. Дает практическое понимание обо всём происходящем + по науке, конечно же.
ССЫЛКА НА КУРС
Многим знаком, многим любим - и вот он, мат.профи.
Гладко, наглядно, практично, понятно.- гладко, наглядно, практично, понятно. Зачем? Чтобы порешать более математические задачки, которые бывают на душных собесах.
ССЫЛКА НА КУРС
И чтобы быть уверенным орешком - решаем задачки на мат. ожидание / дисперсии (главы 5-7). Это немного, это четко, это быстро.
ССЫЛКА НА КНИЖКУ
### КАК ЭТО НОРМАЛЬНО ЗАБОТАТЬ? МНОГО ЖЕ.
0. Сначала математика для DS (просто базу сформировать)
1. Решаем задачи на простой теорвер из п.1 а) и весь мат.стат из п.2 (тихонько, повышаем сложность, развиваем мозг / ломаем его)
2. Если есть силы и желание - курс Райгородского из п.2 (для любителей и с горящими глазами)
3. Валидируем себя на задачках от GPT-4o на теорвер, особенно задачки с играми / стратегиями (очень любят на собесах)
### SUMMARY
На собесах 80% случаев (по моему опыту) спросят формулу Байеса / условной вероятности и/или дадут задачку на ее решение (для этого у нас есть п.1).
Также часто спрашивают про распределения и мат.стат (для этого у нас есть п.2).
Могут углубиться в алгоритмы классического машинного обучения (Читаем пост ранее).
И на этих знаниях заканчивается первые два собеса в том же Яндексе на классик-DS (на самом деле все намного сложнее / вариативнее, но для крепкой базы, для крепкого начала и дальнейшего определения конкретной области - это оооооочень крутая база)
Поддержите пожалуйста этот пост максимально реакциями, лайками, комментами, репостами и уточками. Это правда очень важно для нас 😘
Please open Telegram to view this post
VIEW IN TELEGRAM
Был я вчера на Turbo ML-Conf от Т-банк на NLP секции.
Все доклады были оч суперские, на удивление.
И как раз на одном из докладов - опубликовали T-Lite (По-простому, GPT от Т-банка).
Я был удивлен, потому что ничего не предвщало беды и тут бам, опенсорс, ссылка на дропбокс / HF для скачивания модельки и везде попадали анонсы в тг-каналах.
Но технического репорта нет, только статья на хабре от посторонних людей (да и они не содержат никакой полезной инфы)
Сделаю пару забавных заметок из доклада:
1) Модель без цензуры [просто ссылка на модель HF] на нормальном русском (да здравствуют порно-рассказы!)
2) За основу взяли opensource модель LLama-3
3) Докинули русскоязычных текстов + английских (чтобы не деградировала). Сделали акцент, что обучали с помощью образовательных текстов)
4) Увеличили контекстное окно с помощью PoSE (до 8192 токена) (Идея основная такая: в классике self-attention не учитывает позицию векторов отдельно. Просто к эмбеддингам токенов прибавляют эмбеддинг их позиции. А тут они зашили позиционные эмбеддинги напрямую в self-attention. Теперь там не только Query-Key-Value [тут оч классная статья, которая поясняет это] матрицы, но и position-aware матрица)
5) Использовали токенизатор TikToken от OpenAI, дополнив его новыми токенами, начальные значения которых были усреднены из старых токенов.
6) Использовали две стадии для настройки предпочтений (удовлетворять запросам пользователей):
1. SPiN на ответах модели-учителя (Strong Model > Our Model) (Идея: использует сильную модель как эталон для обучения нашей модели. Проще говоря: маленькая моделька учится повторять ответы бОльшей и более умной модели)
2. SLiC-HF с использованием своего RM (Идея: Модель генерирует несколько вариантов ответа -> А они, использующие свою ранжирующую модель, выбирают лучший)
Модель по бенчмаркам показывает себя лучше даже GPT-3.5 / LLama-3 на задачах банка: например, суммаризация кейсов.
И на такой результат они потратили всего 3% вычислительных ресурсов (относительно того, сколько обычно выделяют ресов для обучения таких моделей).
НО не всё так радужно. Средний ответ модели почти в 1.5 раза больше, чем нужно. А как следствие - метрики завышены (ведь в бОльшие ответы содержат бОльшее количество информации). Подробнее вот тут.
На самом деле, я безумно рад, что при выделении такого малого кол-ва ресурсов, можно достичь вполне неплохих рехультатов. Ребята красавцы.
Все доклады были оч суперские, на удивление.
И как раз на одном из докладов - опубликовали T-Lite (По-простому, GPT от Т-банка).
Я был удивлен, потому что ничего не предвщало беды и тут бам, опенсорс, ссылка на дропбокс / HF для скачивания модельки и везде попадали анонсы в тг-каналах.
Но технического репорта нет, только статья на хабре от посторонних людей (да и они не содержат никакой полезной инфы)
Сделаю пару забавных заметок из доклада:
1) Модель без цензуры [просто ссылка на модель HF] на нормальном русском (да здравствуют порно-рассказы!)
2) За основу взяли opensource модель LLama-3
3) Докинули русскоязычных текстов + английских (чтобы не деградировала). Сделали акцент, что обучали с помощью образовательных текстов)
4) Увеличили контекстное окно с помощью PoSE (до 8192 токена) (Идея основная такая: в классике self-attention не учитывает позицию векторов отдельно. Просто к эмбеддингам токенов прибавляют эмбеддинг их позиции. А тут они зашили позиционные эмбеддинги напрямую в self-attention. Теперь там не только Query-Key-Value [тут оч классная статья, которая поясняет это] матрицы, но и position-aware матрица)
5) Использовали токенизатор TikToken от OpenAI, дополнив его новыми токенами, начальные значения которых были усреднены из старых токенов.
6) Использовали две стадии для настройки предпочтений (удовлетворять запросам пользователей):
1. SPiN на ответах модели-учителя (Strong Model > Our Model) (Идея: использует сильную модель как эталон для обучения нашей модели. Проще говоря: маленькая моделька учится повторять ответы бОльшей и более умной модели)
2. SLiC-HF с использованием своего RM (Идея: Модель генерирует несколько вариантов ответа -> А они, использующие свою ранжирующую модель, выбирают лучший)
Модель по бенчмаркам показывает себя лучше даже GPT-3.5 / LLama-3 на задачах банка: например, суммаризация кейсов.
И на такой результат они потратили всего 3% вычислительных ресурсов (относительно того, сколько обычно выделяют ресов для обучения таких моделей).
НО не всё так радужно. Средний ответ модели почти в 1.5 раза больше, чем нужно. А как следствие - метрики завышены (ведь в бОльшие ответы содержат бОльшее количество информации). Подробнее вот тут.
На самом деле, я безумно рад, что при выделении такого малого кол-ва ресурсов, можно достичь вполне неплохих рехультатов. Ребята красавцы.
❤39👍9💘2