Что такое attention?
Раньше CV инженерам можно было оправдаться, почему они не могут ответить на этот вопрос.
Но трансформеры все глубже проникают в компьютерное зрение и оправдания вроде “я же не нлп-шник!” уже точно не сработают :)
Чтобы напомнить вам какие бывают механизмы внимания в CV, мы готовим для вас отдельный материал. Но пока давайте вспомним/узнаем что же вообще такое attention!
Читайте нашу короткую, но очень полезную статью: https://telegra.ph/CHto-takoe-attention-12-09 — и больше не придется оправдываться)
Раньше CV инженерам можно было оправдаться, почему они не могут ответить на этот вопрос.
Но трансформеры все глубже проникают в компьютерное зрение и оправдания вроде “я же не нлп-шник!” уже точно не сработают :)
Чтобы напомнить вам какие бывают механизмы внимания в CV, мы готовим для вас отдельный материал. Но пока давайте вспомним/узнаем что же вообще такое attention!
Читайте нашу короткую, но очень полезную статью: https://telegra.ph/CHto-takoe-attention-12-09 — и больше не придется оправдываться)
Telegraph
Что такое attention
Авторы: Ксения Рябинова, Марк СтраховРедактура: Александр Гончаренко, Тимур Фатыхов, Денис Рябоконь Интуиция Бывают ситуации, когда нам нужно, чтобы сеть “смотрела” не только на локальный контекст, а сразу на все изображение, т.е. на глобальный контекст.…
🔥46👍14🥰4🤔4❤2
Основные компоненты AWS
Давайте представим, что вам понадобилось обучиться на датасете размером в несколько ТБ. На вашей рабочей машинке всего RTX - 3070, а кластера у вас нет🙁 Или даже машинки нет.
Что делать? Надо переезжать в облако! Если вы планируете переезжать или просто хотите узнать как работают в облаке, то читайте нашу новую статью Основные компоненты AWS. В ней мы познакомим вас с основными терминами и дадим несколько советов.
https://telegra.ph/Osnovnye-komponenty-AWS-12-14
Давайте представим, что вам понадобилось обучиться на датасете размером в несколько ТБ. На вашей рабочей машинке всего RTX - 3070, а кластера у вас нет🙁 Или даже машинки нет.
Что делать? Надо переезжать в облако! Если вы планируете переезжать или просто хотите узнать как работают в облаке, то читайте нашу новую статью Основные компоненты AWS. В ней мы познакомим вас с основными терминами и дадим несколько советов.
https://telegra.ph/Osnovnye-komponenty-AWS-12-14
Telegraph
Основные компоненты AWS
Автор: Александр ГончаренкоРедактура: Тимур Фатыхов Введение Давайте представим, что вам внезапно понадобилось обучиться на датасете размером в несколько ТБ. Что делать? На вашей рабочей машинке, всего RTX - 3070, а кластера у вас нет( Хорошим решением в…
👍18❤2❤🔥2
Прогресс развития механизма внимания в CV
Продолжаем про аттеншн в CV. Предыдущий пост.
Теперь у вас есть понимание, что по большому счету механизм внимания - это просто умный (обучаемый) способ что-то перевзвесить. Давайте рассмотрим классификацию механизмов внимания в компьютерном зрении, а также историю их развития. На рисунке представлена временная линия с метками, подчеркивающими знаковые статьи того времени.
Весь прогресс развития может быть грубо разделен на 4 периода:
1. Первый период начинается с архитектуры RAM. В ней авторы предложили комбинировать глубокие сети с механизмом внимания. Механизм внимания рекуррентно предсказывал “важные” участки изображений и обновлял веса сети с помощью обучения с подкреплением. Главной отличительной особенностью работ этого периода является то, что для реализации механизмов внимания всегда использовали RNN;
2. Второй период начался с архитектуры STN. В STN авторы использовали подсеть, которая предсказывает аффинные преобразования для локализации (за счет растяжения и обрезки) и трансформации (сдвиг, поворот) “важной” области изображения. Затем через сеть пропускается только преобразованная важная область входной картинки. Главной отличительной особенностью второго периода является то, что важные области входных данных предсказывались отдельной подсетью, которая училась вместе с классификатором.
3. Третий период начался с SENet, которая предложила поканальный вариант механизма внимания. В нем адаптивно (обучаемо) выделяются потенциально важные признаки. SE-блоки используются например в EffNet и MobileNet архитектурах.
4. Четвертый период начался с адаптации работы Attention is all you need к работе с изображениями, породив архитектуры под общим названием “visual transformers”.
Продолжаем про аттеншн в CV. Предыдущий пост.
Теперь у вас есть понимание, что по большому счету механизм внимания - это просто умный (обучаемый) способ что-то перевзвесить. Давайте рассмотрим классификацию механизмов внимания в компьютерном зрении, а также историю их развития. На рисунке представлена временная линия с метками, подчеркивающими знаковые статьи того времени.
Весь прогресс развития может быть грубо разделен на 4 периода:
1. Первый период начинается с архитектуры RAM. В ней авторы предложили комбинировать глубокие сети с механизмом внимания. Механизм внимания рекуррентно предсказывал “важные” участки изображений и обновлял веса сети с помощью обучения с подкреплением. Главной отличительной особенностью работ этого периода является то, что для реализации механизмов внимания всегда использовали RNN;
2. Второй период начался с архитектуры STN. В STN авторы использовали подсеть, которая предсказывает аффинные преобразования для локализации (за счет растяжения и обрезки) и трансформации (сдвиг, поворот) “важной” области изображения. Затем через сеть пропускается только преобразованная важная область входной картинки. Главной отличительной особенностью второго периода является то, что важные области входных данных предсказывались отдельной подсетью, которая училась вместе с классификатором.
3. Третий период начался с SENet, которая предложила поканальный вариант механизма внимания. В нем адаптивно (обучаемо) выделяются потенциально важные признаки. SE-блоки используются например в EffNet и MobileNet архитектурах.
4. Четвертый период начался с адаптации работы Attention is all you need к работе с изображениями, породив архитектуры под общим названием “visual transformers”.
👍24❤🔥5🤯3❤1🔥1
Типы механизмов внимания
В целом механизмы внимания в компьютерном зрении можно разделить на следующие категории:
1. Поканальный механизм внимания (Channel attention - НА ЧТО обращать внимание);
2. Пространственный механизм внимания (Spatial attention - КУДА обращать внимание);
3. Временной (эволюционный) механизм внимания (Temporal Attention - КОГДА обращать внимание);
4. Блочный\веточный механизм внимания (Branch attention - ЧТО должно обратить внимание).
Также существуют архитектуры, которые являются представителями нескольких категорий механизмов внимания одновременно.
Рисунок 1 представляет диаграмму категоризации механизмов внимания в компьютерном зрении.
Формула 1 обобщает практически все существующие реализации механизмов внимания. Эту формулу стоит запомнить как для общего развития, так и для ответов на собеседованиях.
Формула 2 — известный вам из предыдущего поста self-attention .
Формула 3 — SE-блок.
В целом механизмы внимания в компьютерном зрении можно разделить на следующие категории:
1. Поканальный механизм внимания (Channel attention - НА ЧТО обращать внимание);
2. Пространственный механизм внимания (Spatial attention - КУДА обращать внимание);
3. Временной (эволюционный) механизм внимания (Temporal Attention - КОГДА обращать внимание);
4. Блочный\веточный механизм внимания (Branch attention - ЧТО должно обратить внимание).
Также существуют архитектуры, которые являются представителями нескольких категорий механизмов внимания одновременно.
Рисунок 1 представляет диаграмму категоризации механизмов внимания в компьютерном зрении.
Формула 1 обобщает практически все существующие реализации механизмов внимания. Эту формулу стоит запомнить как для общего развития, так и для ответов на собеседованиях.
Формула 2 — известный вам из предыдущего поста self-attention .
Формула 3 — SE-блок.
👍20🤯7🔥4❤2
Как ускорить разметку при помощи CVAT и Fiftyone
Задача: разметить тысячи изображений быстро и дешево, чтобы не тратить время на простые кейсы. Решение: предразметить картинки, выбросить мусор и размечать самые полезные. В идеале решить задачу без костылей, чтобы переиспользовать решение в будущих задачах.
В новой статье-туториале вы узнаете как с нуля поднять у себя сервис для разметки CVAT и познакомитесь с Fiftyone — сервисом, который ускорит работу с датасетом.
Рассказываем про сервисы на примере задачи детекции. Читайте подробнее в телеграфе: https://telegra.ph/Razmechaem-dannye-Bystro-nedorogo-12-27
Задача: разметить тысячи изображений быстро и дешево, чтобы не тратить время на простые кейсы. Решение: предразметить картинки, выбросить мусор и размечать самые полезные. В идеале решить задачу без костылей, чтобы переиспользовать решение в будущих задачах.
В новой статье-туториале вы узнаете как с нуля поднять у себя сервис для разметки CVAT и познакомитесь с Fiftyone — сервисом, который ускорит работу с датасетом.
Рассказываем про сервисы на примере задачи детекции. Читайте подробнее в телеграфе: https://telegra.ph/Razmechaem-dannye-Bystro-nedorogo-12-27
Telegraph
Размечаем данные. Быстро, недорого.
Автор: Илья БакалецРедакторы: Марк Страхов, Тимур Фатыхов Представьте ситуацию: подходит к концу спринт, во время которого вы с командой планировали разметить десятки тысяч картинок для обучения новой нейросети (допустим, детектора). Откладывать задачи —…
🔥33👍3❤2⚡2
Всем доброго новогоднего утра!⭐️
От всей команды DeepSchool желаем вам прекрасного года! Чтобы лоссы падали, метрики росли, но главное: чтобы вы получали от этого удовольствие💙
Спасибо, что читаете нас! Ценим ваше внимание и благодарим за ваши реакции) В следующем году будем еще больше радовать вас полезным контентом!
От всей команды DeepSchool желаем вам прекрасного года! Чтобы лоссы падали, метрики росли, но главное: чтобы вы получали от этого удовольствие💙
Спасибо, что читаете нас! Ценим ваше внимание и благодарим за ваши реакции) В следующем году будем еще больше радовать вас полезным контентом!
❤65🎉11⚡1
Channel Attention
Всех с первым рабочим днем!🧑🔬🧑🎨🧑💻
Решили не нагружать вас постами в праздники, чтобы не отвлекать от отдыха)
Начнем год с короткой статьи в телеграфе. Продолжаем про Attention в CV (прошлый пост из серии тут). Рассмотрим поканальный механизм внимания и в частности Squeeze-and-Excitation блок, который используется в семействах MobileNet и EffNet.
Переходите по ссылке, чтобы узнать подробнее: https://telegra.ph/Channel-Attention-12-28
Всех с первым рабочим днем!🧑🔬🧑🎨🧑💻
Решили не нагружать вас постами в праздники, чтобы не отвлекать от отдыха)
Начнем год с короткой статьи в телеграфе. Продолжаем про Attention в CV (прошлый пост из серии тут). Рассмотрим поканальный механизм внимания и в частности Squeeze-and-Excitation блок, который используется в семействах MobileNet и EffNet.
Переходите по ссылке, чтобы узнать подробнее: https://telegra.ph/Channel-Attention-12-28
Telegraph
Channel Attention
Авторы: Ксения Рябинова, Марк СтраховРедакторы: Александр Гончаренко, Тимур Фатыхов Давайте теперь поближе рассмотрим типы механизмов внимания. При исследовании сверточных нейросетей было замечено, что каждое ядро в свертке ищет определенный паттерн во входной…
🔥19👍7❤1🤯1
Дешево считаем в облаке, если нет GPU
Когда у студентов нашего курса возникают проблемы с их машинами, мы выдаем кредиты на аренду GPU в сервисе vast.ai.
Чтобы было проще познакомиться с сервисом и настроить удаленную работу, мы написали туториал. В нем мы рассказали как выбрать машину, настроить удаленное подключение и работать в VSCode так, будто GPU стоит на вашем компьютере.
Если вы тоже можете платить криптой или зарубежной картой и ищете дешевую машину для краткосрочных проектов, то наш туториал будет полезен и вам.
Читайте и сохраняйте на будущее: https://telegra.ph/Deshevo-schitaem-v-oblake-esli-net-GPU-vastai--VSCode-01-14 😉
Когда у студентов нашего курса возникают проблемы с их машинами, мы выдаем кредиты на аренду GPU в сервисе vast.ai.
Чтобы было проще познакомиться с сервисом и настроить удаленную работу, мы написали туториал. В нем мы рассказали как выбрать машину, настроить удаленное подключение и работать в VSCode так, будто GPU стоит на вашем компьютере.
Если вы тоже можете платить криптой или зарубежной картой и ищете дешевую машину для краткосрочных проектов, то наш туториал будет полезен и вам.
Читайте и сохраняйте на будущее: https://telegra.ph/Deshevo-schitaem-v-oblake-esli-net-GPU-vastai--VSCode-01-14 😉
Telegraph
Дешево считаем в облаке если нет GPU: vast.ai + VSCode
Автор: Тимур ФатыховРедактор: Александр Гончаренко В этом гайде мы покажем как связать VSCode с облачной GPU, арендованной на vast.ai. При этом, все будет выглядеть так, как будто вы считаете на своем компьютере, а не где-то в облаке. Важное замечание перед…
🔥30❤2👏2⚡1
Чем заменить CSV, если у вас очень много данных
Одна из основных проблем формата CSV — размер файлов. В нем мы храним данные в виде строк, соответственно, число 0.0123456789 будет занимать 12 байт. В то же время, это float число, которое должно занимать 4 байта. Мы видим разницу в 3 раза для каждого числа. А их могут быть миллионы! Более того, большой размер файла еще и замедляет скорость его считывания с диска.
Давайте представим: у нас есть датасет размерности (100000000,10) и мы хотим обучить нейросетку. Загрузить в оперативную память такой датасет не получится. Следовательно, нам нужно будет считывать куски с диска. Если в батч мы захотим положить элемент с индексом 1000, то в CSV нам придется пройти все предыдущие 1000 строк (если вы не гуру memory mapping’а). Это очень долго и неэффективно.
Одно из решений перечисленных проблем — хранение данных в формате Hdf (Hierarchical Data Format). В этом посте мы расскажем вам только о нем, а если тема интересна, можно еще погуглить parquet.
Данные в hdf5 хранятся в бинарном формате. Это значит, что 0.0123456789 будет занимать ровно 4 байта. В hdf5 для таблиц есть специальная сущность dataset. Данные в ней хранятся кусками — чанками. В то же время, индексы этих чанков хранятся в B - дереве. Таким образом, у нас получится очень быстро получить доступ к любому чанку. В нашем случае мы возьмем чанк размера (1,10) и сможем очень быстро читать строки.
Можем даже исхитриться и использовать чанк размера (k, 10) и в батч класть данные не по одному элементу, а по k. У нас не будет обычного уровня случайности. Но если k достаточно мало — этим можно пожертвовать в сторону скорости (особенно если bottlneck - чтение с диска)!
Пара интересных фичей hdf5:
1) Сжатие данных (на прикрепленной ниже картинке мы представили пример, во сколько раз может сжать hdf5).
2) Возможность хранения мета-информации. Например, в ней можно хранить описание данных.
3) Возможность хранения нескольких датасетов в одном файле. Например, можно train, test и val хранить в одном файле!
4) А главное, все это поддерживается в pandas! Важно не забыть pip install pytables. Ну а если у вас действительно большие данные, то лучше напрямую работать с h5py.
У читателей может возникнуть вопрос: почему бы не использовать sqlite? Там тоже самое B-дерево, также есть разные типы данных, но еще и доступ произвольный не к чанку, а к элементу… Главная причина — скорость. В большинстве случаев hdf5 просто быстрее. Подробнее можно почитать, например, в этом исследовании.
Одна из основных проблем формата CSV — размер файлов. В нем мы храним данные в виде строк, соответственно, число 0.0123456789 будет занимать 12 байт. В то же время, это float число, которое должно занимать 4 байта. Мы видим разницу в 3 раза для каждого числа. А их могут быть миллионы! Более того, большой размер файла еще и замедляет скорость его считывания с диска.
Давайте представим: у нас есть датасет размерности (100000000,10) и мы хотим обучить нейросетку. Загрузить в оперативную память такой датасет не получится. Следовательно, нам нужно будет считывать куски с диска. Если в батч мы захотим положить элемент с индексом 1000, то в CSV нам придется пройти все предыдущие 1000 строк (если вы не гуру memory mapping’а). Это очень долго и неэффективно.
Одно из решений перечисленных проблем — хранение данных в формате Hdf (Hierarchical Data Format). В этом посте мы расскажем вам только о нем, а если тема интересна, можно еще погуглить parquet.
Данные в hdf5 хранятся в бинарном формате. Это значит, что 0.0123456789 будет занимать ровно 4 байта. В hdf5 для таблиц есть специальная сущность dataset. Данные в ней хранятся кусками — чанками. В то же время, индексы этих чанков хранятся в B - дереве. Таким образом, у нас получится очень быстро получить доступ к любому чанку. В нашем случае мы возьмем чанк размера (1,10) и сможем очень быстро читать строки.
Можем даже исхитриться и использовать чанк размера (k, 10) и в батч класть данные не по одному элементу, а по k. У нас не будет обычного уровня случайности. Но если k достаточно мало — этим можно пожертвовать в сторону скорости (особенно если bottlneck - чтение с диска)!
Пара интересных фичей hdf5:
1) Сжатие данных (на прикрепленной ниже картинке мы представили пример, во сколько раз может сжать hdf5).
2) Возможность хранения мета-информации. Например, в ней можно хранить описание данных.
3) Возможность хранения нескольких датасетов в одном файле. Например, можно train, test и val хранить в одном файле!
4) А главное, все это поддерживается в pandas! Важно не забыть pip install pytables. Ну а если у вас действительно большие данные, то лучше напрямую работать с h5py.
У читателей может возникнуть вопрос: почему бы не использовать sqlite? Там тоже самое B-дерево, также есть разные типы данных, но еще и доступ произвольный не к чанку, а к элементу… Главная причина — скорость. В большинстве случаев hdf5 просто быстрее. Подробнее можно почитать, например, в этом исследовании.
🔥33👍7❤3🤔1
Self-attention в Computer Vision
Продолжаем серию постов про attention в CV. Ранее мы рассказывали про поканальный механизм внимания, теперь перейдем к пространственному (здесь мы писали про различные типы). В частности, проведем ликбез по Self-Attention, чтобы в следующей части уже перейти к ViT!🚀
Читайте нашу новую статью, чтобы лучше разобраться в attention в CV
Продолжаем серию постов про attention в CV. Ранее мы рассказывали про поканальный механизм внимания, теперь перейдем к пространственному (здесь мы писали про различные типы). В частности, проведем ликбез по Self-Attention, чтобы в следующей части уже перейти к ViT!🚀
Читайте нашу новую статью, чтобы лучше разобраться в attention в CV
deepschool-pro on Notion
Attention in CV: Spatial Attention | Notion
Авторы: Ксения Рябинова, Марк Страхов
🔥31👍5❤4❤🔥1
Visual Transformer (ViT)
Вот и кульминация серии постов про attention🚀 Разобрали первый трансформер для изображений ViT. Это очень полезный материал, который поможет вам разобраться в трансформерах.
Прочитав нашу большую статью, вы узнаете/вспомните:
- из каких частей состоит ViT и что делает каждая из них;
- почему в ViT перепутаны слои энкодера; *интрига*
- что такое Multi-Head Self-Attention;
- зачем нужен [cls]-токен;
- чем отличается BatchNorm от LayerNorm.
Также каждую часть трансформера мы реализовали в коде, который вы можете повторить, чтобы глубже разобраться в архитектуре.
Читайте и делитесь с коллегами, приятного чтения: https://deepschool-pro.notion.site/ViT-a6854b69af4945a89870cfc497654bf1
Вот и кульминация серии постов про attention🚀 Разобрали первый трансформер для изображений ViT. Это очень полезный материал, который поможет вам разобраться в трансформерах.
Прочитав нашу большую статью, вы узнаете/вспомните:
- из каких частей состоит ViT и что делает каждая из них;
- почему в ViT перепутаны слои энкодера; *интрига*
- что такое Multi-Head Self-Attention;
- зачем нужен [cls]-токен;
- чем отличается BatchNorm от LayerNorm.
Также каждую часть трансформера мы реализовали в коде, который вы можете повторить, чтобы глубже разобраться в архитектуре.
Читайте и делитесь с коллегами, приятного чтения: https://deepschool-pro.notion.site/ViT-a6854b69af4945a89870cfc497654bf1
deepschool-pro on Notion
ViT | Notion
Авторы: Ксения Рябинова, Марк Страхов
🔥46👍7❤🔥6❤4
Функции активации
#этобаза!👨🦳 Даже в знакомых темах можно узнать что-то новое или закрыть пробел в знаниях. В новой статье напоминаем популярные функции активации: их плюсы и минусы, формулы и графики.
Вспомнили:
- зачем нужны активации;
- сигмоиду;
- гиперболический тангенс;
- ReLU, PReLU, Leaky ReLU;
- Swish.
Переходите по ссылке, чтобы прочесть :)
#этобаза!👨🦳 Даже в знакомых темах можно узнать что-то новое или закрыть пробел в знаниях. В новой статье напоминаем популярные функции активации: их плюсы и минусы, формулы и графики.
Вспомнили:
- зачем нужны активации;
- сигмоиду;
- гиперболический тангенс;
- ReLU, PReLU, Leaky ReLU;
- Swish.
Переходите по ссылке, чтобы прочесть :)
deepschool-pro on Notion
Функции активации | Notion
Автор: Александр Гончаренко
👍51🔥9❤6🍌4
EfficientNet
Продолжаем ликбез по архитектурам! В новой короткой статье рассказываем про семейство EffNet:
- почему EfficientNet получили такое название;
- из чего состоит и как подбирали B0;
- как масштабировали B0 в B1-B7.
Если не знакомы с архитектурой или путались в методе масштабирования EffNet, то читайте статью, поможем разобраться: https://deepschool-pro.notion.site/EfficientNet-edd3125d0f314a24a77376a17072ca56
Продолжаем ликбез по архитектурам! В новой короткой статье рассказываем про семейство EffNet:
- почему EfficientNet получили такое название;
- из чего состоит и как подбирали B0;
- как масштабировали B0 в B1-B7.
Если не знакомы с архитектурой или путались в методе масштабирования EffNet, то читайте статью, поможем разобраться: https://deepschool-pro.notion.site/EfficientNet-edd3125d0f314a24a77376a17072ca56
deepschool-pro on Notion
EfficientNet | Notion
Автор: Тимур Фатыхов
🔥32👍13❤3🎉2
Unet
Кажется, первое слово, которое ассоциируется с сегментацией у большинства инженеров и ресерчеров – Unet. Возможно, у кого-то уже сложилась похожая ассоциация и с диффузионными моделями. Ведь в них также используются U-образные архитектуры.
Поэтому про Unet важно знать и можно вспоминать 🙂 Мы разобрали архитектуру 2015 года, а также соотнесли ее с современным положением дел. А именно рассказали:
- какая идея кроется за Unet;
- какие решения были до этой архитектуры;
- какие идеи в статье уже не актуальны;
- что можно использовать в качестве upsampling;
- и как можно улучшить результат Unet.
Читайте, чтобы освежить знания и узнать новое: https://deepschool-pro.notion.site/Unet-bf1d734f847e4bfd8d8c795cdfa6bbc6
Кажется, первое слово, которое ассоциируется с сегментацией у большинства инженеров и ресерчеров – Unet. Возможно, у кого-то уже сложилась похожая ассоциация и с диффузионными моделями. Ведь в них также используются U-образные архитектуры.
Поэтому про Unet важно знать и можно вспоминать 🙂 Мы разобрали архитектуру 2015 года, а также соотнесли ее с современным положением дел. А именно рассказали:
- какая идея кроется за Unet;
- какие решения были до этой архитектуры;
- какие идеи в статье уже не актуальны;
- что можно использовать в качестве upsampling;
- и как можно улучшить результат Unet.
Читайте, чтобы освежить знания и узнать новое: https://deepschool-pro.notion.site/Unet-bf1d734f847e4bfd8d8c795cdfa6bbc6
deepschool-pro on Notion
Unet | Notion
Автор: Илья Бакалец
🔥47👍8❤6
Приходите пообщаться
UPD: Спасибо всем, кто заполнил форму!💙 До конца недели свяжемся с каждым из вас. Собрали достаточное количество ответов, поэтому форму закрыли.
Привет! Меня зовут Тимур, я один из основателей проекта DeepSchool. 2 года назад мы загорелись идеей создать курс повышения квалификации в Computer Vision. Но перед составлением программы решили провести интервью с добровольцами из слака ODS, чтобы понять как принести пользу большему числу людей.
Мы постоянно улучшаем наш курс, и хотим снова сверить наше виденье с сообществом, поэтому предлагаем обмен :) Если вы хотите обсудить вопрос, спросить совет на любую около DL/CV-тему и вам кажется, что разговор с нами вам поможет, приходите пообщаться.
Воспринимайте это как встречу в онлайн-баре с коллегами по цеху🍻 Вопрос может быть любой: "какие курсы изучить" , "на работе однотипные проекты, как развиваться", "как мне, тимлиду, поднять настроение в команде" – что угодно. Мы постараемся вам помочь и подготовимся заранее ко встрече. А взамен позадаем вопросы, которые помогут нам улучшить продукт. На встрече буду я и один человек из нашей команды.
Если вас заинтересовало такое предложение, заполните, пожалуйста,гугл-форму. Не стесняйтесь писать, даже если вопрос кажется вам незначительным. Мы выберем 10 человек с разными проблемами и встретимся в ближайшие 2 недели. Остальным подарим утешительный бонус :) После 30 ответов закроем форму.
UPD: Спасибо всем, кто заполнил форму!💙 До конца недели свяжемся с каждым из вас. Собрали достаточное количество ответов, поэтому форму закрыли.
Привет! Меня зовут Тимур, я один из основателей проекта DeepSchool. 2 года назад мы загорелись идеей создать курс повышения квалификации в Computer Vision. Но перед составлением программы решили провести интервью с добровольцами из слака ODS, чтобы понять как принести пользу большему числу людей.
Мы постоянно улучшаем наш курс, и хотим снова сверить наше виденье с сообществом, поэтому предлагаем обмен :) Если вы хотите обсудить вопрос, спросить совет на любую около DL/CV-тему и вам кажется, что разговор с нами вам поможет, приходите пообщаться.
Воспринимайте это как встречу в онлайн-баре с коллегами по цеху🍻 Вопрос может быть любой: "какие курсы изучить" , "на работе однотипные проекты, как развиваться", "как мне, тимлиду, поднять настроение в команде" – что угодно. Мы постараемся вам помочь и подготовимся заранее ко встрече. А взамен позадаем вопросы, которые помогут нам улучшить продукт. На встрече буду я и один человек из нашей команды.
Если вас заинтересовало такое предложение, заполните, пожалуйста,
🔥27👍2
DeepSchool
Приходите пообщаться UPD: Спасибо всем, кто заполнил форму!💙 До конца недели свяжемся с каждым из вас. Собрали достаточное количество ответов, поэтому форму закрыли. Привет! Меня зовут Тимур, я один из основателей проекта DeepSchool. 2 года назад мы загорелись…
Спасибо всем, кто заполнил форму!💙 До конца недели свяжемся с каждым из вас. Собрали достаточное количество ответов, поэтому форму закрыли.
А теперь продолжаем серию постов про статистику)
А теперь продолжаем серию постов про статистику)
❤7👍1
Сравнение метрик двух моделей
Представьте, что вы обучили две модели и хотите выбрать из них лучшую. На кросс-валидации значения метрик довольно близки друг к другу. Но если усреднить метрику по фолдам, то первая модель лучше — можно ли доверять такому тесту и отдать предпочтение первой модели?
На этот вопрос мы и ответим в новой статье. Из нее вы узнаете:
- можно ли в лоб сравнивать усредненные метрики двух моделей,
- какие есть тесты,
- и в каких случаях можно использовать каждый из них.
Чтобы детальнее разобраться в выборе лучшей модели, читайте нашу новую статью:
https://deepschool-pro.notion.site/73fa46f62c7d44fb8685f1ba6f004496
Представьте, что вы обучили две модели и хотите выбрать из них лучшую. На кросс-валидации значения метрик довольно близки друг к другу. Но если усреднить метрику по фолдам, то первая модель лучше — можно ли доверять такому тесту и отдать предпочтение первой модели?
На этот вопрос мы и ответим в новой статье. Из нее вы узнаете:
- можно ли в лоб сравнивать усредненные метрики двух моделей,
- какие есть тесты,
- и в каких случаях можно использовать каждый из них.
Чтобы детальнее разобраться в выборе лучшей модели, читайте нашу новую статью:
https://deepschool-pro.notion.site/73fa46f62c7d44fb8685f1ba6f004496
deepschool-pro on Notion
Сравнение метрик двух моделей | Notion
Автор: Александр Гончаренко
👍42🤔5❤4🔥4
Наши авторы
Вы могли заметить, что мы указываем авторов и редакторов в наших статьях. Авторы генерируют материал, а редакторы проводят ревью. И каждый из нас – практикующий инженер. Вместе мы стараемся написать не просто сухую статью, а вложить в нее свой опыт, чтобы вы понимали как теория соотносится с реальной работой.
Иногда мы переписываем статьи по 5 раз)) А в конце наш корректор, Лиза, развязывает сложные предложения и убирает лишнее. Все для того, чтобы материал был понятен и там была только польза без лишней воды. Поэтому мы не так часто выкладываем посты: над ними проводится большая работа, в которой участвует до 5 человек.
Нашему каналу летом исполнится 1 год, мы опубликовали более 60 постов и собрали 3000 единомышленников. Но мы никогда не рассказывали, кто работает над каналом, и чьи материалы вы читаете. Поэтому в новой серии постов хотим познакомить вас с нашими героями)
Вы могли заметить, что мы указываем авторов и редакторов в наших статьях. Авторы генерируют материал, а редакторы проводят ревью. И каждый из нас – практикующий инженер. Вместе мы стараемся написать не просто сухую статью, а вложить в нее свой опыт, чтобы вы понимали как теория соотносится с реальной работой.
Иногда мы переписываем статьи по 5 раз)) А в конце наш корректор, Лиза, развязывает сложные предложения и убирает лишнее. Все для того, чтобы материал был понятен и там была только польза без лишней воды. Поэтому мы не так часто выкладываем посты: над ними проводится большая работа, в которой участвует до 5 человек.
Нашему каналу летом исполнится 1 год, мы опубликовали более 60 постов и собрали 3000 единомышленников. Но мы никогда не рассказывали, кто работает над каналом, и чьи материалы вы читаете. Поэтому в новой серии постов хотим познакомить вас с нашими героями)
❤41👍14🔥6
Ксюша Рябинова
С Ксюшей мы познакомились на первом потоке нашего курса в 2021 году. В тот момент она уже была довольно сильным инженером, но все равно хотела углубить свои знания. А вот что Ксюша рассказывает о себе сейчас:
"Я училась в Кубанском государственном университете. В универе полюбила методы оптимизации и параллельное программирование и уже тогда задумалась, что было бы круто заниматься чем-то подобным. В итоге так и вышло)
Мое первое место работы – лаборатория Кубанского университета. Там я писала на cuda и c++, решала CV-задачки и работала с обработкой звука. В лабе я вплотную познакомилась с нейросетями. Застала то время, когда все писали на keras или прямо на tensorflow.
Спустя 2 года работы в лабе, мне захотелось расширить свои знания и сменить профиль с CV на NLP. Тогда я устроилась в Мегафон. Там я решала задачи кластеризации и классификации текстов. После года работы аналитиком, мне стало интересно познакомиться ближе с деплоем моделей, и в этот момент я случайно наткнулась на вакансию в S7 Techlab. Решила просто попробробовать пособеседоваться.
С командой S7 случился полный мэтч. И пока это лучшая команда, с которой я когда-либо работала! Мы занимались и NLP, и CV задачами. К дефолтной для чатбота классификации у нас добавилась генерация, которая в последние годы очень сильно хайпует.
А теперь я в Берлине! 15 февраля вышла на работу в eBay в команду поиска. Буду продолжать работать в NLP и приживаться в Германии)
Помимо работы в последние 5 месяцев увлекаюсь переездом в Берлин)) А вообще до этого я увлекалась комнатными растениями) Еще люблю готовить азиатскую еду и в связи с этим пытаюсь убедить себя, что люблю острое))"
В комментариях вы можете пообщаться с Ксюшей и задать ей вопросы, она будет рада поделиться своим опытом)
В нашем канале Ксюша работала над каждым постом, связанным с attention, вот этот список:
- Что такое attention?
- Прогресс развития механизма внимания в CV
- Типы механизмов внимания
- Channel Attention
- Self-attention в Computer Vision
- Visual Transformer (ViT)
можно заметить, что Ксюша писала каждую статью вместе с Марком Страховым. Почему так случилось, мы расскажем уже в следующих постах серии, когда познакомим вас с Марком)
С Ксюшей мы познакомились на первом потоке нашего курса в 2021 году. В тот момент она уже была довольно сильным инженером, но все равно хотела углубить свои знания. А вот что Ксюша рассказывает о себе сейчас:
"Я училась в Кубанском государственном университете. В универе полюбила методы оптимизации и параллельное программирование и уже тогда задумалась, что было бы круто заниматься чем-то подобным. В итоге так и вышло)
Мое первое место работы – лаборатория Кубанского университета. Там я писала на cuda и c++, решала CV-задачки и работала с обработкой звука. В лабе я вплотную познакомилась с нейросетями. Застала то время, когда все писали на keras или прямо на tensorflow.
Спустя 2 года работы в лабе, мне захотелось расширить свои знания и сменить профиль с CV на NLP. Тогда я устроилась в Мегафон. Там я решала задачи кластеризации и классификации текстов. После года работы аналитиком, мне стало интересно познакомиться ближе с деплоем моделей, и в этот момент я случайно наткнулась на вакансию в S7 Techlab. Решила просто попробробовать пособеседоваться.
С командой S7 случился полный мэтч. И пока это лучшая команда, с которой я когда-либо работала! Мы занимались и NLP, и CV задачами. К дефолтной для чатбота классификации у нас добавилась генерация, которая в последние годы очень сильно хайпует.
А теперь я в Берлине! 15 февраля вышла на работу в eBay в команду поиска. Буду продолжать работать в NLP и приживаться в Германии)
Помимо работы в последние 5 месяцев увлекаюсь переездом в Берлин)) А вообще до этого я увлекалась комнатными растениями) Еще люблю готовить азиатскую еду и в связи с этим пытаюсь убедить себя, что люблю острое))"
В комментариях вы можете пообщаться с Ксюшей и задать ей вопросы, она будет рада поделиться своим опытом)
В нашем канале Ксюша работала над каждым постом, связанным с attention, вот этот список:
- Что такое attention?
- Прогресс развития механизма внимания в CV
- Типы механизмов внимания
- Channel Attention
- Self-attention в Computer Vision
- Visual Transformer (ViT)
можно заметить, что Ксюша писала каждую статью вместе с Марком Страховым. Почему так случилось, мы расскажем уже в следующих постах серии, когда познакомим вас с Марком)
❤61👍30🔥8👏4
Сегментация без нейросетей
В статье-туториале расскажем как решать задачи семантической и инстанс-сегментации с помощью классических методов компьютерного зрения. Реальный алгоритм реального проекта: сегментация сахарной свеклы на снимках с воздуха🧑🌾
Из новой статьи вы узнаете:
- в каком пространстве удобно сегментировать объекты определенного цвета;
- как отделить объекты друг от друга после бинаризации;
- и как разделить слипшиеся объекты;
- как избавиться от шума в результате;
- где еще можно использовать данный подход.
История одного проекта в нашей новой статье:
https://deepschool-pro.notion.site/1d0506d7612947cb9946ba72843662c2
В статье-туториале расскажем как решать задачи семантической и инстанс-сегментации с помощью классических методов компьютерного зрения. Реальный алгоритм реального проекта: сегментация сахарной свеклы на снимках с воздуха🧑🌾
Из новой статьи вы узнаете:
- в каком пространстве удобно сегментировать объекты определенного цвета;
- как отделить объекты друг от друга после бинаризации;
- и как разделить слипшиеся объекты;
- как избавиться от шума в результате;
- где еще можно использовать данный подход.
История одного проекта в нашей новой статье:
https://deepschool-pro.notion.site/1d0506d7612947cb9946ba72843662c2
🔥53👍12❤5
Свой Telegram-бот с нейросетью внутри
Если вы тоже задумывались создать тг-бота с нейросетью под капотом, то рекомендуем прочитать статью на медиуме от Галины, выпускницы нашего курса. В статье Галя по шагам рассказала как создать такого бота и развернуть его на любом доступном сервере, а также оставила подробные комментарии к коду и несколько советов.
Галя очень крутая! У нее за спиной много опыта в разработке и ML: она работала в JetBrains и Avast, а теперь руководит ML-командой в стартапе Soveren. Ребята находят и классифицируют sensitive данные пользователей (PII/PCI/PHI) в интернет трафике.
Кстати, сейчас они ищут Senior ML инженера на удаленку, поэтому пишите Гале, если вам интересно :)
Давайте поддержим ее начинание хлопками на медиуме, чтобы Галя и дальше радовала нас полезными статьями👏
Поделитесь в комментариях, если вам удалось создать своего бота по туториалу или расскажите про уже созданных ботов :)
Если вы тоже задумывались создать тг-бота с нейросетью под капотом, то рекомендуем прочитать статью на медиуме от Галины, выпускницы нашего курса. В статье Галя по шагам рассказала как создать такого бота и развернуть его на любом доступном сервере, а также оставила подробные комментарии к коду и несколько советов.
Галя очень крутая! У нее за спиной много опыта в разработке и ML: она работала в JetBrains и Avast, а теперь руководит ML-командой в стартапе Soveren. Ребята находят и классифицируют sensitive данные пользователей (PII/PCI/PHI) в интернет трафике.
Кстати, сейчас они ищут Senior ML инженера на удаленку, поэтому пишите Гале, если вам интересно :)
Давайте поддержим ее начинание хлопками на медиуме, чтобы Галя и дальше радовала нас полезными статьями👏
Поделитесь в комментариях, если вам удалось создать своего бота по туториалу или расскажите про уже созданных ботов :)
Medium
Build a Telegram chatbot with any AI model under the hood
tl;dr: we are building a text summarization bot for long articles, but I keep the code as general as possible, so consider it as a Python…
🔥37👏13❤5👍5🤔1🎉1