DeepSchool
Приходите пообщаться UPD: Спасибо всем, кто заполнил форму!💙 До конца недели свяжемся с каждым из вас. Собрали достаточное количество ответов, поэтому форму закрыли. Привет! Меня зовут Тимур, я один из основателей проекта DeepSchool. 2 года назад мы загорелись…
Спасибо всем, кто заполнил форму!💙 До конца недели свяжемся с каждым из вас. Собрали достаточное количество ответов, поэтому форму закрыли.
А теперь продолжаем серию постов про статистику)
А теперь продолжаем серию постов про статистику)
❤7👍1
Сравнение метрик двух моделей
Представьте, что вы обучили две модели и хотите выбрать из них лучшую. На кросс-валидации значения метрик довольно близки друг к другу. Но если усреднить метрику по фолдам, то первая модель лучше — можно ли доверять такому тесту и отдать предпочтение первой модели?
На этот вопрос мы и ответим в новой статье. Из нее вы узнаете:
- можно ли в лоб сравнивать усредненные метрики двух моделей,
- какие есть тесты,
- и в каких случаях можно использовать каждый из них.
Чтобы детальнее разобраться в выборе лучшей модели, читайте нашу новую статью:
https://deepschool-pro.notion.site/73fa46f62c7d44fb8685f1ba6f004496
Представьте, что вы обучили две модели и хотите выбрать из них лучшую. На кросс-валидации значения метрик довольно близки друг к другу. Но если усреднить метрику по фолдам, то первая модель лучше — можно ли доверять такому тесту и отдать предпочтение первой модели?
На этот вопрос мы и ответим в новой статье. Из нее вы узнаете:
- можно ли в лоб сравнивать усредненные метрики двух моделей,
- какие есть тесты,
- и в каких случаях можно использовать каждый из них.
Чтобы детальнее разобраться в выборе лучшей модели, читайте нашу новую статью:
https://deepschool-pro.notion.site/73fa46f62c7d44fb8685f1ba6f004496
deepschool-pro on Notion
Сравнение метрик двух моделей | Notion
Автор: Александр Гончаренко
👍42🤔5❤4🔥4
Наши авторы
Вы могли заметить, что мы указываем авторов и редакторов в наших статьях. Авторы генерируют материал, а редакторы проводят ревью. И каждый из нас – практикующий инженер. Вместе мы стараемся написать не просто сухую статью, а вложить в нее свой опыт, чтобы вы понимали как теория соотносится с реальной работой.
Иногда мы переписываем статьи по 5 раз)) А в конце наш корректор, Лиза, развязывает сложные предложения и убирает лишнее. Все для того, чтобы материал был понятен и там была только польза без лишней воды. Поэтому мы не так часто выкладываем посты: над ними проводится большая работа, в которой участвует до 5 человек.
Нашему каналу летом исполнится 1 год, мы опубликовали более 60 постов и собрали 3000 единомышленников. Но мы никогда не рассказывали, кто работает над каналом, и чьи материалы вы читаете. Поэтому в новой серии постов хотим познакомить вас с нашими героями)
Вы могли заметить, что мы указываем авторов и редакторов в наших статьях. Авторы генерируют материал, а редакторы проводят ревью. И каждый из нас – практикующий инженер. Вместе мы стараемся написать не просто сухую статью, а вложить в нее свой опыт, чтобы вы понимали как теория соотносится с реальной работой.
Иногда мы переписываем статьи по 5 раз)) А в конце наш корректор, Лиза, развязывает сложные предложения и убирает лишнее. Все для того, чтобы материал был понятен и там была только польза без лишней воды. Поэтому мы не так часто выкладываем посты: над ними проводится большая работа, в которой участвует до 5 человек.
Нашему каналу летом исполнится 1 год, мы опубликовали более 60 постов и собрали 3000 единомышленников. Но мы никогда не рассказывали, кто работает над каналом, и чьи материалы вы читаете. Поэтому в новой серии постов хотим познакомить вас с нашими героями)
❤41👍14🔥6
Ксюша Рябинова
С Ксюшей мы познакомились на первом потоке нашего курса в 2021 году. В тот момент она уже была довольно сильным инженером, но все равно хотела углубить свои знания. А вот что Ксюша рассказывает о себе сейчас:
"Я училась в Кубанском государственном университете. В универе полюбила методы оптимизации и параллельное программирование и уже тогда задумалась, что было бы круто заниматься чем-то подобным. В итоге так и вышло)
Мое первое место работы – лаборатория Кубанского университета. Там я писала на cuda и c++, решала CV-задачки и работала с обработкой звука. В лабе я вплотную познакомилась с нейросетями. Застала то время, когда все писали на keras или прямо на tensorflow.
Спустя 2 года работы в лабе, мне захотелось расширить свои знания и сменить профиль с CV на NLP. Тогда я устроилась в Мегафон. Там я решала задачи кластеризации и классификации текстов. После года работы аналитиком, мне стало интересно познакомиться ближе с деплоем моделей, и в этот момент я случайно наткнулась на вакансию в S7 Techlab. Решила просто попробробовать пособеседоваться.
С командой S7 случился полный мэтч. И пока это лучшая команда, с которой я когда-либо работала! Мы занимались и NLP, и CV задачами. К дефолтной для чатбота классификации у нас добавилась генерация, которая в последние годы очень сильно хайпует.
А теперь я в Берлине! 15 февраля вышла на работу в eBay в команду поиска. Буду продолжать работать в NLP и приживаться в Германии)
Помимо работы в последние 5 месяцев увлекаюсь переездом в Берлин)) А вообще до этого я увлекалась комнатными растениями) Еще люблю готовить азиатскую еду и в связи с этим пытаюсь убедить себя, что люблю острое))"
В комментариях вы можете пообщаться с Ксюшей и задать ей вопросы, она будет рада поделиться своим опытом)
В нашем канале Ксюша работала над каждым постом, связанным с attention, вот этот список:
- Что такое attention?
- Прогресс развития механизма внимания в CV
- Типы механизмов внимания
- Channel Attention
- Self-attention в Computer Vision
- Visual Transformer (ViT)
можно заметить, что Ксюша писала каждую статью вместе с Марком Страховым. Почему так случилось, мы расскажем уже в следующих постах серии, когда познакомим вас с Марком)
С Ксюшей мы познакомились на первом потоке нашего курса в 2021 году. В тот момент она уже была довольно сильным инженером, но все равно хотела углубить свои знания. А вот что Ксюша рассказывает о себе сейчас:
"Я училась в Кубанском государственном университете. В универе полюбила методы оптимизации и параллельное программирование и уже тогда задумалась, что было бы круто заниматься чем-то подобным. В итоге так и вышло)
Мое первое место работы – лаборатория Кубанского университета. Там я писала на cuda и c++, решала CV-задачки и работала с обработкой звука. В лабе я вплотную познакомилась с нейросетями. Застала то время, когда все писали на keras или прямо на tensorflow.
Спустя 2 года работы в лабе, мне захотелось расширить свои знания и сменить профиль с CV на NLP. Тогда я устроилась в Мегафон. Там я решала задачи кластеризации и классификации текстов. После года работы аналитиком, мне стало интересно познакомиться ближе с деплоем моделей, и в этот момент я случайно наткнулась на вакансию в S7 Techlab. Решила просто попробробовать пособеседоваться.
С командой S7 случился полный мэтч. И пока это лучшая команда, с которой я когда-либо работала! Мы занимались и NLP, и CV задачами. К дефолтной для чатбота классификации у нас добавилась генерация, которая в последние годы очень сильно хайпует.
А теперь я в Берлине! 15 февраля вышла на работу в eBay в команду поиска. Буду продолжать работать в NLP и приживаться в Германии)
Помимо работы в последние 5 месяцев увлекаюсь переездом в Берлин)) А вообще до этого я увлекалась комнатными растениями) Еще люблю готовить азиатскую еду и в связи с этим пытаюсь убедить себя, что люблю острое))"
В комментариях вы можете пообщаться с Ксюшей и задать ей вопросы, она будет рада поделиться своим опытом)
В нашем канале Ксюша работала над каждым постом, связанным с attention, вот этот список:
- Что такое attention?
- Прогресс развития механизма внимания в CV
- Типы механизмов внимания
- Channel Attention
- Self-attention в Computer Vision
- Visual Transformer (ViT)
можно заметить, что Ксюша писала каждую статью вместе с Марком Страховым. Почему так случилось, мы расскажем уже в следующих постах серии, когда познакомим вас с Марком)
❤61👍30🔥8👏4
Сегментация без нейросетей
В статье-туториале расскажем как решать задачи семантической и инстанс-сегментации с помощью классических методов компьютерного зрения. Реальный алгоритм реального проекта: сегментация сахарной свеклы на снимках с воздуха🧑🌾
Из новой статьи вы узнаете:
- в каком пространстве удобно сегментировать объекты определенного цвета;
- как отделить объекты друг от друга после бинаризации;
- и как разделить слипшиеся объекты;
- как избавиться от шума в результате;
- где еще можно использовать данный подход.
История одного проекта в нашей новой статье:
https://deepschool-pro.notion.site/1d0506d7612947cb9946ba72843662c2
В статье-туториале расскажем как решать задачи семантической и инстанс-сегментации с помощью классических методов компьютерного зрения. Реальный алгоритм реального проекта: сегментация сахарной свеклы на снимках с воздуха🧑🌾
Из новой статьи вы узнаете:
- в каком пространстве удобно сегментировать объекты определенного цвета;
- как отделить объекты друг от друга после бинаризации;
- и как разделить слипшиеся объекты;
- как избавиться от шума в результате;
- где еще можно использовать данный подход.
История одного проекта в нашей новой статье:
https://deepschool-pro.notion.site/1d0506d7612947cb9946ba72843662c2
🔥53👍12❤5
Свой Telegram-бот с нейросетью внутри
Если вы тоже задумывались создать тг-бота с нейросетью под капотом, то рекомендуем прочитать статью на медиуме от Галины, выпускницы нашего курса. В статье Галя по шагам рассказала как создать такого бота и развернуть его на любом доступном сервере, а также оставила подробные комментарии к коду и несколько советов.
Галя очень крутая! У нее за спиной много опыта в разработке и ML: она работала в JetBrains и Avast, а теперь руководит ML-командой в стартапе Soveren. Ребята находят и классифицируют sensitive данные пользователей (PII/PCI/PHI) в интернет трафике.
Кстати, сейчас они ищут Senior ML инженера на удаленку, поэтому пишите Гале, если вам интересно :)
Давайте поддержим ее начинание хлопками на медиуме, чтобы Галя и дальше радовала нас полезными статьями👏
Поделитесь в комментариях, если вам удалось создать своего бота по туториалу или расскажите про уже созданных ботов :)
Если вы тоже задумывались создать тг-бота с нейросетью под капотом, то рекомендуем прочитать статью на медиуме от Галины, выпускницы нашего курса. В статье Галя по шагам рассказала как создать такого бота и развернуть его на любом доступном сервере, а также оставила подробные комментарии к коду и несколько советов.
Галя очень крутая! У нее за спиной много опыта в разработке и ML: она работала в JetBrains и Avast, а теперь руководит ML-командой в стартапе Soveren. Ребята находят и классифицируют sensitive данные пользователей (PII/PCI/PHI) в интернет трафике.
Кстати, сейчас они ищут Senior ML инженера на удаленку, поэтому пишите Гале, если вам интересно :)
Давайте поддержим ее начинание хлопками на медиуме, чтобы Галя и дальше радовала нас полезными статьями👏
Поделитесь в комментариях, если вам удалось создать своего бота по туториалу или расскажите про уже созданных ботов :)
Medium
Build a Telegram chatbot with any AI model under the hood
tl;dr: we are building a text summarization bot for long articles, but I keep the code as general as possible, so consider it as a Python…
🔥37👏13❤5👍5🤔1🎉1
🎙Онлайн-подкаст с Владом Лялиным
Хотим попробовать новый формат контента в нашем канале! В четверг, 2 марта, в 18:00 МСК проведем прямой эфир.
Коротко о Владе:
- учится на PhD в Бостоне, США (примеры статей Влада: раз, два, три);
- автор канала DL in NLP с 5.7к подписчиками — там Влад делится опытом, освещает новости из мира ML и обозревает статьи;
- преподает NLP в UMass Lowel (в России преподавал NLP, работая в iPavlov);
- стажировался в Apple, Google и Amazon.
На подкасте мы поговорим про:
- нетворкинг для инженеров — почему это важно и как начать;
- переезд в штаты — как Влад поступил на PhD и его рекомендации;
- стажировки в FAANG — как попасть на стажировку в лучшие технические компании;
- быт ресерчера в Америке — какие задачи решают в корпорациях мирового масштаба прямо сейчас;
В конце встречи вы сможете задать Владу свои вопросы из онлайн-зала. Или оставляйте вопросы в гугл-форме – некоторые из них мы зададим во время подкаста.
Встречаемся здесь в четверг, 2 марта, в 18:00 МСК 🔔
Хотим попробовать новый формат контента в нашем канале! В четверг, 2 марта, в 18:00 МСК проведем прямой эфир.
Коротко о Владе:
- учится на PhD в Бостоне, США (примеры статей Влада: раз, два, три);
- автор канала DL in NLP с 5.7к подписчиками — там Влад делится опытом, освещает новости из мира ML и обозревает статьи;
- преподает NLP в UMass Lowel (в России преподавал NLP, работая в iPavlov);
- стажировался в Apple, Google и Amazon.
На подкасте мы поговорим про:
- нетворкинг для инженеров — почему это важно и как начать;
- переезд в штаты — как Влад поступил на PhD и его рекомендации;
- стажировки в FAANG — как попасть на стажировку в лучшие технические компании;
- быт ресерчера в Америке — какие задачи решают в корпорациях мирового масштаба прямо сейчас;
В конце встречи вы сможете задать Владу свои вопросы из онлайн-зала. Или оставляйте вопросы в гугл-форме – некоторые из них мы зададим во время подкаста.
Встречаемся здесь в четверг, 2 марта, в 18:00 МСК 🔔
🔥33👍10❤3
DeepSchool pinned «🎙Онлайн-подкаст с Владом Лялиным Хотим попробовать новый формат контента в нашем канале! В четверг, 2 марта, в 18:00 МСК проведем прямой эфир. Коротко о Владе: - учится на PhD в Бостоне, США (примеры статей Влада: раз, два, три); - автор канала DL in NLP…»
DeepSchool
🎙Онлайн-подкаст с Владом Лялиным Хотим попробовать новый формат контента в нашем канале! В четверг, 2 марта, в 18:00 МСК проведем прямой эфир. Коротко о Владе: - учится на PhD в Бостоне, США (примеры статей Влада: раз, два, три); - автор канала DL in NLP…
🎙Подкаст с Владом через 3 часа!
Подключайтесь онлайн, встречаемся здесь в 18:00 МСК🔔
PS успейте задать свой вопрос Владу в гугл-форме
Подключайтесь онлайн, встречаемся здесь в 18:00 МСК🔔
👍14🔥3👏2⚡1❤1
Это была очень интересная беседа! Спасибо всем за внимание и вопросы в онлайне. На стриме мы обсудили:
- чем ds-сообщество СНГ отличается от других;
- как попасть на PhD в штаты и чем отличается высшее образование России и США;
- как подготовиться к интервью на стажировку в Google, Apple, Amazon;
- какие задачи решают стажеры, сколько они зарабатывают, чем отличаются компании между собой;
- что делать NLP инженерам в связи с выходом API от OpenAI: почему надо развивать навыки разработки и как остаться востребованным;
- и почему советы из предыдущего пункта подходят любому ds-специалисту.
Это был наш первый опыт, и по классике жанра мы забыли начать запись после того, как упал первый стрим😭 Но мы разобрали столько тем, что хотелось бы донести их до большего числа людей. Поэтому мы договорились с Владом записать полноценный подкаст на youtube. В связи с этим у вас появился еще один шанс задать свои вопросы Владу в форме.
Ставьте реакции, если вы будете ждать этот подкаст🔥 А кто был онлайн, поделитесь в комментариях, как вам стрим: что вы узнали нового или что было особенно интересно? Ваши реакции и отзывы помогут нам понять, проводить ли дальше подобные встречи :)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥69❤4👍2😍2
Телеграм-бот с OpenAI API
OpenAI открыли доступ по API к ChatGPT. Теперь каждый разработчик с зарубежной картой может создать свое приложение с GPT-3.5-turbo внутри.
Недавно мы писали про статью Галины на медиуме. В ней Галя рассказала как создать тг-бота с нейросетью внутри. А теперь Галя дополнила статью туториалом по написанию бота с ChatGPT. Из этого туториала вы узнаете:
- сколько стоит API;
- как поддерживать контекст беседы в ChatGPT;
- как контролировать расход токенов при поддержке контекста;
- какие есть роли в чате с GPT и как их использовать;
- а также получите код и комментарии к нему.
Все это в новой статье от Гали на медиуме: https://medium.com/@galperovich/put-chatgpt-right-into-your-messenger-build-a-telegram-bot-with-the-new-official-openai-api-84f7c005de7f
OpenAI открыли доступ по API к ChatGPT. Теперь каждый разработчик с зарубежной картой может создать свое приложение с GPT-3.5-turbo внутри.
Недавно мы писали про статью Галины на медиуме. В ней Галя рассказала как создать тг-бота с нейросетью внутри. А теперь Галя дополнила статью туториалом по написанию бота с ChatGPT. Из этого туториала вы узнаете:
- сколько стоит API;
- как поддерживать контекст беседы в ChatGPT;
- как контролировать расход токенов при поддержке контекста;
- какие есть роли в чате с GPT и как их использовать;
- а также получите код и комментарии к нему.
Все это в новой статье от Гали на медиуме: https://medium.com/@galperovich/put-chatgpt-right-into-your-messenger-build-a-telegram-bot-with-the-new-official-openai-api-84f7c005de7f
Medium
Put ChatGPT right into your messenger: build a Telegram bot with the new official OpenAI API
By the end of the post, you will be able to launch a personal ChatGPT instance in the Telegram messenger using the new official OpenAI API…
🔥27👍4👏3❤2🤔2⚡1
Интерпретация моделей компьютерного зрения
Иногда полезно увидеть, на что сеть обращает внимание при предсказании. Это помогает больше доверять системам на её основе, находить скрытые от нас закономерности в датасете и причины ошибок сети.
Из новой статьи вы узнаете, как работает Grad-CAM — самый популярный метод интерпретации моделей в компьютерном зрении. Появилось много усовершенствований этого метода, но если вы понимаете Grad-CAM, то быстро поймете и остальные.
Читайте статью по ссылке, чтобы понять, на что смотрит ваша нейросеть: https://deepschool-pro.notion.site/7d646c21becf4cf38941c6d7af2ae2db
Иногда полезно увидеть, на что сеть обращает внимание при предсказании. Это помогает больше доверять системам на её основе, находить скрытые от нас закономерности в датасете и причины ошибок сети.
Из новой статьи вы узнаете, как работает Grad-CAM — самый популярный метод интерпретации моделей в компьютерном зрении. Появилось много усовершенствований этого метода, но если вы понимаете Grad-CAM, то быстро поймете и остальные.
Читайте статью по ссылке, чтобы понять, на что смотрит ваша нейросеть: https://deepschool-pro.notion.site/7d646c21becf4cf38941c6d7af2ae2db
🔥33👍9❤3
🎙Онлайн-подкаст с Андреем Шадриковым
В четверг, 9 марта, в 18:00 МСК
Коротко об Андрее:
- руководит исследованиями в компании verigram.ai;
- большую часть карьеры посвятил задачам биометрии;
- команда Андрея занимает 8 место на датасете wild в главном бенчмарке по верификации лиц от NIST;
- преподает блок по распознаванию лиц на нашем курсе;
- помогает с организацией митапов и выступает на них (примеры выступлений Андрея: BeeTech, Sberloga, Samsung AI Campus)
На подкасте мы поговорим про:
- верификацию лиц — какие основные сложности встречаются в этой задаче и как их решать (в рамках NDA, конечно же);
- рынок DS в Казахстане — чем он отличается от российского и достаточно ли там задач/кадров;
- как лидить команду — опыт Андрея и советы молодым тимлидам;
- нетворкинг — зачем инженеру расширять круг знакомств.
В конце встречи вы сможете задать Андрею свои вопросы из онлайн-зала. Или оставляйте вопросы в гугл-форме – некоторые из них мы зададим во время подкаста.
Встречаемся здесь в четверг, 9 марта, в 18:00 МСК 🔔
В четверг, 9 марта, в 18:00 МСК
Коротко об Андрее:
- руководит исследованиями в компании verigram.ai;
- большую часть карьеры посвятил задачам биометрии;
- команда Андрея занимает 8 место на датасете wild в главном бенчмарке по верификации лиц от NIST;
- преподает блок по распознаванию лиц на нашем курсе;
- помогает с организацией митапов и выступает на них (примеры выступлений Андрея: BeeTech, Sberloga, Samsung AI Campus)
На подкасте мы поговорим про:
- верификацию лиц — какие основные сложности встречаются в этой задаче и как их решать (в рамках NDA, конечно же);
- рынок DS в Казахстане — чем он отличается от российского и достаточно ли там задач/кадров;
- как лидить команду — опыт Андрея и советы молодым тимлидам;
- нетворкинг — зачем инженеру расширять круг знакомств.
В конце встречи вы сможете задать Андрею свои вопросы из онлайн-зала. Или оставляйте вопросы в гугл-форме – некоторые из них мы зададим во время подкаста.
Встречаемся здесь в четверг, 9 марта, в 18:00 МСК 🔔
🔥17❤3👍1
Дорогие девушки, с праздником!🌸
Не знаем какое соотношение в индустрии, но в нашем канале девушки составляют всего лишь 10%.
Пусть вас никогда не смущает такой дисбаланс, чувствуйте себя свободно в любых коллективах, реализовывайте любые желания и достигайте самых дерзких целей!
Не знаем какое соотношение в индустрии, но в нашем канале девушки составляют всего лишь 10%.
Пусть вас никогда не смущает такой дисбаланс, чувствуйте себя свободно в любых коллективах, реализовывайте любые желания и достигайте самых дерзких целей!
❤66🍾17❤🔥4🤔2
DeepSchool
🎙Онлайн-подкаст с Андреем Шадриковым В четверг, 9 марта, в 18:00 МСК Коротко об Андрее: - руководит исследованиями в компании verigram.ai; - большую часть карьеры посвятил задачам биометрии; - команда Андрея занимает 8 место на датасете wild в главном бенчмарке…
🎙Подкаст с Андреем через 3 часа!
Подключайтесь онлайн, встречаемся здесь в 18:00 МСК🔔
Подключайтесь онлайн, встречаемся здесь в 18:00 МСК🔔
🔥8❤5