Perceiver
Проблема такая: большинство архитектур разрабатываются для одной задачи, из-за чего инженерам приходится идти на ухищрения, модифицировать входы и выходы в надежде, что модель научится решать новую проблему. А работа с несколькими типами данных вообще требует сложных мультимодальных систем.
Поэтому исследователи из DeepMind подумали: "А почему бы не создать универсальную архитектуру, способную решать разные проблемы и обрабатывать все типы данных?". И придумали Perceiver. Рассказываем, как он работает.
Статья | Код
😻 #NN
Проблема такая: большинство архитектур разрабатываются для одной задачи, из-за чего инженерам приходится идти на ухищрения, модифицировать входы и выходы в надежде, что модель научится решать новую проблему. А работа с несколькими типами данных вообще требует сложных мультимодальных систем.
Поэтому исследователи из DeepMind подумали: "А почему бы не создать универсальную архитектуру, способную решать разные проблемы и обрабатывать все типы данных?". И придумали Perceiver. Рассказываем, как он работает.
Статья | Код
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28🤯11🔥5❤2🤔2
Для тех кому надоел Machine Learning хорошая новость: теперь можно позаниматься Machine Unlearning
Google анонсировала конкурс по "машинному удалению". Это задача по стиранию данных из памяти нейросетей и "отмене" влияния этих данных на выходы модели. Нужно разработать решение, не обучая модель заново и (желательно) не снижая качество её работы.
Появление такого типа задач было предсказумым. Скорее всего, скоро подобными исследованиями начнут заниматься и в Microsoft, и даже в OpenAI, на которых каждую неделю сыпится несколько исков, связанных с несанкционированным использованием кода, изображений и текстов для обучения нейросетей.
Конкурс будет проходить на Kaggle. Про призовой фонд пока ничего не слышно, но представляется, что он будет более чем приличным.
Какие мысли по поводу подходов к решению?
😻 #news
Google анонсировала конкурс по "машинному удалению". Это задача по стиранию данных из памяти нейросетей и "отмене" влияния этих данных на выходы модели. Нужно разработать решение, не обучая модель заново и (желательно) не снижая качество её работы.
Появление такого типа задач было предсказумым. Скорее всего, скоро подобными исследованиями начнут заниматься и в Microsoft, и даже в OpenAI, на которых каждую неделю сыпится несколько исков, связанных с несанкционированным использованием кода, изображений и текстов для обучения нейросетей.
Конкурс будет проходить на Kaggle. Про призовой фонд пока ничего не слышно, но представляется, что он будет более чем приличным.
Какие мысли по поводу подходов к решению?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍38🤯15😁7🔥4
Регуляризация. Чем L1 отличается от L2?
Регуляризация – метод, который используется в машинном обучении для предотвращения переобучения путем добавления штрафного значения к функции потерь, которую модель пытается минимизировать. Существует несколько методов регуляризации, но наиболее популярные — L1 и L2 регуляризация. Объясняем, в чем их смысл, на примере показываем, чем они отличаются и рассказываем, как выбрать подходящую.
😻 #train
Регуляризация – метод, который используется в машинном обучении для предотвращения переобучения путем добавления штрафного значения к функции потерь, которую модель пытается минимизировать. Существует несколько методов регуляризации, но наиболее популярные — L1 и L2 регуляризация. Объясняем, в чем их смысл, на примере показываем, чем они отличаются и рассказываем, как выбрать подходящую.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34❤8🤯4
The Little Book of Deep Learning by François Fleuret
Франсуа Флере — профессор компьютерных наук в Женевском университете, Швейцария. Пару дней назад он выпустил интересную мини-книжку с последовательными заметками по глубокому обучению. Здесь кратко и содержательно рассматриваются многие важные темы: Backpropagation, дропауты, нормализации, функции активации, слои внимания и тд. Откройте оглавление – и увидите сами.
При этом эта малютка подойдет даже новичкам: в начале автор раскрывает базовые понятия, и даже рассказывает про GPU и тензоры. А в третьей граве найдете заметки по основным задачам глубокого обучения: Text-image, детекция, генерация текстов и изображений, RL.
И все это изложено всего на 150 страницах с картинками. Вот бесплатная версия, адаптированная под чтение на телефоне. Советуем!
😻 #advice
Франсуа Флере — профессор компьютерных наук в Женевском университете, Швейцария. Пару дней назад он выпустил интересную мини-книжку с последовательными заметками по глубокому обучению. Здесь кратко и содержательно рассматриваются многие важные темы: Backpropagation, дропауты, нормализации, функции активации, слои внимания и тд. Откройте оглавление – и увидите сами.
При этом эта малютка подойдет даже новичкам: в начале автор раскрывает базовые понятия, и даже рассказывает про GPU и тензоры. А в третьей граве найдете заметки по основным задачам глубокого обучения: Text-image, детекция, генерация текстов и изображений, RL.
И все это изложено всего на 150 страницах с картинками. Вот бесплатная версия, адаптированная под чтение на телефоне. Советуем!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23🤯14❤5🔥4
Подборка книг для знакомства с эффективными методами аналитики, датавиза и репрезентации данных
Что-нибудь из списка уже читали? Как вам?
😻 #advice
Что-нибудь из списка уже читали? Как вам?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍44🥰7❤5🤨1
BERT4Rec
Рекомендательные системы в основном работают, основываясь на истории пользователя. Такие рекомендации называют последовательными. До 2019 года почти все такие системы под капотом работали на рекуррентных нейронных сетях, и в них была проблема: они предполагали, что действия пользователя строго упорядочены, а это не всегда практично. В 2019 году исследователи из Alibaba Group обратили на этот недочет внимание, предложили BERT4Rec и побили все остальные модели. Что же там за архитектура такая?
Статья | Код
😻 #NN
Рекомендательные системы в основном работают, основываясь на истории пользователя. Такие рекомендации называют последовательными. До 2019 года почти все такие системы под капотом работали на рекуррентных нейронных сетях, и в них была проблема: они предполагали, что действия пользователя строго упорядочены, а это не всегда практично. В 2019 году исследователи из Alibaba Group обратили на этот недочет внимание, предложили BERT4Rec и побили все остальные модели. Что же там за архитектура такая?
Статья | Код
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍35🔥7❤4
Китайская ByteDance, владелец TikTok, представила приложение Ripple для создания и редактирования музыки с помощью ИИ
В приложении достаточно напеть мелодию в микрофон телефона, и затем алгоритм генерирует инструментальные партии. Продолжительность песни будет соответствовать длине входной голосовой записи. Вокал пока генерировать нельзя. Приложение заработало только в США, и компания тестирует его в закрытой бета-среде.
Деталей реализации не раскрывают, только говорят, что обучали модель на мелодиях, права на которые имеет сама ByteDance, а также на музыке, лицензированной для использования компанией. Предположительно, под капотом зашита Stable Diffusion для генерации музыки с проекта Riffusion.
😻 #news
В приложении достаточно напеть мелодию в микрофон телефона, и затем алгоритм генерирует инструментальные партии. Продолжительность песни будет соответствовать длине входной голосовой записи. Вокал пока генерировать нельзя. Приложение заработало только в США, и компания тестирует его в закрытой бета-среде.
Деталей реализации не раскрывают, только говорят, что обучали модель на мелодиях, права на которые имеет сама ByteDance, а также на музыке, лицензированной для использования компанией. Предположительно, под капотом зашита Stable Diffusion для генерации музыки с проекта Riffusion.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯19👍7🌭1