Мы выложили 3 лекцию из курса «Нейронные сети и их применение в научных исследованиях».

В лекции обсудили: линейные слои, эмбеддинги, word2vec и применения таких сетей в литературных и исторических задачах.

🎥 Лекция 1. Новая суперспособность науки
🎥 Лекция 2. Как учить машины
🎥 Лекция 3. Линейные модели

Интересное интервью про то, как вернуть биологию в нейронные сети: https://youtu.be/smxwT82o40Y

3 вещи которые нужно знать про Visual Transformers:

1. Residual слои ViT можно эффективно распараллелить, на точности это практически не скажется

2. Для адаптации ViT к более высокому разрешению и к другим задачам классификации достаточно файнтюнинга слоев внимания.

3. Добавление слоев предварительной обработки патчей на основе MLP улучшает self-supervised обучение по типу BERT (на основе маскировки патчей)

📝 Статья

#transformer #vit

Многие студенты (и не только) совершенно не умеют презентовать графики. Отличный тред с объяснением как надо: https://twitter.com/jbhuang0604/status/1506101759911116809?s=21

Автоматическое обобщение в Google Docs.

Признаться честно, я и не заметил, но оказывается GDocs теперь умеют генерировать summary по всему документу. Напишите в комментах как будете пользоваться этой темой (я пока затрудняюсь придумать полезное применение, но круто же).

А тут подробнее

#news

Мы выложили 4 лекцию из курса «Нейронные сети и их применение в научных исследованиях».

В лекции поговорили про то как работают сверточные сети (CNN), почему их круто применять для изображений, как с их помощью можно производить детекцию и сегментацию объектов и даже разобрались, как такие сети помогли определить возраст поверхности Марса!

🎥 Лекция 1. Новая суперспособность науки
🎥 Лекция 2. Как учить машины
🎥 Лекция 3. Линейные модели
🎥 Лекция 4. Сверточные сети

Привет всем моим друзьям, которые добавились 💙

Не знаю какую чёрную магию они туда прикрутили, но их генеративная модель (да, это нарисовала нейросеть) выглядит на порядок стильнее, чем все, что мы видели до этого! И вроде как пускают тестить бету

#text2image

Roadmap for Information Retrieval

Поиск информации (IR), задача поиска и доступа к соответствующим знаниям, вероятно, является одной из наиболее определяющих проблем информационного века. Люди используют IR каждый день, чтобы найти книги в электронной библиотеке, обувь в интернет-магазине, песни в стриминговом музыкальном сервисе и многое другое.

Нейронные модели - отличный метод для решения этой задачи, благодаря их способности глубоко понимать язык. Подобно тому, как людям, занятым на наукоемких работах, обычно приходится обращаться к знаниям в Интернете, нейронные сети должны эффективно искать более масштабные источники знаний. В последнее время исследователи добились больших успехов в повышении точности и эффективности предварительно обученных языковых моделей.

Почитать о том, что они придумали можно в блоге одной «экстремистской организации» 🤦‍♂️.

#information #text

Я понимаю, что мы тут всякими продвинутыми штуками занимаемся. Но… вы во сколько лет узнали? (Я в сейчас лет)

Tim Urban: Научите меня чему-то интересному используя один комментарий
Buddha and Dog: Компьютеры используют бинарный код, и эта картинка содержит в себе и 0, и 1 (бинарные числа). Вкл и Выкл. 1 и 0.

Источник

Пока я пишу статьи и делаю свой курс, кто-то (я первый раз про этих чуваков слышу) уже успел написать целую книжку про машинное обучение в изучении других планет!

📖 Книжка

#ScientificMl

Мы выложили 5ую лекцию из курса «Нейронные сети и их применение в научных исследованиях».

В лекции поговорили про Рекуррентные сети (RNN). Разобрали, что такое последовательности; как с ними работать; и почему для работы с ними применяются именно RNN. В третей части лекции, как обычно, крутые научные примеры!

🎥 Лекция 5. Рекуррентные сети

Обновился блокнот DiscoDiffusion по генерации чумовых картинок и видео.

- Turbo Mode from @zippy731
- Smoother video init
- 3D rotation params are now in degrees rather than radians
- diffusion_sampling_mode allows selection of DDIM vs PLMS

Играть тут

#text2image

DiffusionCLIP: Text-Guided Diffusion Models for Robust Image Manipulation

За последний год, методы инверсии GAN в сочетании с CLIP позволили редактировать фотографии на совершенно новом уровне. Однако их применение в продакшене все еще затруднено из-за ограниченных возможностей инверсии GAN. Вместо GAN можно использовать DiffusionCLIP, который выполняет редактирование изображений с помощью текста с использованием диффузионных моделей и делает это лучше.

🖥 Colab
📎 Статья
🐙 Git

#diffusion #text2image

🤗 Optimum Transformers — комбинация восхитительных пайплайнов и ONNX, или как экономить от 20к$ в год на NLP

🦾 NLP в 3 строчки кода и ультра быстро как Infinity
🚀 До 1 миллисекунды с трансформерами на основе Bert

📒Статья на Хабре
🐙Репозиторий

От подписчика @goodimpression

6ая лекции из курса «Нейронные сети и их применение в научных исследованиях».

В лекции поговорили про Трансформеры. Как работают? Почему такие популярные? Разобрали как можно использовать трансформеры с текстами, картинками и звуками. В третей части лекции, как обычно, крутые научные примеры!

🎥 Лекция 6. Трансформеры

Долгое время, проблемой генерации картинок был текст. Оказалось, что если использовать ещё больше данных (ну и парочку доп трюков), то все с ним становиться хорошо.

Обновлённый блокнот LAION-400M умеет выдавать до 8 картинок за 20 секунд на бесплатной версии Colab.

🦄 Творить

Присылайте ваши шедевры в комменты (лучшие работы вставлю в 8ую лекцию курса про генеративные сети)

#text2image

OpenAI выпустил DALL-E 2
openai.com/dall-e-2
vimeo.com/692375454

Основная идея: использовать эмбеддинги CLIP для генерации вектора текста, обсуславливаться на этот эмбеддинг при генерации изображения. Для генерации используют не VAE а диффузию (GLIDE).
Судя по промо-материалам, модель будет доступна по API.