Привет всем моим друзьям, которые добавились 💙

Не знаю какую чёрную магию они туда прикрутили, но их генеративная модель (да, это нарисовала нейросеть) выглядит на порядок стильнее, чем все, что мы видели до этого! И вроде как пускают тестить бету

#text2image

Roadmap for Information Retrieval

Поиск информации (IR), задача поиска и доступа к соответствующим знаниям, вероятно, является одной из наиболее определяющих проблем информационного века. Люди используют IR каждый день, чтобы найти книги в электронной библиотеке, обувь в интернет-магазине, песни в стриминговом музыкальном сервисе и многое другое.

Нейронные модели - отличный метод для решения этой задачи, благодаря их способности глубоко понимать язык. Подобно тому, как людям, занятым на наукоемких работах, обычно приходится обращаться к знаниям в Интернете, нейронные сети должны эффективно искать более масштабные источники знаний. В последнее время исследователи добились больших успехов в повышении точности и эффективности предварительно обученных языковых моделей.

Почитать о том, что они придумали можно в блоге одной «экстремистской организации» 🤦‍♂️.

#information #text

Я понимаю, что мы тут всякими продвинутыми штуками занимаемся. Но… вы во сколько лет узнали? (Я в сейчас лет)

Tim Urban: Научите меня чему-то интересному используя один комментарий
Buddha and Dog: Компьютеры используют бинарный код, и эта картинка содержит в себе и 0, и 1 (бинарные числа). Вкл и Выкл. 1 и 0.

Источник

Пока я пишу статьи и делаю свой курс, кто-то (я первый раз про этих чуваков слышу) уже успел написать целую книжку про машинное обучение в изучении других планет!

📖 Книжка

#ScientificMl

Мы выложили 5ую лекцию из курса «Нейронные сети и их применение в научных исследованиях».

В лекции поговорили про Рекуррентные сети (RNN). Разобрали, что такое последовательности; как с ними работать; и почему для работы с ними применяются именно RNN. В третей части лекции, как обычно, крутые научные примеры!

🎥 Лекция 5. Рекуррентные сети

Обновился блокнот DiscoDiffusion по генерации чумовых картинок и видео.

- Turbo Mode from @zippy731
- Smoother video init
- 3D rotation params are now in degrees rather than radians
- diffusion_sampling_mode allows selection of DDIM vs PLMS

Играть тут

#text2image

DiffusionCLIP: Text-Guided Diffusion Models for Robust Image Manipulation

За последний год, методы инверсии GAN в сочетании с CLIP позволили редактировать фотографии на совершенно новом уровне. Однако их применение в продакшене все еще затруднено из-за ограниченных возможностей инверсии GAN. Вместо GAN можно использовать DiffusionCLIP, который выполняет редактирование изображений с помощью текста с использованием диффузионных моделей и делает это лучше.

🖥 Colab
📎 Статья
🐙 Git

#diffusion #text2image

🤗 Optimum Transformers — комбинация восхитительных пайплайнов и ONNX, или как экономить от 20к$ в год на NLP

🦾 NLP в 3 строчки кода и ультра быстро как Infinity
🚀 До 1 миллисекунды с трансформерами на основе Bert

📒Статья на Хабре
🐙Репозиторий

От подписчика @goodimpression

6ая лекции из курса «Нейронные сети и их применение в научных исследованиях».

В лекции поговорили про Трансформеры. Как работают? Почему такие популярные? Разобрали как можно использовать трансформеры с текстами, картинками и звуками. В третей части лекции, как обычно, крутые научные примеры!

🎥 Лекция 6. Трансформеры

Долгое время, проблемой генерации картинок был текст. Оказалось, что если использовать ещё больше данных (ну и парочку доп трюков), то все с ним становиться хорошо.

Обновлённый блокнот LAION-400M умеет выдавать до 8 картинок за 20 секунд на бесплатной версии Colab.

🦄 Творить

Присылайте ваши шедевры в комменты (лучшие работы вставлю в 8ую лекцию курса про генеративные сети)

#text2image

OpenAI выпустил DALL-E 2
openai.com/dall-e-2
vimeo.com/692375454

Основная идея: использовать эмбеддинги CLIP для генерации вектора текста, обсуславливаться на этот эмбеддинг при генерации изображения. Для генерации используют не VAE а диффузию (GLIDE).
Судя по промо-материалам, модель будет доступна по API.

🥑😈 DALL•E 2: Hierarchical Text-Conditional Image Generation with CLIP Latents

2021 год показал, что contrastive модели, такие как CLIP, выучивают качественное пространство визуальных и текстовых репрезентаций.

Ресерчеры из OpenAI решили использовать эти репрезентации для генерации изображений! Встречайте двухэтапную модель DALL•E 2, которая которая скрещивает диффузионный декодер и диффузионную визуальную модель DALL-E (ребята, кстати, показали, что диффузия таки более вычислительно выгодная и качественная нежели авторегрессия) и контрастный CLIP!

🧪 Если проще, то это очень изящный вариант, чтобы скрестить CLIP и DALL•E, где можно пользоваться векторам (эммбедингами) CLIP’a, и создавать новые изображения на основании и изображений примеров (доноров) и текстовых описаний. Такой подход позволяет не только генерировать превосходные изображения, но и изменять существующие!

📰 paper 🎓 OpenAI Blog

Заметил, что в фильме The Bubble используют DeepFake лица (в сцене где главные герои упарываются, примерно 90ая минута). Фильм так себе, но прикольно что наши нердовые игрушки проникают в мэйнстримное кино.

Мой коллега написал статью про RL в финтехе. Что думаете?
https://link.medium.com/pqXeGrJ23ob

Modern applications of machine learning in quantum sciences

В обзоре даётся исчерпывающее представление о последних достижениях в применении методов машинного обучения к квантовым наукам (если так можно выразиться). Авторы рассказывают об использовании глубокого обучения и методов supervised, self-supervised и reinforcement learning для классификации фаз, представления квантовых состояний многих тел, управления квантовой обратной связью и оптимизации квантовых схем.

Кроме того, авторы вводят и обсуждают более специализированные темы, такие как дифференцируемое программирование, генеративные модели, статистический подход к машинному обучению и квантовое машинное обучение.

📕Обзор

#ScientificML #physics

Learning inverse folding from millions of predicted structures

В Фэйсбук тоже решили увлечься биологией. Они рассматривают проблему предсказания последовательности белка по координатам его атомов (по его форме).

Для решения этой задачи выпустили модель обратного сворачивания белка (inverse protein folding).

Модель обучена на 12 миллионах белковых структур, предсказанных AlphaFold2.

🎮 Colab
🐙 Git
📎 Статья

#ScientificML #biology

Вышла моя лекция про GPT.

В самом начале поговорили про AlphaFold, а потом в самых общих словах посмотрели, как работает GPT. Но больший упор мне все таки хотелось сделать на «широту контекста» применений (в том числе и в науке).

🎥 Лекция 7. GPT

Офигенный видос, про то, как датасаентисту одна дама отказала в свидании, потому что она “Not into geeks”.
Предупреждаю, застревает в голове: «Oh, I love it when you call me Big Data”

Hag Pessah Sameah!