Byte Pair Encoding

Обработка текстов на сегодняшний день – флагман нейросетевых задач. Но, поскольку нейросети работают с числами, до передачи в модель текст нужно преобразовать, в том числе разбить на части – токены. Для этого есть множество подходов, и один из них BPE. Он используется в моделях BERT и GPT-2. Рассказываем, как он работает.

Оригинальная статья
Реализация Google
Реализация Facebook AI Research
Обгоняющая по скорости Google и Facebook в 10-50 раз реализация VK

😻 #NN

Завезли DALL-E 3!

Обещают значительные улучшения в генерации надписей, деталей тела (например, пальцев), и привлекательные изображение без хаков и хитрых промптов. И выглядит это действительно симпатично.

Деталей реализации нет, статьи нет, API нет, но будет интеграция с GPT-4 для подписчиков ChatGPT+.

Блогпост на OpenAI

😻 #news

Как задеплоить модель с помощью FastAPI

Неотъемлемая часть работы дсника в современной индустрии – это деплой своих проектов. А как это сделать? Вот краткий гайд с готовым кодом и объяснением на пальцах.

😻 #python