This media is not supported in your browser
VIEW IN TELEGRAM
Magic3D - модель text-to-3D от NVIDIA. Теперь мы знаем как выглядит волшебство.
Кажется, NVIDIA наняли эльфа Бадди (который из фильма 2003 с Уиллом Ферреллом). Во-первых, это умопомрачительная text-to-3D высокого разрешения. А во-вторых, дизайн инструмента в лучших традициях 90х со шрифтом comic sans. Комик санс, Карл!
Про диффузию вы и так знаете. А кода все равно ещё нет.
📖Статья
🪄Страница инструмента
@GingerSpacetail
Кажется, NVIDIA наняли эльфа Бадди (который из фильма 2003 с Уиллом Ферреллом). Во-первых, это умопомрачительная text-to-3D высокого разрешения. А во-вторых, дизайн инструмента в лучших традициях 90х со шрифтом comic sans. Комик санс, Карл!
Про диффузию вы и так знаете. А кода все равно ещё нет.
📖Статья
🪄Страница инструмента
@GingerSpacetail
🔥22🤯5👍2
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ победил в игру Дипломатия
Сегодня META объявила о прорыве на пути к созданию ИИ, овладевшего навыками использовать язык для ведения переговоров, убеждения и работы с людьми для достижения стратегических целей.
Они создали агента - CICERO (агент Цицерон) - который стал первым ИИ, достигшим уровня человека в популярной стратегической игре Diplomacy*. Работу опубликовали в журнале Science.
CICERO продемонстрировал свои возможности, играя на webDiplomacy.net, онлайновой версии игры, где CICERO набрал более чем в два раза больше очков, чем человеческие игроки, и вошел в 10 процентов лучших участников, сыгравших более одной игры.
В блог-посте подробнейшее описание задумки и исполнения. МЕТА в этом году прям в ударе по интересным статьям связанным с AI. Начинаю подозревать что метаверс строиться совсем не для людей.
😌 Блог-пост
🤩 Статья
🙃 Сайт CICERO
@crimeacs
Сегодня META объявила о прорыве на пути к созданию ИИ, овладевшего навыками использовать язык для ведения переговоров, убеждения и работы с людьми для достижения стратегических целей.
Они создали агента - CICERO (агент Цицерон) - который стал первым ИИ, достигшим уровня человека в популярной стратегической игре Diplomacy*. Работу опубликовали в журнале Science.
CICERO продемонстрировал свои возможности, играя на webDiplomacy.net, онлайновой версии игры, где CICERO набрал более чем в два раза больше очков, чем человеческие игроки, и вошел в 10 процентов лучших участников, сыгравших более одной игры.
В блог-посте подробнейшее описание задумки и исполнения. МЕТА в этом году прям в ударе по интересным статьям связанным с AI. Начинаю подозревать что метаверс строиться совсем не для людей.
😌 Блог-пост
🤩 Статья
🙃 Сайт CICERO
@crimeacs
🔥29🤯6👍1😢1
Forwarded from Syncrets
Нейроны, аксоны, синапсы — всё это клеточный уровень. А как насчёт отдельных молекул?
Международная группа учёных совместно с коллегами из Бернальского института университета Лимерика в Ирландии открыли «динамический молекулярный переключатель», который имитирует синаптическое поведение и демонстрирует все функции математической логики, необходимые для глубокого обучения.
Команда разработала двухнанометровый молекулярный слой, объединяющий быстрый перенос электронов (по аналогии с потенциалами действия и деполяризации в биологии) с медленным связыванием протонов, ограниченным диффузией (сродни роли ионов кальция или нейротрансмиттеров). Так как этапы переноса электрона и связывания протона в материале происходят с очень разными временными масштабами, трансформация делает возможной эмуляцию пластичного поведения синаптических связей, Павловское обучение и цифровые логические вентили — просто изменяя напряжение и продолжительность импульсов — и это революционная альтернатива обычным бинарным кремниевым переключателям, по словам профессора Томпсона, руководителя проекта.
Применение этого метода в будущем к динамическим молекулярным системам с иными стимулами (например, светом) и с различными типами формирования ковалентных связей открывает путь к созданию новых реконфигурируемых систем, органических материалов для вычислений, сверхплотной упаковки данных, энергетики и т. д.
Интересно, если на подобную искусственную синаптическую базу развернуть уже готовый коннектом, что получится?
Please open Telegram to view this post
VIEW IN TELEGRAM
phys.org
Discovery reveals 'brain-like computing' at molecular level is possible
A discovery at University of Limerick in Ireland has revealed for the first time that unconventional brain-like computing at the tiniest scale of atoms and molecules is possible.
🔥23👍4😱3❤1😁1
Media is too big
VIEW IN TELEGRAM
Clippit (известный под именами Clippy, Скрепа и Скрепыш) - ML помощник из Microsoft Office, работавший на байесовских алгоритмах
После поста про Wordcraft накрыло ностальгией по Скрепышу. Помните такого помощника в Ворде?
Оказалось, он был ML ассистентом, опередившим свое время. Его действия инициировались серией байесовских алгоритмов, оценивающих вероятность того, что пользователю нужна помощь, а ответы, естественно, основывались на правилах и шаблонах из базы знаний Microsoft.
И уже тогда, в далёком 1993, у него были несовершенства лучших AI помощников и чат-ботов современности: назойливость, короткая память, предложения в духе Капитана Очевидность и беспардонное нарушение социальных норм.
Под натиском критики его убрали в 2007 (2008 из Mac), но в 2021 он нашел новую работу в виде эмоджи, а в 2022 ему просвещен традиционный ugly-свитер Майкрософт.
📼Видео похищено отсюда. И оно с теми самыми звуками
📎Код для встраивания js Скрепы в любой сайт
@GingerSpacetail
После поста про Wordcraft накрыло ностальгией по Скрепышу. Помните такого помощника в Ворде?
Оказалось, он был ML ассистентом, опередившим свое время. Его действия инициировались серией байесовских алгоритмов, оценивающих вероятность того, что пользователю нужна помощь, а ответы, естественно, основывались на правилах и шаблонах из базы знаний Microsoft.
И уже тогда, в далёком 1993, у него были несовершенства лучших AI помощников и чат-ботов современности: назойливость, короткая память, предложения в духе Капитана Очевидность и беспардонное нарушение социальных норм.
Под натиском критики его убрали в 2007 (2008 из Mac), но в 2021 он нашел новую работу в виде эмоджи, а в 2022 ему просвещен традиционный ugly-свитер Майкрософт.
📼Видео похищено отсюда. И оно с теми самыми звуками
📎Код для встраивания js Скрепы в любой сайт
@GingerSpacetail
❤25👍4🔥1
Stable Diffusion 2.0
SD2 предоставляет ряд значительных улучшений и возможностей по сравнению с оригинальной версией V1:
🌟 Depth-to-Image Diffusion Model
Новинка! Depth2img, расширяет предыдущую функцию "изображение-изображение", предоставляя совершенно новые возможности для творческого применения. Depth2img определяет глубину входного изображения (используя существующую модель), а затем генерирует новые изображения, используя как текст, так и информацию о глубине.
Новый Text-to-Image
Новые модели обучали с помощью нового OpenCLIP и эстетичного сабсета LAION-5B.
Super-resolution Upscaler
Повышает разрешение изображений в 4 раза. Теперь Stable Diffusion 2.0 может генерировать изображения с разрешением 2048x2048 или даже выше.
Updated Inpainting Diffusion Model
новая модель инпейнтинга, которая позволяет очень легко и быстро менять местами части изображения.
Еще больше подробностей тут
SD2 предоставляет ряд значительных улучшений и возможностей по сравнению с оригинальной версией V1:
🌟 Depth-to-Image Diffusion Model
Новинка! Depth2img, расширяет предыдущую функцию "изображение-изображение", предоставляя совершенно новые возможности для творческого применения. Depth2img определяет глубину входного изображения (используя существующую модель), а затем генерирует новые изображения, используя как текст, так и информацию о глубине.
Новый Text-to-Image
Новые модели обучали с помощью нового OpenCLIP и эстетичного сабсета LAION-5B.
Super-resolution Upscaler
Повышает разрешение изображений в 4 раза. Теперь Stable Diffusion 2.0 может генерировать изображения с разрешением 2048x2048 или даже выше.
Updated Inpainting Diffusion Model
новая модель инпейнтинга, которая позволяет очень легко и быстро менять местами части изображения.
Еще больше подробностей тут
🔥19👍8😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Следующий ивент Neuralink будет через неделю!
Nov 30, 6 pm PT
Судя по видео-приглашению нам покажут как кто-то печатает с помощью нейроимпланта. Было бы круто если бы печатали обезьяны, но с человеком тоже хорошо.
Источник
Nov 30, 6 pm PT
Судя по видео-приглашению нам покажут как кто-то печатает с помощью нейроимпланта. Было бы круто если бы печатали обезьяны, но с человеком тоже хорошо.
Источник
👍17😁2
Self-Supervised Learning based on Heat Equation
Авторы обратили внимание на то, что карты активации классов полученные из global average pooling сверточных сетей похожи на физическое рассеивание тепла. Вдохновившись теплопередачей из физики они адаптировали уравнение теплопроводности и использовали его вместо лейблов, что позволило перевести задачу из supervised в self-supervised learning (#SSL).
На этапе обучения pretext-задачи, изображение делят на 4 патча, один из которых подается на вход модели, а остальные 3 предсказываются ей. Таким образом модель учит латентное представление.
Авторы утверждают, что их подход применим как для классификации изображений, так и для обнаружения объектов. Код обещают позже.
📖 Статья
@karray
Авторы обратили внимание на то, что карты активации классов полученные из global average pooling сверточных сетей похожи на физическое рассеивание тепла. Вдохновившись теплопередачей из физики они адаптировали уравнение теплопроводности и использовали его вместо лейблов, что позволило перевести задачу из supervised в self-supervised learning (#SSL).
На этапе обучения pretext-задачи, изображение делят на 4 патча, один из которых подается на вход модели, а остальные 3 предсказываются ей. Таким образом модель учит латентное представление.
Авторы утверждают, что их подход применим как для классификации изображений, так и для обнаружения объектов. Код обещают позже.
📖 Статья
@karray
🤯27👍5🔥3❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Интересные свойства softmax
Уверен многим знакома фунция softmax. Она часто используется как функция активации выходного слоя в нейронных сетях для задач классификации, при этом результат трактуется как вероятности (все значения между 0 и 1, а их сумма равна 1). Однако, это одна из ее интерпретаций этой и результат не следует рассматривать как фактическую вероятность.
Эта функция также имеет и другую интерпретацию. Как видно из названия, она возвращает максимум, а точнее является дифференцируемой argmax функцией. Как и argmax, результат softmax можно интерпретировать как индекс максимального значения. Напрмер, если взять вектор
Такое свойство softmax используется в self-attention блоках в трансформерах для реализации своего рода “soft dictionary”. Но об этом в другой раз.
Подробнее
@karray
Уверен многим знакома фунция softmax. Она часто используется как функция активации выходного слоя в нейронных сетях для задач классификации, при этом результат трактуется как вероятности (все значения между 0 и 1, а их сумма равна 1). Однако, это одна из ее интерпретаций этой и результат не следует рассматривать как фактическую вероятность.
Эта функция также имеет и другую интерпретацию. Как видно из названия, она возвращает максимум, а точнее является дифференцируемой argmax функцией. Как и argmax, результат softmax можно интерпретировать как индекс максимального значения. Напрмер, если взять вектор
[1, 5, 5], softmax вернет [0.01, 0.49, 0.49]. Перемножив эти вектора, получим ≈5, что аналогично argmax функции.Такое свойство softmax используется в self-attention блоках в трансформерах для реализации своего рода “soft dictionary”. Но об этом в другой раз.
Подробнее
@karray
😱31👍22🤯6🔥3😁3🤩3
Всем привет! Меня зовут Арай - как array, только с одной “r” 🙂
Долгое время я был фулстак разработчиком, но потом мне стало скучно, и я закончил магистратуру. И вот уже год я работаю научным сотрудником в Берлинском Техническом Университете, где собираюсь делать PhD в области Explainable AI. Наша группа работает с медицинскими данными и понятный ИИ важен при составлении диагноза.
Недавно я начал помогать Артемию вести канал. Мои посты можно узнать по подписи @karray
Заходите в чат канала, будем развиваться вместе 👾
@karray
Долгое время я был фулстак разработчиком, но потом мне стало скучно, и я закончил магистратуру. И вот уже год я работаю научным сотрудником в Берлинском Техническом Университете, где собираюсь делать PhD в области Explainable AI. Наша группа работает с медицинскими данными и понятный ИИ важен при составлении диагноза.
Недавно я начал помогать Артемию вести канал. Мои посты можно узнать по подписи @karray
Заходите в чат канала, будем развиваться вместе 👾
@karray
❤56👍25🎉16😢1
Peekaboo: сегментация как эмерджентное свойство фундаментальной Stable Diffusion
Давайте честно, играя с text-to-image, вы ведь спрашивали модель: "Ок, лягушку в пальто ты сгенерировала. И что, ты знаешь, где тут на картинке ПАЛЬТО?"
Похожим вопросом задались ресечеры из Stony Brook University и сделали не очень удивительное, но крайне полезное открытие: сегментацию можно делать по текстовому описанию с помощью моделей латентной диффузии.
Созданная ими Peekaboo замечательна тем, что:
- использует оригинальную SD (никакого переобучения);
- unsupervised (без разметки людьми);
- open-vocabulary (запросы в свободной форме);
- zero-shot (здесь это значит без обучения на под-задачах);
- решает задачу и семантической, и описательной (referring) сегментации.
Изящество в Dream Loss, оптимизирующей альфа-маску с ограничением по текстовому описанию, и вспомогательных функциях потерь, минимизирующих фон и пересечения.
Что касается возможностей, мы открыли ящик Пандоры.
📖Статья
🧑💻Код обещают позже
@GingerSpacetail
Давайте честно, играя с text-to-image, вы ведь спрашивали модель: "Ок, лягушку в пальто ты сгенерировала. И что, ты знаешь, где тут на картинке ПАЛЬТО?"
Похожим вопросом задались ресечеры из Stony Brook University и сделали не очень удивительное, но крайне полезное открытие: сегментацию можно делать по текстовому описанию с помощью моделей латентной диффузии.
Созданная ими Peekaboo замечательна тем, что:
- использует оригинальную SD (никакого переобучения);
- unsupervised (без разметки людьми);
- open-vocabulary (запросы в свободной форме);
- zero-shot (здесь это значит без обучения на под-задачах);
- решает задачу и семантической, и описательной (referring) сегментации.
Изящество в Dream Loss, оптимизирующей альфа-маску с ограничением по текстовому описанию, и вспомогательных функциях потерь, минимизирующих фон и пересечения.
Что касается возможностей, мы открыли ящик Пандоры.
📖Статья
🧑💻Код обещают позже
@GingerSpacetail
❤27😱15🔥6👍3
5ого января 2021 года -> 27 ноября 2022 года
Прошло меньше двух лет
Прошло меньше двух лет
👍60🔥28🤯18🎉4
Forwarded from Earth&Climate Tech
3blue1brown - YouTube канал радующий глаз
3blue1brown - один из самых классных образовательных каналов. Канал фокусируется на подаче математических концептов с упором на визуальную составляющую. Красиво и понятно.
Это я к чему. Неделю назад на канале вышло видео про свертку (convolution) - But what is a convolution? В науке где только она не используется, от обработки сейсмических данных до нашего любимого глубокого обучения с помощью сверточных сетей (convolutional neural networks). В общем посмотрите. Во-первых это красиво, ну и сильно прокачивает интуитивное понимание процесса.
Если зайдет, то на этом же канале есть визуальные шедевры и про преобразование Фурье и про нейронные сети. Все как мы любим.
3blue1brown - один из самых классных образовательных каналов. Канал фокусируется на подаче математических концептов с упором на визуальную составляющую. Красиво и понятно.
Это я к чему. Неделю назад на канале вышло видео про свертку (convolution) - But what is a convolution? В науке где только она не используется, от обработки сейсмических данных до нашего любимого глубокого обучения с помощью сверточных сетей (convolutional neural networks). В общем посмотрите. Во-первых это красиво, ну и сильно прокачивает интуитивное понимание процесса.
Если зайдет, то на этом же канале есть визуальные шедевры и про преобразование Фурье и про нейронные сети. Все как мы любим.
YouTube
But what is a convolution?
Discrete convolutions, from probability to image processing and FFTs.
Video on the continuous case: https://youtu.be/IaSGqQa5O-M
Help fund future projects: https://www.patreon.com/3blue1brown
Special thanks to these supporters: https://3b1b.co/lessons/co…
Video on the continuous case: https://youtu.be/IaSGqQa5O-M
Help fund future projects: https://www.patreon.com/3blue1brown
Special thanks to these supporters: https://3b1b.co/lessons/co…
👍35❤13🔥3
Forwarded from DLStories
Помните, я летом говорила, что ездила на съемки лекций? Так вот, курс, который мы тогда записывали, наконец готов и выложен на Степик!
Это полностью бесплатный и довольно подробный курс по машинному обучению с самых азов и до продвинутых тем. Делали мы его частью команды DLS + несколько других отличных специалистов. Ориентирован он на школьников, так что изложение старались делать очень понятным языком. Но проходить, разумеется, могут все желающие.
Темы курса начинаются с введения в Python, знакомства с нужными библиотеками, математики для анализа данных и идеи машинного обучения. Затем переходим к изучению моделей, метрик и других аспектов прикладной машинки. Ну и дальше идут нейросети.
Подробную программу можно посмотреть тут. Она обширнее, чем программа DLS (в DLS мы учим в первую очередь глубокому обучению, и про классическое машинное обучение мы рассказываем не так подробно). Ну и, как обычно, мы постарались дать довольно много практики. В будущем к курсу еще выйдут дополнительные модули с новыми темами (сейчас идет монтаж записей).
Хочу сказать, что работы над курсом было проделано много: он отлично проработан методически. Тексты лекций были составлены заранее и записаны на профессиональное оборудование. Смотреть будет приятно!
К курсу прилагаются чатик для общения/помощи с учебой. В нем также будут ассистенты, которые будут отвечать на ваши вопросы. Ну и я там тоже буду =)
Приходите сами, а также зовите друзей!⬇️
Начать учиться тут
Это полностью бесплатный и довольно подробный курс по машинному обучению с самых азов и до продвинутых тем. Делали мы его частью команды DLS + несколько других отличных специалистов. Ориентирован он на школьников, так что изложение старались делать очень понятным языком. Но проходить, разумеется, могут все желающие.
Темы курса начинаются с введения в Python, знакомства с нужными библиотеками, математики для анализа данных и идеи машинного обучения. Затем переходим к изучению моделей, метрик и других аспектов прикладной машинки. Ну и дальше идут нейросети.
Подробную программу можно посмотреть тут. Она обширнее, чем программа DLS (в DLS мы учим в первую очередь глубокому обучению, и про классическое машинное обучение мы рассказываем не так подробно). Ну и, как обычно, мы постарались дать довольно много практики. В будущем к курсу еще выйдут дополнительные модули с новыми темами (сейчас идет монтаж записей).
Хочу сказать, что работы над курсом было проделано много: он отлично проработан методически. Тексты лекций были составлены заранее и записаны на профессиональное оборудование. Смотреть будет приятно!
К курсу прилагаются чатик для общения/помощи с учебой. В нем также будут ассистенты, которые будут отвечать на ваши вопросы. Ну и я там тоже буду =)
Приходите сами, а также зовите друзей!⬇️
Начать учиться тут
🔥30👍5❤4
Новый разговорный бот от OpenAI: ChatGPT
OpenAI обучили модель под названием ChatGPT, которая взаимодействует с пользователем в разговорной манере.
Формат диалога позволяет ChatGPT отвечать на вопросы, признавать свои ошибки, оспаривать неверные предпосылки и отклонять неуместные запросы. ChatGPT является родственной моделью InstructGPT, которая обучена следовать инструкции в промпте и предоставлять подробный ответ.
На время бета-теста использование ChatGPT бесплатно.
Попробуйте прямо сейчас на сайте.
🤩 Блог-пост
OpenAI обучили модель под названием ChatGPT, которая взаимодействует с пользователем в разговорной манере.
Формат диалога позволяет ChatGPT отвечать на вопросы, признавать свои ошибки, оспаривать неверные предпосылки и отклонять неуместные запросы. ChatGPT является родственной моделью InstructGPT, которая обучена следовать инструкции в промпте и предоставлять подробный ответ.
На время бета-теста использование ChatGPT бесплатно.
Попробуйте прямо сейчас на сайте.
🤩 Блог-пост
👍16🔥3
AI для Всех
Новый разговорный бот от OpenAI: ChatGPT OpenAI обучили модель под названием ChatGPT, которая взаимодействует с пользователем в разговорной манере. Формат диалога позволяет ChatGPT отвечать на вопросы, признавать свои ошибки, оспаривать неверные предпосылки…
Профессия будущего - заклинатель языковых моделей
Языковой интерфейс для систем искусственного интеллекта создаст мир, в котором существуют волшебники. Ценность любого волшебника будет связана с его способностью плести из слов заклинания. Волшебники смогут использовать свои слова, для того что бы воплощать любые идеи в жизнь.
Ссылка
Языковой интерфейс для систем искусственного интеллекта создаст мир, в котором существуют волшебники. Ценность любого волшебника будет связана с его способностью плести из слов заклинания. Волшебники смогут использовать свои слова, для того что бы воплощать любые идеи в жизнь.
Ссылка
❤36😁6😱3
Мое выступление в Стенфорде
Глубокое обучение (DL) стало важным инструментом для сейсмологии и мониторинга землетрясений. Мы представляем метод глубокого обучения, который обнаруживает сейсмические фазы и оценивает соответствующие неопределенности времени прихода волны.
Выделение сейсмических фаз - это процесс идентификации времени наступления сейсмической фазы в сейсмограмме. Время наступления сейсмической фазы является одной из наиболее важных частей информации в сейсмологии и используется в широком спектре приложений. К ним относятся локализация землетрясений, определение структуры земли и идентификация ядерных взрывов.
Обнаружение и выделение сейсмических фаз - довольно трудоемкая задача, требующая много времени и усилий при выполнении вручную. Необходимость автоматизации привела к разработке нескольких алгоритмов и нейронных сетей, которые пытаются решить эту проблему.
Было показано, что методы глубокого обучения способны превзойти традиционные методы подбора фаз. Однако в этих методах обычно отсутствует оценка неопределенности модели. Знание неопределенности фазового пикинга помогает повысить точность определения местоположения землетрясений.
В данной работе мы демонстрируем Deep Learning phase picker, который может оценить неопределенность пикировки.
Смотреть тут
Глубокое обучение (DL) стало важным инструментом для сейсмологии и мониторинга землетрясений. Мы представляем метод глубокого обучения, который обнаруживает сейсмические фазы и оценивает соответствующие неопределенности времени прихода волны.
Выделение сейсмических фаз - это процесс идентификации времени наступления сейсмической фазы в сейсмограмме. Время наступления сейсмической фазы является одной из наиболее важных частей информации в сейсмологии и используется в широком спектре приложений. К ним относятся локализация землетрясений, определение структуры земли и идентификация ядерных взрывов.
Обнаружение и выделение сейсмических фаз - довольно трудоемкая задача, требующая много времени и усилий при выполнении вручную. Необходимость автоматизации привела к разработке нескольких алгоритмов и нейронных сетей, которые пытаются решить эту проблему.
Было показано, что методы глубокого обучения способны превзойти традиционные методы подбора фаз. Однако в этих методах обычно отсутствует оценка неопределенности модели. Знание неопределенности фазового пикинга помогает повысить точность определения местоположения землетрясений.
В данной работе мы демонстрируем Deep Learning phase picker, который может оценить неопределенность пикировки.
Смотреть тут
YouTube
Deep Learning with Uncertainties for the phase onset time prediction
The Deep Learning (DL) has become an important tool for seismology and earthquake monitoring. We present a deep learning method that detects seismic phases and estimates the corresponding picking uncertainties.
Seismic phase picking is the process of identifying…
Seismic phase picking is the process of identifying…
🔥24👍23
Distilled DeepConsensus - дистилляция знаний для быстрого и точного секвенирования ДНК
Жду времён, когда лекарства будут подбирать (и дизайнить) на основе мгновенного генетического анализа пациента и его заболевания. Это, например, важно для генной онкотерапии, потому что клетки опухоли мутируют, и каждый месяц мы можем иметь разные генетические объекты.
Благодаря Distilled DeepConsensus, секвенировать ДНК можно за несколько секунд (на 32-ядерном CPU) с увеличением качества выхода в 1,69 раз (показатель Q30) по сравнению с PacBio CCS - SOTA моделью для ряда задач генетики.
Было: ДНК секверинуруется несколько раз, зашумленные области консолидируются с помощью скрытой марковской модели (HMM).
Стало: использовали трансформеры для увеличения точности предсказания согласованной последовательности из тензора, содержащего зашумленные последовательности, и метод дистилляции знаний - для увеличения скорости инференса.
Итоговая модель в 1,6 меньше и в 1,3 раза быстрее, чем модель-учитель
📖Статья
@GingerSpacetail
Жду времён, когда лекарства будут подбирать (и дизайнить) на основе мгновенного генетического анализа пациента и его заболевания. Это, например, важно для генной онкотерапии, потому что клетки опухоли мутируют, и каждый месяц мы можем иметь разные генетические объекты.
Благодаря Distilled DeepConsensus, секвенировать ДНК можно за несколько секунд (на 32-ядерном CPU) с увеличением качества выхода в 1,69 раз (показатель Q30) по сравнению с PacBio CCS - SOTA моделью для ряда задач генетики.
Было: ДНК секверинуруется несколько раз, зашумленные области консолидируются с помощью скрытой марковской модели (HMM).
Стало: использовали трансформеры для увеличения точности предсказания согласованной последовательности из тензора, содержащего зашумленные последовательности, и метод дистилляции знаний - для увеличения скорости инференса.
Итоговая модель в 1,6 меньше и в 1,3 раза быстрее, чем модель-учитель
📖Статья
@GingerSpacetail
👍36🔥3