Peekaboo: сегментация как эмерджентное свойство фундаментальной Stable Diffusion
Давайте честно, играя с text-to-image, вы ведь спрашивали модель: "Ок, лягушку в пальто ты сгенерировала. И что, ты знаешь, где тут на картинке ПАЛЬТО?"
Похожим вопросом задались ресечеры из Stony Brook University и сделали не очень удивительное, но крайне полезное открытие: сегментацию можно делать по текстовому описанию с помощью моделей латентной диффузии.
Созданная ими Peekaboo замечательна тем, что:
- использует оригинальную SD (никакого переобучения);
- unsupervised (без разметки людьми);
- open-vocabulary (запросы в свободной форме);
- zero-shot (здесь это значит без обучения на под-задачах);
- решает задачу и семантической, и описательной (referring) сегментации.
Изящество в Dream Loss, оптимизирующей альфа-маску с ограничением по текстовому описанию, и вспомогательных функциях потерь, минимизирующих фон и пересечения.
Что касается возможностей, мы открыли ящик Пандоры.
📖Статья
🧑💻Код обещают позже
@GingerSpacetail
Давайте честно, играя с text-to-image, вы ведь спрашивали модель: "Ок, лягушку в пальто ты сгенерировала. И что, ты знаешь, где тут на картинке ПАЛЬТО?"
Похожим вопросом задались ресечеры из Stony Brook University и сделали не очень удивительное, но крайне полезное открытие: сегментацию можно делать по текстовому описанию с помощью моделей латентной диффузии.
Созданная ими Peekaboo замечательна тем, что:
- использует оригинальную SD (никакого переобучения);
- unsupervised (без разметки людьми);
- open-vocabulary (запросы в свободной форме);
- zero-shot (здесь это значит без обучения на под-задачах);
- решает задачу и семантической, и описательной (referring) сегментации.
Изящество в Dream Loss, оптимизирующей альфа-маску с ограничением по текстовому описанию, и вспомогательных функциях потерь, минимизирующих фон и пересечения.
Что касается возможностей, мы открыли ящик Пандоры.
📖Статья
🧑💻Код обещают позже
@GingerSpacetail
Forwarded from Earth&Climate Tech
3blue1brown - YouTube канал радующий глаз
3blue1brown - один из самых классных образовательных каналов. Канал фокусируется на подаче математических концептов с упором на визуальную составляющую. Красиво и понятно.
Это я к чему. Неделю назад на канале вышло видео про свертку (convolution) - But what is a convolution? В науке где только она не используется, от обработки сейсмических данных до нашего любимого глубокого обучения с помощью сверточных сетей (convolutional neural networks). В общем посмотрите. Во-первых это красиво, ну и сильно прокачивает интуитивное понимание процесса.
Если зайдет, то на этом же канале есть визуальные шедевры и про преобразование Фурье и про нейронные сети. Все как мы любим.
3blue1brown - один из самых классных образовательных каналов. Канал фокусируется на подаче математических концептов с упором на визуальную составляющую. Красиво и понятно.
Это я к чему. Неделю назад на канале вышло видео про свертку (convolution) - But what is a convolution? В науке где только она не используется, от обработки сейсмических данных до нашего любимого глубокого обучения с помощью сверточных сетей (convolutional neural networks). В общем посмотрите. Во-первых это красиво, ну и сильно прокачивает интуитивное понимание процесса.
Если зайдет, то на этом же канале есть визуальные шедевры и про преобразование Фурье и про нейронные сети. Все как мы любим.
YouTube
But what is a convolution?
Discrete convolutions, from probability to image processing and FFTs.
Video on the continuous case: https://youtu.be/IaSGqQa5O-M
Help fund future projects: https://www.patreon.com/3blue1brown
Special thanks to these supporters: https://3b1b.co/lessons/co…
Video on the continuous case: https://youtu.be/IaSGqQa5O-M
Help fund future projects: https://www.patreon.com/3blue1brown
Special thanks to these supporters: https://3b1b.co/lessons/co…
Такое точно нельзя пропускать! Бронштейн ищет себе аспирантов для расшифровки речи китов!
Forwarded from DLStories | Нейронные сети и ИИ
Помните, я летом говорила, что ездила на съемки лекций? Так вот, курс, который мы тогда записывали, наконец готов и выложен на Степик!
Это полностью бесплатный и довольно подробный курс по машинному обучению с самых азов и до продвинутых тем. Делали мы его частью команды DLS + несколько других отличных специалистов. Ориентирован он на школьников, так что изложение старались делать очень понятным языком. Но проходить, разумеется, могут все желающие.
Темы курса начинаются с введения в Python, знакомства с нужными библиотеками, математики для анализа данных и идеи машинного обучения. Затем переходим к изучению моделей, метрик и других аспектов прикладной машинки. Ну и дальше идут нейросети.
Подробную программу можно посмотреть тут. Она обширнее, чем программа DLS (в DLS мы учим в первую очередь глубокому обучению, и про классическое машинное обучение мы рассказываем не так подробно). Ну и, как обычно, мы постарались дать довольно много практики. В будущем к курсу еще выйдут дополнительные модули с новыми темами (сейчас идет монтаж записей).
Хочу сказать, что работы над курсом было проделано много: он отлично проработан методически. Тексты лекций были составлены заранее и записаны на профессиональное оборудование. Смотреть будет приятно!
К курсу прилагаются чатик для общения/помощи с учебой. В нем также будут ассистенты, которые будут отвечать на ваши вопросы. Ну и я там тоже буду =)
Приходите сами, а также зовите друзей!⬇️
Начать учиться тут
Это полностью бесплатный и довольно подробный курс по машинному обучению с самых азов и до продвинутых тем. Делали мы его частью команды DLS + несколько других отличных специалистов. Ориентирован он на школьников, так что изложение старались делать очень понятным языком. Но проходить, разумеется, могут все желающие.
Темы курса начинаются с введения в Python, знакомства с нужными библиотеками, математики для анализа данных и идеи машинного обучения. Затем переходим к изучению моделей, метрик и других аспектов прикладной машинки. Ну и дальше идут нейросети.
Подробную программу можно посмотреть тут. Она обширнее, чем программа DLS (в DLS мы учим в первую очередь глубокому обучению, и про классическое машинное обучение мы рассказываем не так подробно). Ну и, как обычно, мы постарались дать довольно много практики. В будущем к курсу еще выйдут дополнительные модули с новыми темами (сейчас идет монтаж записей).
Хочу сказать, что работы над курсом было проделано много: он отлично проработан методически. Тексты лекций были составлены заранее и записаны на профессиональное оборудование. Смотреть будет приятно!
К курсу прилагаются чатик для общения/помощи с учебой. В нем также будут ассистенты, которые будут отвечать на ваши вопросы. Ну и я там тоже буду =)
Приходите сами, а также зовите друзей!⬇️
Начать учиться тут
Новый разговорный бот от OpenAI: ChatGPT
OpenAI обучили модель под названием ChatGPT, которая взаимодействует с пользователем в разговорной манере.
Формат диалога позволяет ChatGPT отвечать на вопросы, признавать свои ошибки, оспаривать неверные предпосылки и отклонять неуместные запросы. ChatGPT является родственной моделью InstructGPT, которая обучена следовать инструкции в промпте и предоставлять подробный ответ.
На время бета-теста использование ChatGPT бесплатно.
Попробуйте прямо сейчас на сайте.
🤩 Блог-пост
OpenAI обучили модель под названием ChatGPT, которая взаимодействует с пользователем в разговорной манере.
Формат диалога позволяет ChatGPT отвечать на вопросы, признавать свои ошибки, оспаривать неверные предпосылки и отклонять неуместные запросы. ChatGPT является родственной моделью InstructGPT, которая обучена следовать инструкции в промпте и предоставлять подробный ответ.
На время бета-теста использование ChatGPT бесплатно.
Попробуйте прямо сейчас на сайте.
🤩 Блог-пост
AI Для Всех
Новый разговорный бот от OpenAI: ChatGPT OpenAI обучили модель под названием ChatGPT, которая взаимодействует с пользователем в разговорной манере. Формат диалога позволяет ChatGPT отвечать на вопросы, признавать свои ошибки, оспаривать неверные предпосылки…
Профессия будущего - заклинатель языковых моделей
Языковой интерфейс для систем искусственного интеллекта создаст мир, в котором существуют волшебники. Ценность любого волшебника будет связана с его способностью плести из слов заклинания. Волшебники смогут использовать свои слова, для того что бы воплощать любые идеи в жизнь.
Ссылка
Языковой интерфейс для систем искусственного интеллекта создаст мир, в котором существуют волшебники. Ценность любого волшебника будет связана с его способностью плести из слов заклинания. Волшебники смогут использовать свои слова, для того что бы воплощать любые идеи в жизнь.
Ссылка
Мое выступление в Стенфорде
Глубокое обучение (DL) стало важным инструментом для сейсмологии и мониторинга землетрясений. Мы представляем метод глубокого обучения, который обнаруживает сейсмические фазы и оценивает соответствующие неопределенности времени прихода волны.
Выделение сейсмических фаз - это процесс идентификации времени наступления сейсмической фазы в сейсмограмме. Время наступления сейсмической фазы является одной из наиболее важных частей информации в сейсмологии и используется в широком спектре приложений. К ним относятся локализация землетрясений, определение структуры земли и идентификация ядерных взрывов.
Обнаружение и выделение сейсмических фаз - довольно трудоемкая задача, требующая много времени и усилий при выполнении вручную. Необходимость автоматизации привела к разработке нескольких алгоритмов и нейронных сетей, которые пытаются решить эту проблему.
Было показано, что методы глубокого обучения способны превзойти традиционные методы подбора фаз. Однако в этих методах обычно отсутствует оценка неопределенности модели. Знание неопределенности фазового пикинга помогает повысить точность определения местоположения землетрясений.
В данной работе мы демонстрируем Deep Learning phase picker, который может оценить неопределенность пикировки.
Смотреть тут
Глубокое обучение (DL) стало важным инструментом для сейсмологии и мониторинга землетрясений. Мы представляем метод глубокого обучения, который обнаруживает сейсмические фазы и оценивает соответствующие неопределенности времени прихода волны.
Выделение сейсмических фаз - это процесс идентификации времени наступления сейсмической фазы в сейсмограмме. Время наступления сейсмической фазы является одной из наиболее важных частей информации в сейсмологии и используется в широком спектре приложений. К ним относятся локализация землетрясений, определение структуры земли и идентификация ядерных взрывов.
Обнаружение и выделение сейсмических фаз - довольно трудоемкая задача, требующая много времени и усилий при выполнении вручную. Необходимость автоматизации привела к разработке нескольких алгоритмов и нейронных сетей, которые пытаются решить эту проблему.
Было показано, что методы глубокого обучения способны превзойти традиционные методы подбора фаз. Однако в этих методах обычно отсутствует оценка неопределенности модели. Знание неопределенности фазового пикинга помогает повысить точность определения местоположения землетрясений.
В данной работе мы демонстрируем Deep Learning phase picker, который может оценить неопределенность пикировки.
Смотреть тут
YouTube
Deep Learning with Uncertainties for the phase onset time prediction
The Deep Learning (DL) has become an important tool for seismology and earthquake monitoring. We present a deep learning method that detects seismic phases and estimates the corresponding picking uncertainties.
Seismic phase picking is the process of identifying…
Seismic phase picking is the process of identifying…
Distilled DeepConsensus - дистилляция знаний для быстрого и точного секвенирования ДНК
Жду времён, когда лекарства будут подбирать (и дизайнить) на основе мгновенного генетического анализа пациента и его заболевания. Это, например, важно для генной онкотерапии, потому что клетки опухоли мутируют, и каждый месяц мы можем иметь разные генетические объекты.
Благодаря Distilled DeepConsensus, секвенировать ДНК можно за несколько секунд (на 32-ядерном CPU) с увеличением качества выхода в 1,69 раз (показатель Q30) по сравнению с PacBio CCS - SOTA моделью для ряда задач генетики.
Было: ДНК секверинуруется несколько раз, зашумленные области консолидируются с помощью скрытой марковской модели (HMM).
Стало: использовали трансформеры для увеличения точности предсказания согласованной последовательности из тензора, содержащего зашумленные последовательности, и метод дистилляции знаний - для увеличения скорости инференса.
Итоговая модель в 1,6 меньше и в 1,3 раза быстрее, чем модель-учитель
📖Статья
@GingerSpacetail
Жду времён, когда лекарства будут подбирать (и дизайнить) на основе мгновенного генетического анализа пациента и его заболевания. Это, например, важно для генной онкотерапии, потому что клетки опухоли мутируют, и каждый месяц мы можем иметь разные генетические объекты.
Благодаря Distilled DeepConsensus, секвенировать ДНК можно за несколько секунд (на 32-ядерном CPU) с увеличением качества выхода в 1,69 раз (показатель Q30) по сравнению с PacBio CCS - SOTA моделью для ряда задач генетики.
Было: ДНК секверинуруется несколько раз, зашумленные области консолидируются с помощью скрытой марковской модели (HMM).
Стало: использовали трансформеры для увеличения точности предсказания согласованной последовательности из тензора, содержащего зашумленные последовательности, и метод дистилляции знаний - для увеличения скорости инференса.
Итоговая модель в 1,6 меньше и в 1,3 раза быстрее, чем модель-учитель
📖Статья
@GingerSpacetail
Бэкдор в альтернативную вселенную через виртуальную машину внутри ChatGPT
Тут новости про матрицу подвезли.
Исследователи из Deepmind тоже играли с ботом от OpenAI и обнаружили, что внутри ChatGPT можно "запустить" Linux ипровалиться в кроличью нору погулять по просторам запертой внутри альтернативной вселенной, созданной ChatGPT на основе данных, на которых обучалась его большая языковая модель (со времён сотворения интернета до сентября 2021)
Например, зайти на альтернативную версию страницы chat.openai.com/chat, обнаружить там LLM ассистента и обратиться таким образом к ChatGPT через ChatGPT👀
Все это похоже на симуляцию, потому что в эксперименте обнаружена Pytorch версии 1.12.1, выпущенная в нашем мире 5 августа 2022. А вот GPU - нет. Но некоторым пользователям удалось попросить ChatGPT представить, что в его VM есть NVIDIA GeForce RTX 2080, и это сработало.
Нео: "Умеешь управлять вертолетом?"
Тринити: "Ещё нет... Теперь да, идём"
📟промпт для джейлбрейка
🎨иллюстрация Edward Steed
@GingerSpacetail
Тут новости про матрицу подвезли.
Исследователи из Deepmind тоже играли с ботом от OpenAI и обнаружили, что внутри ChatGPT можно "запустить" Linux и
Например, зайти на альтернативную версию страницы chat.openai.com/chat, обнаружить там LLM ассистента и обратиться таким образом к ChatGPT через ChatGPT👀
Все это похоже на симуляцию, потому что в эксперименте обнаружена Pytorch версии 1.12.1, выпущенная в нашем мире 5 августа 2022. А вот GPU - нет. Но некоторым пользователям удалось попросить ChatGPT представить, что в его VM есть NVIDIA GeForce RTX 2080, и это сработало.
Нео: "Умеешь управлять вертолетом?"
Тринити: "Ещё нет... Теперь да, идём"
📟промпт для джейлбрейка
🎨иллюстрация Edward Steed
@GingerSpacetail
Forwarded from Earth&Climate Tech
Всем привет, я Анатолий Асеев, (гео)ученый и инженер из Кремниевой Долины
Я за все это время так и не представился. Вот хочу исправить. Я Толик (Анатолий, Толя, для друзей Толяша, для баристы из Старбакса Tony). Я недавно окончил докторантуру в Стэнфордском Университете и работаю инженером по машинному обучению в SLB (бывший Schlumberger). Еще вы могли меня видеть в фильме Юрия Дудя про Кремниевую Долину, хотя эту случайную встречу на кампусе я вспоминать не люблю: со спонтанной разговорной речью у меня там проблемы.
Меня увлекает все что связано с ресурсами, энергией и климатом, и применением современных технологий в этой сфере. Поэтому Earth&Climate Tech. Я живу и работаю в Кремниевой Долине. Поэтому слежу и за предпринимательскими, венчурными и бизнес историями опять же в Earth&Climate Tech.
Здесь я пишу:
✅ о новостях в Earth&Climate Tech -> в том числе научных
✅ о технологиях в Earth&Climate -> машинное обучение, программирование, новости, люди, статьи
✅ о компаниях, бизнесе и работе в Earth&Climate -> стратапы, вакансии, новые компании, тренды
✅ о поиске ресурсов за пределами Земли
Во-первых, огромное спасибо, что подписаны на канал. Во-вторых, если думаете мой канал может быть кому-то интересен, то буду признателен, если поделитесь ссылкой.
Я за все это время так и не представился. Вот хочу исправить. Я Толик (Анатолий, Толя, для друзей Толяша, для баристы из Старбакса Tony). Я недавно окончил докторантуру в Стэнфордском Университете и работаю инженером по машинному обучению в SLB (бывший Schlumberger). Еще вы могли меня видеть в фильме Юрия Дудя про Кремниевую Долину, хотя эту случайную встречу на кампусе я вспоминать не люблю: со спонтанной разговорной речью у меня там проблемы.
Меня увлекает все что связано с ресурсами, энергией и климатом, и применением современных технологий в этой сфере. Поэтому Earth&Climate Tech. Я живу и работаю в Кремниевой Долине. Поэтому слежу и за предпринимательскими, венчурными и бизнес историями опять же в Earth&Climate Tech.
Здесь я пишу:
✅ о новостях в Earth&Climate Tech -> в том числе научных
✅ о технологиях в Earth&Climate -> машинное обучение, программирование, новости, люди, статьи
✅ о компаниях, бизнесе и работе в Earth&Climate -> стратапы, вакансии, новые компании, тренды
✅ о поиске ресурсов за пределами Земли
Во-первых, огромное спасибо, что подписаны на канал. Во-вторых, если думаете мой канал может быть кому-то интересен, то буду признателен, если поделитесь ссылкой.
"Gloop splog slop slurpi" или история про то, как ChatGPT создал целый язык
Если ChatGPT оптимизирован для обработки языка, можно ли заставить его придумать новый язык, говорить со мной на этом языке и написать программу для перевода этого языка обратно на английский?
Да, можно.
Подробнее читайте в блог-посте
(1) Получается, что создатели новых языков для фильмов автоматизированы (а они наверняка думали что за кем-кем, а за ними не придут)
(2) Если бы я бы лингвистом, я бы уже бежал писать статью
Если ChatGPT оптимизирован для обработки языка, можно ли заставить его придумать новый язык, говорить со мной на этом языке и написать программу для перевода этого языка обратно на английский?
Да, можно.
Подробнее читайте в блог-посте
(1) Получается, что создатели новых языков для фильмов автоматизированы (а они наверняка думали что за кем-кем, а за ними не придут)
(2) Если бы я бы лингвистом, я бы уже бежал писать статью
Forwarded from Earth&Climate Tech
"Deep Angle" - модель машинного обучения для расчета угла смачивания по 3D томографии
Краевой угол смачивания в пористой среде, является важной характеристикой, контролирующей капиллярные процессы в пористой среде -> водные ресурсы, нефтегазовые ресурсы, топливные элементы.
Deep Angle - это модель глубокого обучения для расчета угла смачивания (fluid contact angle), обученная на томографических снимках горных пород. Авторы (из Великобритании, Китая и Австралии) заявляют вычислительную эффективность более чем в 20 раз 🔥по сравнению с традиционными методами вычисления.
📖 - статья
💻 - код
Краевой угол смачивания в пористой среде, является важной характеристикой, контролирующей капиллярные процессы в пористой среде -> водные ресурсы, нефтегазовые ресурсы, топливные элементы.
Deep Angle - это модель глубокого обучения для расчета угла смачивания (fluid contact angle), обученная на томографических снимках горных пород. Авторы (из Великобритании, Китая и Австралии) заявляют вычислительную эффективность более чем в 20 раз 🔥по сравнению с традиционными методами вычисления.
📖 - статья
💻 - код
Forwarded from TechSparks
ChatGPT ожидаемо встревожил американских учителей, потому что не составило труда понять, насколько много типичных школьных заданий можно этому боту доверить — и он справится лучше большинства учеников. Учителей, как обычно, волнует, что они не смогут поймать за руку тех, кто пользуется ботом, а не то, что старые методы обучения и проверки становятся сами по себе все менее адекватными.
Но особо крутым оказался впечатляющий пример уже из вузовских заданий: профессор микробиологии составил тест из десяти задач, которые — как он рассчитывал — требуют как глубокого понимания предмета, так и способности уместно применять вычисления, даже когда явно вопроса про них нет. Оказалось, что ChatGPT прошёл тест на 95%, сильно лучше среднего студента. И вот это уже серьезный звоночек — и отличный показатель крутости ChatGPT. Очень советую внимательно прочитать статью микробиолога и его разбор ответов бота, впечатляет.
https://bigthink.com/the-future/chatgpt-microbiology-quiz-aced/
(А про страдания учителей можно вот тут почитать — https://www.foxnews.com/tech/ai-bot-schoolwork-blow-up-us-education-system-youngest-risk-former-teacher)
Но особо крутым оказался впечатляющий пример уже из вузовских заданий: профессор микробиологии составил тест из десяти задач, которые — как он рассчитывал — требуют как глубокого понимания предмета, так и способности уместно применять вычисления, даже когда явно вопроса про них нет. Оказалось, что ChatGPT прошёл тест на 95%, сильно лучше среднего студента. И вот это уже серьезный звоночек — и отличный показатель крутости ChatGPT. Очень советую внимательно прочитать статью микробиолога и его разбор ответов бота, впечатляет.
https://bigthink.com/the-future/chatgpt-microbiology-quiz-aced/
(А про страдания учителей можно вот тут почитать — https://www.foxnews.com/tech/ai-bot-schoolwork-blow-up-us-education-system-youngest-risk-former-teacher)
Big Think
We gave ChatGPT a college-level microbiology quiz. It blew the quiz away.
ChatGPT's capabilities are astonishing. It demonstrated the ability to synthesize knowledge and apply it to complex word problems.
Поддержите канал!
Привет всем,
Меня зовут Артемий, я создатель канала NN for Science. Я благодарен за поддержку 5300+ подписчиков и надеюсь, что вам нравится мой взгляд на самое интересное в мире машинного обучения и искусственного интеллекта.
Как вы, возможно, знаете, ведение канала требует много времени и усилий. Если вам нравится канал, я буду очень благодарен, если вы пожертвуете на его поддержку. Ваша поддержка поможет мне продолжать работу над каналом и сделать его еще более популярным.
Спасибо за то, что отправляете нам денег и за то являетесь частью нашего коммьюнити.
С ❤️,
@crimeacs
Привет всем,
Меня зовут Артемий, я создатель канала NN for Science. Я благодарен за поддержку 5300+ подписчиков и надеюсь, что вам нравится мой взгляд на самое интересное в мире машинного обучения и искусственного интеллекта.
Как вы, возможно, знаете, ведение канала требует много времени и усилий. Если вам нравится канал, я буду очень благодарен, если вы пожертвуете на его поддержку. Ваша поддержка поможет мне продолжать работу над каналом и сделать его еще более популярным.
Спасибо за то, что отправляете нам денег и за то являетесь частью нашего коммьюнити.
С ❤️,
@crimeacs
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ захватывает музыкальную индустрию
Новая технология позволяет любому генерировать собственные оригинальные песни!
End-to-end генерация музыки - это процесс, в котором технология искусственного интеллекта (ИИ) используется для автоматического создания полноценных песен с нуля.
Для этого используется модель генерации текста, например ChatGPT, для создания текста песни, а затем инструмент синтеза голоса, например Uberduck.
Для создания мелодии и аранжировки можно использовать Jukebox, который специализируется на генерации музыкальных композиций в определенном стиле или жанре.
Песни получаются уникальными и креативными. ИИ способен произвести революцию в музыкальной индустрии, облегчив любому человеку создание собственной оригинальной музыки.
Новая технология позволяет любому генерировать собственные оригинальные песни!
End-to-end генерация музыки - это процесс, в котором технология искусственного интеллекта (ИИ) используется для автоматического создания полноценных песен с нуля.
Для этого используется модель генерации текста, например ChatGPT, для создания текста песни, а затем инструмент синтеза голоса, например Uberduck.
Для создания мелодии и аранжировки можно использовать Jukebox, который специализируется на генерации музыкальных композиций в определенном стиле или жанре.
Песни получаются уникальными и креативными. ИИ способен произвести революцию в музыкальной индустрии, облегчив любому человеку создание собственной оригинальной музыки.