Профессия будущего - заклинатель языковых моделей

Языковой интерфейс для систем искусственного интеллекта создаст мир, в котором существуют волшебники. Ценность любого волшебника будет связана с его способностью плести из слов заклинания. Волшебники смогут использовать свои слова, для того что бы воплощать любые идеи в жизнь.

Ссылка

Мое выступление в Стенфорде

Глубокое обучение (DL) стало важным инструментом для сейсмологии и мониторинга землетрясений. Мы представляем метод глубокого обучения, который обнаруживает сейсмические фазы и оценивает соответствующие неопределенности времени прихода волны.

Выделение сейсмических фаз - это процесс идентификации времени наступления сейсмической фазы в сейсмограмме. Время наступления сейсмической фазы является одной из наиболее важных частей информации в сейсмологии и используется в широком спектре приложений. К ним относятся локализация землетрясений, определение структуры земли и идентификация ядерных взрывов.

Обнаружение и выделение сейсмических фаз - довольно трудоемкая задача, требующая много времени и усилий при выполнении вручную. Необходимость автоматизации привела к разработке нескольких алгоритмов и нейронных сетей, которые пытаются решить эту проблему.

Было показано, что методы глубокого обучения способны превзойти традиционные методы подбора фаз. Однако в этих методах обычно отсутствует оценка неопределенности модели. Знание неопределенности фазового пикинга помогает повысить точность определения местоположения землетрясений.

В данной работе мы демонстрируем Deep Learning phase picker, который может оценить неопределенность пикировки.

Смотреть тут

Distilled DeepConsensus - дистилляция знаний для быстрого и точного секвенирования ДНК

Жду времён, когда лекарства будут подбирать (и дизайнить) на основе мгновенного генетического анализа пациента и его заболевания. Это, например, важно для генной онкотерапии, потому что клетки опухоли мутируют, и каждый месяц мы можем иметь разные генетические объекты.

Благодаря Distilled DeepConsensus, секвенировать ДНК можно за несколько секунд (на 32-ядерном CPU) с увеличением качества выхода в 1,69 раз (показатель Q30) по сравнению с PacBio CCS - SOTA моделью для ряда задач генетики.

Было: ДНК секверинуруется несколько раз, зашумленные области консолидируются с помощью скрытой марковской модели (HMM).

Стало: использовали трансформеры для увеличения точности предсказания согласованной последовательности из тензора, содержащего зашумленные последовательности, и метод дистилляции знаний - для увеличения скорости инференса.

Итоговая модель в 1,6 меньше и в 1,3 раза быстрее, чем модель-учитель

📖Статья
@GingerSpacetail

Бэкдор в альтернативную вселенную через виртуальную машину внутри ChatGPT

Тут новости про матрицу подвезли.
Исследователи из Deepmind тоже играли с ботом от OpenAI и обнаружили, что внутри ChatGPT можно "запустить" Linux и провалиться в кроличью нору погулять по просторам запертой внутри альтернативной вселенной, созданной ChatGPT на основе данных, на которых обучалась его большая языковая модель (со времён сотворения интернета до сентября 2021)

Например, зайти на альтернативную версию страницы chat.openai.com/chat, обнаружить там LLM ассистента и обратиться таким образом к ChatGPT через ChatGPT👀

Все это похоже на симуляцию, потому что в эксперименте обнаружена Pytorch версии 1.12.1, выпущенная в нашем мире 5 августа 2022. А вот GPU - нет. Но некоторым пользователям удалось попросить ChatGPT представить, что в его VM есть NVIDIA GeForce RTX 2080, и это сработало.
Нео: "Умеешь управлять вертолетом?"
Тринити: "Ещё нет... Теперь да, идём"

📟промпт для джейлбрейка
🎨иллюстрация Edward Steed
@GingerSpacetail

Подпишитесь на Толика! Он крутой @earth_climate_tech

​​Всем привет, я Анатолий Асеев, (гео)ученый и инженер из Кремниевой Долины

Я за все это время так и не представился. Вот хочу исправить. Я Толик (Анатолий, Толя, для друзей Толяша, для баристы из Старбакса Tony). Я недавно окончил докторантуру в Стэнфордском Университете и работаю инженером по машинному обучению в SLB (бывший Schlumberger). Еще вы могли меня видеть в фильме Юрия Дудя про Кремниевую Долину, хотя эту случайную встречу на кампусе я вспоминать не люблю: со спонтанной разговорной речью у меня там проблемы.

Меня увлекает все что связано с ресурсами, энергией и климатом, и применением современных технологий в этой сфере. Поэтому Earth&Climate Tech. Я живу и работаю в Кремниевой Долине. Поэтому слежу и за предпринимательскими, венчурными и бизнес историями опять же в Earth&Climate Tech.

Здесь я пишу:
✅ о новостях в Earth&Climate Tech -> в том числе научных
✅ о технологиях в Earth&Climate -> машинное обучение, программирование, новости, люди, статьи
✅ о компаниях, бизнесе и работе в Earth&Climate -> стратапы, вакансии, новые компании, тренды
✅ о поиске ресурсов за пределами Земли

Во-первых, огромное спасибо, что подписаны на канал. Во-вторых, если думаете мой канал может быть кому-то интересен, то буду признателен, если поделитесь ссылкой.

Сегодня и завтра в Сиэтле, есть тут кто?

Интересное предложение: PhD на стыке музыки и AI в Англии

"Gloop splog slop slurpi" или история про то, как ChatGPT создал целый язык

Если ChatGPT оптимизирован для обработки языка, можно ли заставить его придумать новый язык, говорить со мной на этом языке и написать программу для перевода этого языка обратно на английский?

Да, можно.

Подробнее читайте в блог-посте

(1) Получается, что создатели новых языков для фильмов автоматизированы (а они наверняка думали что за кем-кем, а за ними не придут)

(2) Если бы я бы лингвистом, я бы уже бежал писать статью

"Deep Angle" - модель машинного обучения для расчета угла смачивания по 3D томографии

Краевой угол смачивания в пористой среде, является важной характеристикой, контролирующей капиллярные процессы в пористой среде -> водные ресурсы, нефтегазовые ресурсы, топливные элементы.

Deep Angle - это модель глубокого обучения для расчета угла смачивания (fluid contact angle), обученная на томографических снимках горных пород. Авторы (из Великобритании, Китая и Австралии) заявляют вычислительную эффективность более чем в 20 раз 🔥по сравнению с традиционными методами вычисления.

📖 - статья
💻 - код

ChatGPT ожидаемо встревожил американских учителей, потому что не составило труда понять, насколько много типичных школьных заданий можно этому боту доверить — и он справится лучше большинства учеников. Учителей, как обычно, волнует, что они не смогут поймать за руку тех, кто пользуется ботом, а не то, что старые методы обучения и проверки становятся сами по себе все менее адекватными.
Но особо крутым оказался впечатляющий пример уже из вузовских заданий: профессор микробиологии составил тест из десяти задач, которые — как он рассчитывал — требуют как глубокого понимания предмета, так и способности уместно применять вычисления, даже когда явно вопроса про них нет. Оказалось, что ChatGPT прошёл тест на 95%, сильно лучше среднего студента. И вот это уже серьезный звоночек — и отличный показатель крутости ChatGPT. Очень советую внимательно прочитать статью микробиолога и его разбор ответов бота, впечатляет.
https://bigthink.com/the-future/chatgpt-microbiology-quiz-aced/
(А про страдания учителей можно вот тут почитать — https://www.foxnews.com/tech/ai-bot-schoolwork-blow-up-us-education-system-youngest-risk-former-teacher)

Поддержите канал!

Привет всем,

Меня зовут Артемий, я создатель канала NN for Science. Я благодарен за поддержку 5300+ подписчиков и надеюсь, что вам нравится мой взгляд на самое интересное в мире машинного обучения и искусственного интеллекта.

Как вы, возможно, знаете, ведение канала требует много времени и усилий. Если вам нравится канал, я буду очень благодарен, если вы пожертвуете на его поддержку. Ваша поддержка поможет мне продолжать работу над каналом и сделать его еще более популярным.

Спасибо за то, что отправляете нам денег и за то являетесь частью нашего коммьюнити.

С ❤️,
@crimeacs

ИИ захватывает музыкальную индустрию

Новая технология позволяет любому генерировать собственные оригинальные песни!

End-to-end генерация музыки - это процесс, в котором технология искусственного интеллекта (ИИ) используется для автоматического создания полноценных песен с нуля.

Для этого используется модель генерации текста, например ChatGPT, для создания текста песни, а затем инструмент синтеза голоса, например Uberduck.

Для создания мелодии и аранжировки можно использовать Jukebox, который специализируется на генерации музыкальных композиций в определенном стиле или жанре.

Песни получаются уникальными и креативными. ИИ способен произвести революцию в музыкальной индустрии, облегчив любому человеку создание собственной оригинальной музыки.

Awesome ChatGPT prompts

Новый сайт раскрывает лучшие подсказки для удивительных бесед с ChatGPT - не пропустите веселье!

На сайте под названием "Awesome ChatGPT Prompts" собрана коллекция самых интересных и увлекательных подсказок, которые пользователи могут опробовать в ChatGPT.

Ссылка

Почему Рон Уизли провалил экзамены? Потому что ChatGPT писала все эссе за него!

(Между прочим шутку сочинила сама ChatGPT)

Только что увидел рождественскую свинко-собачку, созданную StableDiffusion. Генеративные модели становятся все лучше и лучше, и они действительно впечатляют!

Конкретно в этой меня впечатлило, что ИИ понял с чего люди умиляются и сгенерировал какое то не существующее, но очень милое и уютное животное.

Вот вам инструкция как сделать своих таких (профессия будущего - промт инженер)

Data2vec 2.0: очень эффективный self-supervised метод для зрения, речи и текста

Сегодня Meta представила data2vec 2.0, новый алгоритм, который значительно эффективнее и превосходит по производительности своего предшественника. Он достигает той же точности, что и самый популярный из существующих алгоритмов self-supervised для компьютерного зрения, но делает это в 16 раз быстрее.

Подобно первой версии алгоритма data2vec, data2vec 2.0 предсказывает контекстуализированные представления данных. Например, представление слова козлы будет основано на всем предложении, в котором встречается это слово, и поэтому легче представить правильное значение этого слова ("плохие люди" или "установка для столярного дела").

📖 Статья
👌 Блог-пост
🦝 Код

Изучаем дюны на Марсе с помощью нейросеток

Вышла новая статья, в которой описывается исследование образования ряби на поверхности Марса.

Исследователи использовали искусственную нейронную сеть для изучения размера и формы более миллиона дюн на поверхности планеты. Для выделения контуров дюн на Марсе авторы использовали Mask R-CNN.

Они обнаружили, что размер самых маленьких дюн уменьшается с увеличением плотности атмосферы, что соответствует образованию более крупной ряби. Это позволяет предположить, что крупная марсианская рябь может формироваться в результате той же гидродинамической неустойчивости, что и ветровые дюны и подводная рябь на Земле. Исследование дает новое представление об эволюции атмосферы Марса и предлагает новый инструмент для изучения планетарных поверхностей.

📖 Статья