Глуповатая машина: ИИ для антропологии

По мнению некоторых, цель антропологии - не объяснение культуры, а ее экспликация. Авторы стати утверждают, что алгоритмы машинного обучения могут быть полезны в процессе экспликации и объясняют как именно.

На основе набора данных из 175 тысяч комментариев в Facebook была обучена нейронная сеть, которая должна была предсказывать реакцию эмодзи на основе комментария.

Дальше группу людей попросили посоревноваться с машиной. Авторы демонстрируют, что:
а) машина может достичь той же (низкой) точности, что и игроки (51%),
б) она терпит неудачу примерно теми же способами, что и игроки, и
в) легко предсказуемые реакции эмодзи, как правило, отражают однозначные ситуации, где интерпретация проста.

Получается, что можно использовать неудачи нейронной сети, чтобы указать людям на более глубокие и неоднозначные ситуации, где интерпретация затруднена, а объяснение становится необходимым и интересным.

📖 Статья

Как работает звук?

Увидел в одном из чатиков классную интерактивную статью про то что такое звук и как он работает. Обязательно полистайте

Интерактивная статья

Принципы биологических нейронных вычислений снова станут катализатором революции в ИИ

Человечеству ещё далеко до создания по-настоящему дееспособностого интеллекта.
LeCun et al развивают область исследований NeuralAI - фундаментальную науку на стыке нейробиологии и ИИ.

Цель в создании искусственных агентов, которые бы могли:
- взаимодействовать с миром
Сенсорные функции контролируются сложной архитектурой, часть модулей действует автономно в отсутствие данных от модулей более высокого уровня (сон прерывается при резком звуке)
- обладать поведенческой гибкостью
Чтобы различать опасность пустого пластикового пакета и тяжёлого ящика, летящего в лобовое стекло
- быть энергоэффективными
Нейроны мозга работают в режиме редких всплесков активации и делают вероятностные выводы, работая на кусочке сахара

Понадобится расширенный тест Тьюринга и эволюция - начнем с органоидов с простейшими стимулами, двигающихся к "пище" и избегающих "опасности"

Миру нужны инженеры-нейробиологи.

📖 Статья
@GingerSpacetail

Computational Scientist position on Python-based ML-enabled weather and climate modeling

The Atmospheric and Oceanic Sciences Program at Princeton University, in cooperation with NOAA's Geophysical Fluid Dynamics Laboratory (GFDL), seeks a computational scientist/scientific programmer to assist our scientists working to integrate a computationally-advanced Python-based machine-learning (ML) augmented atmosphere model into the existing GFDL modeling system. The goal is to permit ML-powered improvements to our models and to incorporate new diagnostics and use cases for this system. This project is funded by the NOAA Technology Incubator of the National Oceanic and Atmospheric Administration's Office of the Chief Information Officer.

The successful applicant will work with Lucas Harris at GFDL and Chris Bretherton and Oliver Fuhrer at the Allen Institute for Artificial Intelligence (AI2), and will work closely with other scientists in GFDL's Weather and Climate Dynamics Division and at AI2. This computational scientist will port AI2's Python-wrapped climate model workflow into GFDL's System for High-resolution prediction on Earth-to-Local Domains (SHiELD) and set up the AI2 machine-learning workflow on a NOAA computing system. The applicant will then work to update the model with the newest version of SHiELD's codes and continue to integrate new updates to SHiELD and in AI2's ML workflow. This applicant will then assist GFDL and AI2 scientists in applying the ML-augmented model to scientific problems of interest.

Scientists or engineers with a strong background in software engineering, computer science, computational science, high-performance computing, machine learning, mathematics, or physics are encouraged to apply. Knowledge of both Python and Fortran will be extremely useful, as will some experience with hydrodynamic codes or numerical models, and machine learning software. Applicants should have strong experience working in a collaborative environment and an ability to learn new technologies. This is a one-year position with potential for renewal based on candidate performance and continued funding. Candidates should have at least a Master's degree in an appropriate field, including but not limited to computer science, mathematics, physics, atmospheric science, or engineering. Complete applications include a CV, publication list, and 2 letters of recommendation. Review of applications will begin immediately and continue until the position is filled. Princeton is interested in candidates who, through their research, will contribute to the diversity and excellence of the academic community.

Applicants should apply online

#job

Нейрокомпрессия звука

Сжатие является важной частью современного Интернета, поскольку оно позволяет людям легко обмениваться высококачественными фотографиями, прослушивать аудиосообщения, транслировать любимые передачи и многое другое.

Сегодня, исследователи из Мета совершили прорыв в области гиперкомпрессии аудио с помощью ИИ. Представьте себе, что вы слушаете аудиосообщение друга в районе с низким качеством связи, а оно не тормозит и не глючит.

Они создали трехкомпонентную систему и обучили ее сжимать аудиоданные до заданного размера. Затем эти данные могут быть декодированы с помощью нейронной сети.

Они добились примерно 10-кратной степени сжатия по сравнению с MP3 при 64 кбит/с без потери качества. Хотя подобные методы уже применялись для речи, они первыми применили их для стереофонического аудио с частотой дискретизации 48 кГц (т.е. качество CD), которое является стандартом для распространения музыки.

Pied Piper только что стал реальностью, более того - опенсорсной.

🦦 Блог-пост
📖 Статья
🤤 Код

Всю следующую неделю буду в Норвегии, если кто-то хочет увидится - пишите в коменты или в личку

Там на huggingface появилось пространство с text2music

Мелодии вполне годные выходят, генерация быстрая (при условии, что нет очередей и нагрузка не большая).

А если очередь большая, то можно запустить в колабе

Быстрее, точнее и вычислительно дешевле - инвариантная AugNet для задач компьютерного зрения, аудио процессинга и нейросаенс

AugNet - встраиваемая почти в любую нейросеть модель для поиска инвариантов прямо на тренировочной выборке, не прибегая к автоматической аугментации данных (ADA) и обходя сложности задачи двухуровневой оптимизации.

В чем сложность ADA: найти такое преобразование, применив которое во время обучения, мы минимизируем потери на валидационной выборке.
Это либо долго и вычислительной дорого (AutoAugment, PBA), либо требует многократной тренировки модели (Fast AutoAugment), либо ручной интеграции найденных заранее инвариантов (DADA, ADDA).

Вдохновленная Augerino, AugNet более универсальна, т.к в ее аугментационном модуле допустимы любые дифференцируемые преобразования (от линейных сдвигов до гауссовых шумов) и происходит выбор трансформаций,
кодирующих самую сильную инвариантность данных, а значит, усиливает обобщающую способность конечной архитектуры.

📖Статья
🧑‍💻Код
@GingerSpacetail

ELI5 для научной литературы, разряженная GPT3

Новые знания - это прежде всего любопытство.

С explainpaper теперь будет меньше боли при чтении кросс-дисциплинарных статей. Да, и по своей специальности, что уж тут лукавить.

Приложений на самом деле даже больше - поскольку ответы сформулированы на более простом языке, можно использовать инструмент для научпопа или адаптации идей для бизнес собеседников.

Может даже немного в математику, но за этим я пока буду ходить в старые добрые учебники Кострикина и Фихтенгольца

🥋 инструмент

#GPT3 #use_case
@GingerSpacetail

Гугл, энергия ветра и искусственный интеллект

Мне на днях Артемий показал как компания Гугл аж в 2019-м использовала данные погодных наблюдений и параметры работы ветряных турбин для прогноза энергии ветра, которую можно сгенерировать в течение 36 часов.

Основываясь на этих прогнозах, модель выдает оптимальные рекомендации по почасовой доставке электроэнергии в электросеть на день вперед. Это важно, потому что запланированные поставки энергии (т.е. определенное количество электроэнергии в установленное время) максимально важны для электросети. Также инженеры посчитали, что ценность заранее спланированных поставок энергии ветра с помощью нейросети на 20% выше, чем беспорядочные поставки 📈.

Конечно у Гугла внушительное количество зеленых проектов (не считая Google X про которые писал когда-то). Компания еще в 2017-м компенсировала 100% потребляемой энергии зелеными источниками. Существующая модель конечно не идеальная. Они покупают энергию у ветряных или солнечных компаний, потом продают ее поставщикам и у них же покупают снова энергию для операционных нужд. Но это лучше чем ничего 😎.

📖 Блог

Новый фронтир биологических знаний - ESM Metagenomic Atlas

Представьте, что у вас в коробке кусочки от сотни миллионов разных пазлов. Решитесь собрать их?

Тогда вам в метагеномику. Берем образец среды и изучаем генетический материал всего образца (метагеном): какие там белковые структуры, функции и метаболические взаимосвязи.

Функция белка зависит от его структуры, даже если последовательность аминокислот различается. Экспериментально стуркутру определяли с помощью рентгеноструктурного анализа (если повезет вырастить кристалл). Благодаря AlfaFold человечество сделало гигантский шаг вперёд. И посветило фонариком в бездну метагеномные структуры.

Meta создали атлас этих структур с помощью ESMFold, которая предсказывает форму с точностью до атомов непосредственно из представления языковой модели этой последовательности. Точность сравнима с AlfaFold, а инференс на порядок быстрее (от 6 до 60 раз). За 2 недели на 2000 GPU собрали 617 миллионов белков.

#transformers

📖статья
🧩код
🗺атлас

@GingerSpacetail

Друзья! Как вы могли заметить у нас на канале появился второй автор (@GingerSpacetail). В связи с чем прошу вас поддержать канал донатом :)

Всем кто нам помогает отвечу на любой вопрос

Задонатить на Тинькофф
Задонатить на Revolut

В Сан Франсиско появился новый платежный метод - с помощью ладошки. Кто знает детали как это реализовано?

Тут подробнее

Adobe Stock х AI Art

Инсайдерская инфа: Adobe Stock скоро начнёт принимать к продаже изображения сгенерированные нейросетями.

Большой вопрос конечно, нужен ли вообще сток для Stable Diffusion, но думаю что по инерции еще пару лет стоки точно не вымрут.

UPD: решение Adobe будет намного более широким чем Shutterstock

DeepMind раздает стипендии

Искусственный интеллект может стать одним из самых полезных изобретений человечества. Но только если более разнообразное и инклюзивное сообщество поможет его создать.

Можете ли вы стать частью следующего поколения? Начните свой путь с их глобальной стипендиальной программы.

🤩 Подаваться тут

🥖 Поддержать канал

SD обученная на Midjourney

Кто-то обучил Stable Diffusion на картинках сгенерированных Midjourney. И это определенно следующий уровень пост-метаиронии.

На а почему бы и нет? Не только же Грегу Рудковскому страдать от воровства его стилей :)

🦝 Модель
__________________________
🥖 Поддержать канал

Postdoctoral Fellowship in CalTech

The Division of Geological and Planetary Sciences at the California Institute of Technology invites applications for a postdoctoral fellowship in global environmental science beginning in the fall of 2023. The intent of the program is to support innovative and creative early career scientists working in global environmental science, including research in areas such as climate adaptation and mitigation, environmental microbiology, terrestrial and marine biogeochemistry, glaciology, paleo-climatology, atmospheric chemistry and composition, physical oceanography, and climate dynamics. We seek to nurture the careers of exceptional individuals who contribute to a diverse and inclusive scientific workforce.
The fellowship is funded in part by an endowment provided by Foster and Coco Stanback. It carries an annual stipend of $74,000 plus a research expense fund of $10,000 and up to $1,500 for one-way travel costs to Pasadena. The duration of the appointment is normally two years, contingent upon completion of the Ph.D. degree and good progress in the first year. Fellows are eligible to participate in Caltech’s benefit programs, including health and dental programs. The Stanback Fellow will be hosted by one or more division professors (designated by the Chair) who will provide both financial support and mentorship.
To be eligible for the Stanback, candidates should have received their Ph.D. no earlier than April 1, 2022, except in exceptional circumstances.
Materials in support of an application should include curriculum vitae, list of publications, a one-page statement of research interests, and three letters of reference. Complete applications including letters of reference are due by November 11, 2022.

Подаваться тут
#job

Deep Learning with Uncertainty

Ребят, кто в теме, покидайте пожалуйста статьи про DL с Uncertainties (в комменты). Если кому то попадались хорошие видосы про uncertainty в целом (безотносительно DL) тоже кидайте 🦝🦦🐈