Тут кто-то из твиттеров запилил семантический поиск по arxiv.org для CS, используя эмбеддинги вместо текста.

Это работает так: сначала были извлечены эмбеддинги из 500к абстрактов используя OpenAI API (что стоило $40). Потом эти эмбеддинги были сохранены в векторную базу данных Pinecone. Далее, когда пользователь вводит текст в поиске, из него также извлекается эмбеддинг через API, а потом производится поиск по базе. Кроме того, сервис позволяет искать похожие статьи. Результаты сортируются по cosine similarity между запросом и статьей (так же выводится в карточках в процентах).

Эмбеддинг - это математическое представление слов или документов в векторном пространстве, где каждое слово или документ представлено в виде вектора. Эти векторы заключают в себе значение и контекст в непрерывном числовом пространстве, что позволяет сравнивать сходство между словами или документами по значению, вычисляя расстояние между их векторами.

👨‍💻 arxivxplorer.com
@karray

Привет с лекции Андрея Карпати в Стенфорде! Приятно осознавать, что еще пару лет назад я слушал его лекции онлайн и даже не думал что смогу ходить на них в живую.

Dream big!

Революционная система прогнозирования погоды на основе искусственного интеллекта генерирует точные прогнозы на 10 дней всего за 60 секунд

Новая система для прогноза погоды GraphCast, разработанная DeepMind, использует машинное обучение (ML) и графовые нейронные сети (GNNs) для создания точных прогнозов погоды на 10 дней всего за 60 секунд. В отличие от традиционных систем численного прогнозирования погоды (NWP), GraphCast может эффективно масштабироваться с увеличением доступности данных.

Процесс моделирования в GraphCast включает три этапа: сначала получают эмбеддинг входных данных с помощью GNN, затем используют глубокую GNN для обработки всех вводных, и, наконец, предсказывают погоду в заданных координатах.

Благодаря этому инновационному подходу GraphCast превосходит существующие модели прогнозирования погоды, обещая произвести революцию в промышленности и улучшить повседневную жизнь людей.

🌪️ Подробнее в статье

Auraloss - лоссы для аудио

Auraloss - коллекция лосс функций, ориентированных на аудио. Эти функции потерь используются в приложениях машинного обучения для работы со звуком.

Эта библиотека может быть полезна для ученых, работающих с аудиоданными и машинным обучением. Ее можно использовать для решения различных задач, таких как распознавание речи, синтез аудио, сжатие аудио и многое другое.

В библиотеке собраны временные, частотные и персептивные лоссы, которые помогают обучать модели с различными характеристиками.

Например, временные лоссы могут быть полезны для обучения моделей, генерирующих или обрабатывающих речевые сигналы, в то время как частотные лоссы лучше подойдут для задач обработки звука, таких как разделение источников звука.

🐙 GitHub

УХ БЛЯ! Наткнулся на нейродебаггер, который исправляет ошибки в коде и объясняет их с помощью GPT-3.

Сам пока не пробовал, вечером посмотрю, но выглядит многообещающе.

Инструмент бесплатный, сайт проекта тут. Там же ссылка на гитхаб и инструкцию по установке

Цифровое клонирование

Re;memory от Deepbrain AI номинирован на премию CES 2023 Innovation Awards. Это поминальная служба, которая воссоздает внешний вид, манеры и голос умершего человека с помощью ИИ.

Сама идея не нова:
- мы недавно писали о похожем стартапе;
- можно поговорить с цифровым Эйнштейном от UneeQ;
- также они буквально предлагают создать цифрового работника;
- GPT3 помогла канадцу пережить утрату невесты.

Тренд очевиден - с развитием больших языковых моделей эта область будет только набирать обороты (астрологи объявили 2023 годом ChatGPT-подобных ботов).. Уже сейчас появляются возможности лицензировать свой образ для использования после смерти, но что делать с людьми, которые жили до появления технологии?

Настанет тот день, когда ИИ станет slightly conscious и тогда нам придется решать вопросы куда сложнее - есть ли права у цифровой личности. Этот вопрос хорошо раскрыт в сериале Чёрное зеркало и проходит красной линией по всем сезонам.

👨‍💻Wiki

@karray

И продолжая предыдущий пост, хочу поделиться другими произведениями о побочных эффектах технологий и тонких гранях между полезностью и деструктивностью:

Альманах - очень интересный проект от русских ютуберов, вдохновленный Черным зеркалом.

The Thirteenth Floor - фильм 1999 года про метавселенную, задолго до того, как это стало трендом (посмотрел фильм благодаря пиратам 90х, которые налепили Матрица на обложку кассеты, спасибо им).

Upload - легкий сериал, где людей загружают в метавселенную после смерти.

Free Guy - комедия 2021 года про NPC, который обрел самосознание.

Это то, что сразу пришло на ум. Делитесь похожими фильмами в коменнтах

@karray

Point Cloud Utils - мощная и простая в использовании библиотека Python для работы с 3D облаками точек и сетками.

Point Cloud Utils - это ценный инструмент для ученых. Работаете ли вы в области геологии, археологии, палеонтологии, гидродинамики, метеорологии, материаловедения, компьютерного зрения или робототехники, Point Cloud Utils поможет вам эффективно обрабатывать и анализировать 3D-данные.

Point Cloud Utils умеет работать с различными форматами файлов, что упрощает импорт и экспорт данных из различных источников. Это может быть особенно полезно для ученых в таких областях, как геология, археология и палеонтология, которые часто работают с 3D-данными из различных источников, таких как лидарное сканирование, компьютерная томография и фотограмметрия.

Кроме того, Point Cloud Utils предоставляет широкий спектр метрик для сравнения облаков точек, таких как расстояние Хаусдорфа, что может быть полезно для ученых которым часто необходимо сравнивать 3D-данные из разных источников.

🐍 ссылка

Риски использования языковых моделей для дезинформации

OpenAI и Stanford Internet Observatory в преддверии потенциальной интеграции ChatGPT в Microsoft Office, Bing и Outlook предупреждают, что с LLM пропагандистов станет больше, а кампании могут стать даже персонализированными.

Антидоты (и "но"):
🛠 факт-чувствительные модели (технически открытый вопрос),
🛠 радиоактивные данные (не ясно, сработает ли, как для изображений),
🏛ограничения на сбор данных (так мы можем не увидеть🍿битву терминаторов)
🏛ограничения на ресурсы (риск геополитической эскалации)
🏛ограничения на использование LLM (непокорный open source)
🏛ограничения на релиз моделей (помним рэп-батл между OpenAI и StabilityAI)
🚩меченый ИИ контент (но синтетический НЕ= ложный)
🚩распределенная human проверка
🚩стандарты цифрового происхождения
💡модели, помогающие проверять источники, выявлять манипуляции и предоставлять контекст и критику (целая область исследования)
💡медийная грамотность

Что ж, факт-чек теперь как чистка зубов

📖Статья
@GingerSpacetail

​​ClimateLearn библиотека для работы с климатическими моделями машинного обучения

Приветики. Сейчас машинное обучение где только не используется, в том числе и в прогнозе климатических моделей. Зачастую, их применение без понимания физики процессов со стороны ИИ сообщества, приводит к неоднозначным результатам. Аналогично, результаты могут быть восприняты сомнительно, если климатологи не разбираются в архитектурах моделей и налаживании конвейера данных. В общем пока что, как я понимаю, "дикий запад". Чтобы как-то стандартизировать и упорядочить вычислительные подходы для климатических прогнозов, ученые из Калифорнийского Университета в Лос Анджелесе (UCLA) представили на известной конференции NeurIPS библиотеку ClimateLearn.

Библиотека, основанная на PyTorch (фреймворк для машинного обучения от Meta AI) предоставляет доступ к:
✅ Наборам климатических данных
✅ Моделям машинного обучения (пока только ResNet, U-net и ViT) для прогноза климатических свойств
✅ Климатическим метрикам для сравнения производительности моделей
✅ Легкой визуализации результатов

В будущем авторы планируют добавить вероятностные подходы и модные нынче диффузионные модели. Сейчас можно поиграться в гугл колабе.
Круто! Хотелось бы чтобы подобные истории начали появляться для геологии, геофизики и петрофизики. Кажется Руслан Мифтахов, инициировал что-то подобное.

Библиотека 📚
Гугл Колаб 💻
Гитхаб 💾
Блог 📖

🤯 Полное отслеживание тела теперь возможно с помощью сигналов WiFi

Глубокая нейронная сеть сопоставляет фазу и амплитуду сигналов WiFi с метками на человеческом теле

Модель может оценить позу нескольких субъектов, используя сигналы WiFi в качестве единственного входного сигнала.

Исследование показывает, что сигналы WiFi могут служить повсеместной заменой RGB-изображений для восприятия человека.

Освещенность и окклюзия практически не влияют на WiFi.

🤖 Статья

Поддержать канал и поставить эмоджи это очень приятно! Но еще приятнее отправить нам донат 🍩

мы на них себе покупаем разные ништяки, например я оплачиваю психотерапевта, @GingerSpacetail покупает хурму в любое время года, а @karray наверняка себя чем то балует, но нам не признается.

Так что непоскупитесь уж вашим спонсорам разговоров у кулера 😀

Поддержите канал по ссылке выше

Опенсорсный интерфейс Мозг-Компьютер

Интерфейсы мозг-компьютер (BCI) - это системы, обеспечивающие прямую связь между мозгом и компьютером. Эти интерфейсы используют электрофизиологические сигналы мозга, такие как ЭЭГ, для управления внешними устройствами или связи с компьютером.

BCI потенциально могут революционизировать способы взаимодействия с технологиями и имеют широкий спектр применения - от помощи людям с ограниченными возможностями до управления протезами конечностей и даже игр. Они также могут быть использованы в научных исследованиях для лучшего понимания мозга и разработки новых методов лечения неврологических расстройств.

Уникальным аспектом openBCI, является то, что в нем используются недорогие электроды ЭЭГ по цене от $499,99. Это делает его более доступным для использования исследователями и частными лицами и может демократизировать область BCI.

Мне кажется что, OpenBCI может значительно подстегнуть исследования в этой области, кто такой себе не захочет?

Сайт проекта

В Мета разработали "Balance": Python библиотеку для корректировки выборок данных, содержащих смещения (баесы).

В исследованиях и науке о данных мы часто сталкиваемся с необъективными данными (например предвзятые опросники). Обучение ML-моделей на таких данных может привести к ошибочным оценкам или некачественным моделям (баес на входе - баес на выходе).

Balance включает в себя простую структуру для взвешивания данных и оценки их смещения. Он разработан для обеспечения лучших практик подбора весов и предлагает несколько подходов к моделированию. Пакет уже поддерживает текущую автоматизированную обработку данных опросов в Мета и специальный анализ данных опросов, проводимый исследователями каждый месяц.

🌋 Инструмент тут

Расшифровка любого видео за минуты!

Нас никто не просил, но мы запили для вас небольшое демо, которое позволяет распознать речь на одном из 99 языков, определить говорящих (говорун 1, говорун 2, говорун 3) и перевести текст на выбранный язык.

Под капотом несколько библиотек:
denoiser - для удаления всего постороннего из аудио, кроме речи;
pyannote - для определения говорящего;
Whisper - то, где происходит вся магия.

Про Whisper мы уже писали - она может не только автоматически распознать язык и речь, но и может перевести текст на один из 99 языков. Интересно, что перевод на любой язык не был заявлен официально - в ходе экспериментов с моделью я случайно наткнулся на эту возможность. В репозитории лишь сказано, что она может переводить один из языков на английский. Качество распознавания и особенно перевода сильно зависит от языка (на этой диаграмме показано сравнение)

📖 Colab Ноутбук
@karray

The Artificial Intelligence (AI) Residency Program

У Меты есть годовая программа AI Residency, на которой к вам приставят опытного ментора из числа ресерчеров, вы будете импелементить идеи и работать над научными публикациями и open-source проектами. То есть вас будут учить работе исследователя. Бэкраунгд в AI и Deep Learning не обязателен, но нужно иметь техническое образование.

Колобочки, это, кажется, лучшая возможность для тех, кто закончил бакалавриат или магу и хочет серьезно вкатиться в AI. По сути это своеобразные подготовительные курсы перед поступлением на профильное PhD. Если бы я знал в свое время о существовании таких программ, я бы точно не упустил ни одной возможности.

Подозреваю, что конкурс там будет не маленький, но я все равно рекомендую всем заинтересованным отправлять свои заявки.

Подать на программу в США можно тут до вечера 24 января.

@ai_newz

Самый горячий язык программирования в 2023 году - английский. Чем больше и эффективнее становиться языковые модели - тем больше функций бекэнда они на себя принимают. Думаю что в этом году парадигма No Code окончательно поменяет свой смысл.

Какие самые интересные применения LLM вы видели?

Классный Twitter-тред про то что такое, и как работают эмбеддинги в больших языковых моделях (LLM)