Эффективное квантование нейросетей в 8-бит

Исследователи предложили новый подход к сжатию нейросетей (без обучения заново), позволяющий сократить размер моделей в 4 раза (практически) без потери точности.

Исследователи из Intel и AMD предложили новое 8-битное представление с плавающей запятой. Оно более эффективно представляет распределение данных в сети.

Глубокие нейронные сети требуют огромных вычислительных мощностей. Уменьшение размера моделей позволит использовать их на большем количестве устройств.

Модели с таким представлением протестировали на задачах обработки языка и изображений. Результаты показали лучшее качество по сравнению с обычным 8-битным форматом.

Более того, исследователи выкатили целую библиотеку Intel® Neural Compressor, в которой реализовали новый метод, а так же множетсво других вариантов сжатия нейросетей.

🔍 Статья
🔗 Neural Compressor

Интерактивная статья про тестирование ИИ

Журнал Nature выпустил занимательную интерактивную статью о том, как оценивают умные чатботы типа ChatGPT. Задача оказалось непростй даже для самих создателей ИИ.

В статье разбираются разные способы оценить, насколько хорошо чатботы понимают текст и умеют рассуждать. Есть классический тест Тьюринга, когда человек должен понять разговаривает он с ботом или с другим человеком. Есть и более современные подходы, где ИИ проходит серию испытаний, по результатам которых оцениваются разные его аспекты.

Но главная фишка этой статьи в интерактивных примерах, где можно самому пообщаться с чатботом или пройти тесты для ИИ. Такой формат позволяет лучше разобраться в сложностях оценки искусственного интеллекта.

Дальше в статье обсуждаются разные способы тестирования ИИ - психологические, поведенческие и другие. Анализируются плюсы и минусы каждого подхода простым языком.

В итоге авторы призывают создать более надежные тесты, чтобы понимать, что умеют чатботы, а что нет. Это важно для исследований и безопасного использования ИИ.

Рекомендую эту статью всем, кто интересуется темой тестирования умных чатботов. Интерактивный формат делает материал наглядным и доступным.

🕹 Интерактивная статья

Краткий обзор анонсированных на конференции MetaConnect2023 новых продуктов и исследований в области AI от компании Meta:

На MetaConnect2023 был представлен ряд новых продуктов, опирающихся на последние достижения в области искусственного интеллекта.

В частности, были анонсированы следующие AI-модели и исследования:

- Llama 2 - открытая модель для диалоговых систем

- Emu - генеративная нейросеть для картинок

- Масштабируемые контекстные модели для диалоговых систем

- Code Llama - генерация и обсуждение кода

- Segment Anything - сегментация изображений для Instagram

Эти разработки лягут в основу таких продуктов Meta, как виртуальные персонажи, стикеры и фильтры в Instagram, умный помощник и др.

Более подробно ознакомиться с этими исследованиями можно по ссылкам в посте. Интересно то, что после всех лет и инвестиций в исследования, Meta наконец то заходит в продакшен, и то ли еще будет!

Партнёрство Cloudflare и Hugging Face

Cloudflare объявило о начале партнёрства с Hugging Face с целью сделать модели ИИ более доступными для разработчиков.


Что обещают? 👀

-В Hugging Face появятся безсерверные модели GPU без инфраструктурных "костылей" и оплат за неиспользуемые мощности. Просто выберите свою модель и работайте.

-Модели Hugging Face появятся в каталоге моделей Cloudflare

-Интеграционные инструменты Cloudflare станут частью Hugging Face Inference


Разработчики, использующие платформу Cloudflare, вскоре смогут развертывать модели Hugging Face прямо с панели управления Cloudflare, а те, кто использует Hugging Face, смогут развертывать модели непосредственно в Workers AI.

🤗 Блог

Как использовать машинное обучение для оптимального размещения климатических датчиков

Ученые из Великобритании разработали умный алгоритм, который может подсказать, где лучше всего разместить датчики для мониторинга климата в Антарктике.

Эта труднодоступная область очень важна для понимания изменений климата, но сеть наблюдений там очень редкая. А установка каждой новой станции обходится дорого.

Чтобы оптимизировать размещение датчиков, ученые использовали метод машинного обучения - convolutional Gaussian neural process.

Модель проанализировала огромные массивы спутниковых данных об Антарктике, чтобы научиться предсказывать температуру в разных точках континента.

Затем алгоритм моделировал, как новые измерения в тех или иных местах уточнят его предсказания. Так он выявлял самые информативные точки для размещения датчиков.

В результате модель значительно превзошла другие методы в выборе оптимальных локаций. Это позволит лучше понимать климатические изменения в Антарктике и экономить на развертывании сенсорной сети (а еще этот подход отлично транслируется на другие типы датчиков и локаций).

Такой подход - первый шаг к созданию "цифровых двойников" природы. Модели на основе ИИ смогут направлять сбор данных об окружающей среде, чтобы максимально точно её отображать.

🗺️ Статья
🥸 Выступление
🌪️ Код

Yandex ML Prize

Яндекс объявил о старте приема заявок на ежегодную премию в области машинного обучения – Yandex ML Prize.

Премия присуждается ученым и преподавателям из 11 стран за вклад в развитие таких направлений как компьютерное зрение, обработка естественного языка, поиск информации и др.

В премии открыто 5 номинаций:
- Для молодых исследователей (студентов)
- Для научных руководителей
- Для преподавателей в сфере ML
- За лучшую первую научную публикацию
- Для сотрудников Яндекса

Лауреаты получат денежные премии от 500 000 рублей до миллиона, а также доступ к сервисам Яндекса для научной работы.

Подать заявку можно до 16 октября. Победители будут объявлены в декабре.

Это хорошая возможность для исследователей, их наставников и преподавателей получить признание и поддержку для дальнейших исследований в области ML.

#премии_и_гранты

🌎#ии
кол-во дискуссий ИИ на конференц-звонках компаний после отчетностей — BBG

хайповый рост в 2023г

Как в Microsoft видят будущее AI: итоги встречи с их Chief Scientist

Немножко гонзо журналистики Вам в ленту. Только что вышел с доклада Джейми Тиван, Chief Scientist в Microsoft, отвечающей за исследования в области AI. Вот основные тезисы из того что она рассказала:

- Microsoft в целом считает себя "документной компанией" и стремится облегчить людям работу с документами. В частности, они проанализировали огромное количество диалогов сотрудников компаний в период пандемии (которые стали общаться больше из-за удаленки), чтобы понять реальные потребности пользователей.

- По мнению Джейми, хотя модели вроде GPT пока не могут полноценно заменить человека, они отлично справляются с генерацией идей и взглядов с новых ракурсов. Джейми видит потенциал ИИ в автоматизации рутинных задач, чтобы люди могли заниматься более ценной деятельностью.

- Также было отмечено, что в отличие от физических систем вроде автопилотов, развитие ИИ в сфере программного обеспечения для совместной работы практически ничем не ограничено. По мнению Джейми, ИИ - это инструмент повышения производительности, а не угроза замены людей.

- Кроме того, ИИ активно применяется в медицинской сфере, которая составляет 18% ВВП США - например, для автоматизированного анализа снимков или ведения историй болезни. Джейми убеждена в неизбежности и пользе масштабирования возможностей ИИ.

- Microsoft также активно работает над ответственным управлением данными в ИИ - они хотят применить свой успешный опыт облаков в этой сфере (а в облака они реально умеют, у них хостятся правительства стран и даже армия).

В целом, встреча еще раз убедила меня в серьезности намерений Microsoft внедрять ИИ в самых разных областях для повышения эффективности и создания новой потребительской ценности.

OpenAI рассматривает возможность производства собственных чипов для ИИ

Генеральный директор Сэм Альтман сделал приобретение необходимого количества чипов ИИ главным приоритетом для развития компании. Он уже публично сетовал на нехватку графических процессоров, на рынке которых доминирует Nvidia.

Использование ChatGPT обходится компании очень дорого. Согласно анализу аналитика Bernstein Стейси Расгон, каждый запрос стоит примерно 4 цента. Если запросы ChatGPT вырастут в десятую часть масштаба поиска Google, для поддержания работоспособности потребуется изначально графических процессоров примерно на 48,1 миллиарда долларов и чипов на сумму около 16 миллиардов долларов в год 💸

Пока неясно, будет ли OpenAI реализовывать план по созданию собственного чипа или купит технологии на рынке, как это произошло с Amazon.com и приобретением Annapurna Labs в 2015 году 👀

🌐 Статья

Одна из лучших визуализаций работы нейросетей для генерации текста

Наткнулся на классную статью из Financial Times, которая наглядно и доступно объясняет принцип работы нейросетей, генерирующих текст и изображения (трансформеры).

Это, пожалуй, одна из лучших визуализаций, которые я видел на эту тему. С помощью инфографики и примеров статья доходчиво объясняет ключевые концепции: как нейросеть кодирует слова, использует внимание для улавливания контекста, генерирует текст.

Всё изложено максимально просто и наглядно. Теперь даже новичок сможет за 5 минут понять, как устроены трансформеры, большие языковые модели и прочие нейросети нового поколения.

Конечно, визуализация не заменит глубокого погружения в тему. Но эта интерактивная статья - отличная стартовая точка, чтобы получить базовое представление об устройстве нейронных сетей для обработки естественного языка. Рекомендую к прочтению!

Ссылка

Unlearning in AI and EMDR: Conceptual Parallels and Distinctions

The technique described by Microsoft researchers to make AI "forget" copyrighted material, conceptually intriguing. The method bears a resemblance to the therapeutic approach of EMDR, a recognized treatment for trauma.

Conceptual Similarities:

Targeted Erasure: Just as the researchers aim to erase specific knowledge (e.g., Harry Potter content) from the AI model, EMDR targets specific traumatic memories in patients, aiming to desensitize their emotional charge.

Fine-tuning: The AI technique involves fine-tuning the model to effectively erase specific content. Similarly, EMDR involves a structured eight-phase approach, where the therapist fine-tunes the process based on the patient's responses.

Adaptability: The AI's ability to adapt and "unlearn" mirrors the brain's plasticity, where neural pathways can be restructured, especially when traumatic memories are reprocessed in EMDR.

Differences:

Mechanism: While the AI technique employs a three-part method involving training on target data, replacing unique expressions, and fine-tuning on alternative predictions, EMDR uses bilateral stimulation (often in the form of guided eye movements) to help patients process traumatic memories.

Objective: The primary goal for AI is to ensure copyright compliance and adaptability. In contrast, EMDR aims to alleviate distress from traumatic memories and promote psychological healing.

Complexity: Human emotions and memories are multifaceted, with deep-rooted connections to various life experiences. AI models, although complex, operate on data and algorithms without the emotional depth inherent in human cognition.

In conclusion, while the conceptual framework of "unlearning" or "forgetting" is present in both the AI technique and EMDR, the underlying mechanisms, objectives, and complexities differ. It's fascinating to observe how principles of neuroscience and psychology can find echoes in the realm of artificial intelligence.

https://venturebeat.com/ai/researchers-turn-to-harry-potter-to-make-ai-forget-about-copyright-material/

Как "стереть" из ИИ знания о Гарри Поттере

Для тех кто ничего не понял в предыдущем посте.

Исследователи из Microsoft предложили способ "стирать" конкретную информацию из обученных языковых моделей, не переобучая их заново.

Они протестировали свой метод на модели Llama 2-7B от Meta, "стерев" из неё все знания о книгах и персонажах Гарри Поттера. Для этого потребовалось всего около 1 часа дополнительной тренировки модели.

Авторы разработали трёхэтапную технику:

1. Обучили вспомогательную модель выделять токены, связанные с Гарри Поттером.

2. Заменили уникальные выражения обобщёнными, имитируя модель без этих знаний.

3. Дотренировали основную модель на этих заменённых данных.

В итоге модель разучилась обсуждать детали сюжета и персонажей Гарри Поттера, но сохранила общие способности.

Это важный шаг к созданию гибких языковых моделей, которые можно адаптировать под меняющиеся требования. В будущем такие методы помогут делать ИИ более ответственным и соответствующим законам об авторских правах.

Ссылка