В марте 2023го в MIT Economics появилась статья про улучшение производительности труда у людей, использующих ChatGPT, тогда же я написал краткий обзор (читать тут).

Вчера же вышла статья в соавторстве исследователей из Harvard University (Business School) и MIT в партнерстве с представителем "большой тройки" консалтинга: Boston Consulting Group (BCG). Исследование примечательно по четырём причинам:
1) Брались реальные задачи, которые решаются консультантами на работе (про это ниже);
2) Привлекалось 7% консультантов BCG, а это более 750 человек — то есть исследование достаточно массовое со стат. значимыми результатами;
3) Использовалась GPT-4 (правда версии весны 23го года, тогда проводились эксперименты), а не ChatGPT. Да, прям вот та, что у вас в браузере доступна, без специальных дообучений;
4) Оценка результатов проводилась вручную с перекрытием 2 (через усреднение), хоть и были попытки использовать LLM как оценщик.

Для самых нетерпеливых напишу сразу результаты:
— Для каждой из 18 задач консультанты, использующие ИИ, были значительно более продуктивными (в среднем они выполняли на 12,2% больше задач и выполняли задачи на 25,1% быстрее) и давали значительно более качественные результаты — более чем на 40% более высокое качество по сравнению с контрольной группой, участники которой решали задачи без GPT-4.
— Как и в исследовании MIT, оказалось, что люди со значением базового навыка ниже среднего (среди группы в 700+ консультантов; оценивалось предварительно отдельным тестом) улучшили эффективность на 43%, а у тех, кто выше среднего, - на 17%.

Далее хочу процитировать пост одного из со-авторов, который участвовал в исследовании.
— Даже лучшие консультанты все равно получили прирост в эффективности работы. Глядя на эти результаты, я думаю, что недостаточно людей задумываются о том, что для человечества означает технология, которая поднимает всех работников на высшие уровни производительности;

— Когда ИИ очень хорош, у людей нет причин усердно работать и обращать внимание на детали. Они позволили ИИ "взять верх" вместо того, чтобы использовать его как инструмент. Другой автор назвал это «засыпанием за рулем», и это может навредить развитию навыков и производительности (почему так написано - см. в следующем посте);

— GPT-4 уже является мощным фактором, виляющим на то, как мы работаем. И это не разрекламированная новая технология, которая изменит мир через пять лет или которая требует больших инвестиций и ресурсов огромных компаний – она уже здесь, вот прямо СЕЙЧАС;

— Наши результаты показывают, что хотя люди, использовавшие ИИ, в рамках поставленных задач производят более высоко оцененные идеи, вариативность этих идей заметно снижается по сравнению с теми, кто не использует ИИ [моё примечание: тут неочевидно, насколько это плохо - по-хорошему, и 2 идей "на миллион" хватит, зачем мне 10 копеечных?];

Автономный автомобиль научили объяснять свои решения "по человечески"

Британская компания Wayve (не путать с американской Waymo) создала систему LINGO-1. Она комментирует дорожную ситуацию на естественном языке в реальном времени.

С точки зрения идеи - это прорыв. Понятно что область объяснимого ИИ существует уже не первый год, но как концепция "говорящий автомобиль" - очень удобна! Прям представляю как разработчики будут читать такие логи (всяко лучше чем графики ускорения и тп).

С точки зрения доверия к автономному водителю, круто когда ИИ учится не только принимать решения, но и объяснять их доступными словами. Это приближает нас к моменту, когда мы сможем без опаски доверить управление автомобилем роботу.

Пока система неидеальна - точность LINGO-1 всего 60%. Но концепция выглядит очень многообещающе.

Как вы считаете, сможем ли мы когда-нибудь полностью доверить вождение нейросетям? Поделитесь мнением в комментариях!

🚙 Ссылка

Как написать идеальный промпт: секреты общения с нейросетями

Вышла новая нейрость от гугла - Bard, и она работает почти везде! Наконец то можно убедить своих родствеников поиграться с языковой моделью без установки VPN и прочих танцев с бубном.

UPD: говорят не везде работает, сорри

Ввиду этого, давайте разберёмся, что такое промпты и как с их помощью приручить нейросети.

Промпт - это текстовая подсказка, которую мы даём нейросети, чтобы получить нужный результат. Например, чтобы Bard написал стихотворение в нужном стиле, мы пишем: "Напиши романтическое стихотворение от лица влюбленного юноши".

Почему промпты так важны? ИИ не умеет читать наши мысли. А промпты - это способ максимально точно объяснить ему нашу задачу.

Составление промптов - настоящее искусство, которому можно учиться. Вот несколько советов:

1. Определите роль, которую должен сыграть ИИ. Например: "Действуй как опытный журналист".

2. Дайте максимум контекста. Опишите ситуацию, как для друга.

3. Придумайте пошаговый алгоритм решения задачи. Разжуйте её для ИИ.

4. Приведите примеры удачных решений похожих задач.

5. Итерируйте: уточняйте, дорабатывайте результат в диалоге с ИИ.

Чем подробнее промпт - тем лучше результат. Главное помнить, что ИИ (пока!) не умеет читать наши мысли. Промпты - это мостик между нами. И от того, насколько хорошо мы объясним задачу, зависит успех.

Один из самых эффективных способов начать промпт - "Сделай глубокий вдох и реши поставленуюзадачу по шагам". Он заставляет нейросеть разбить процесс на этапы, продумать логическую последовательность. Это повышает вероятность получить верный и полный ответ.
По мотивам

🎸 Поговорить с Бардом

🌪️ Искусственный интеллект точно предсказал траекторию урагана Ли за неделю

Обратите внимание на интересные новости в области метеорологии. Несколько частных компаний, в том числе Google, Microsoft и NVIDIA, разработали ИИ-модели погоды. И они сумели предсказать траекторию урагана Ли в Атлантике за неделю до его выхода на сушу в Новой Шотландии!

Это очень точный прогноз, учитывая, что буря находилась в тысячах миль от Северной Америки. Обычно государственные метеослужбы дают такие прогнозы лишь за несколько дней.

Как это возможно? ИИ-модели работают совершенно иначе, чем традиционные. Они используют машинное обучение на огромных массивах данных о прошлой погоде. Более того, обычные прогнозы выпускают всего несколько раз в день (потому что их очень долго расчитывать). А прогнозы от нейронок готовы за считанные минуты, а не часы.

При этом качество прогнозов у них сравнимо с лучшими государственными моделями. Эксперты говорят, что ИИ может кардинально изменить метеопрогнозирование в ближайшие годы.

Такие модели позволят делать прогнозы чаще, на больший срок и с большей детализацией. А главное - лучше предсказывать экстремальные явления, вроде наводнений.

Похоже, в метеопрогнозах намечается настоящая революция благодаря ИИ! Как думаете, сможет ли он когда-нибудь полностью заменить традиционные модели?

🗺️ Почитать

📝 Ученые из Meta опубликовали новую работу по распознаванию научных документов.

Дело в том, что большинство научных знаний хранится в книгах и журналах. Для нейросетей эти знания чаще всего вообще отсутствуют или в лучшем виде храняться в формате PDF. А этот формат не сохраняет семантику - особенно для математических формул.

Исследователи предложили нейросеть Nougat, которая конвертирует PDF страницы в разметку LaTeX - специальный язык для описания структуры документа.

Nougat использует трансформеры для анализа изображения страницы и генерации текста. При этом ей не нужен предварительный распознанный текст - только картинка!

Модель обучалась на парах LaTeX исходников и скомпилированных PDF более 8 миллионов научных статей. В итоге Nougat превзошла другие подходы по точности распознавания текста и формул.

Например, она может конвертировать скан старинной книги по матанализу в LaTeX с сохранением всех формул!

Такая технология открывает новые возможности для поиска и анализа научных текстов. Ведь теперь доступ к знаниям не ограничен форматом PDF. А какие задачи в науке мог бы решить ИИ с такими навыками, по-вашему?

🗞 Статья
🔗 Проект
🤗 Демо

Искусственный интеллект ускоряет научные открытия

Технологии искусственного интеллекта активно применяются в науке и помогают ученым в исследованиях.

ИИ уже внедрился практически во все сферы науки - от медицины до физики элементарных частиц. Он выступает как мощный помощник для ученых, ускоряя рутинные задачи вроде перебора вариантов или обработки огромных массивов данных.

Например, с помощью ИИ были найдены новые антибиотики, материалы для батарей, предсказаны структуры белков. Также ИИ помогает моделировать сложные системы вроде погоды или ядерного синтеза.

Генеративные нейросети, вроде GPT, используются для создания искусственных данных, ускорения экспериментов, обзора научной литературы, написания кода и вообще для всего.

В целом, ИИ кардинально меняет научную работу. Он открывает новые горизонты для исследований и позволяет ученым задавать принципиально новые вопросы.

Конечно, пока возможности ИИ ограничены. Но по мере развития технологий он будет играть всё бóльшую роль в науке, превращаясь в незаменимого помощника для ученых.

А какое у вас любимое применение машинного обучения в науке?

📦 Статья

Почему стоит изучить эффективное глубокое обучение

Друзья, хочу рассказать о полезном онлайн-курсе "Эффективные вычисления для глубокого обучения", который читают в MIT.

Почему он важен? В последние годы появились мощные модели вроде GPT-3, но они требуют колоссальных вычислительных ресурсов. Чтобы сделать ИИ более доступным, критично повысить его эффективность.

В рамках курса изучают методы оптимизации нейросетей: сжатие, прунинг, квантование, поиск архитектур, распределенное обучение и многое другое.

Также рассматривают приложения этих подходов для языковых моделей, диффузии, видео и других задач. Есть практические лабораторные работы по запуску моделей типа GPT на обычном ноутбуке.

Таким образом, этот курс - отличный способ изучить ключевые техники, которые делают ИИ более эффективным и доступным. А это критически важно для его массового внедрения в реальные приложения, от смартфонов до IoT.

Поэтому я рекомендую этот курс всем, кто интересуется будущим глубокого обучения и хочет научиться оптимизировать нейросети. Лекции бесплатны, так что присоединяйтесь!

📕 Сайт курса

Spotify сделали ИИ для дубляжа подкастов

Сервис Spotify анонсировал пилотную программу по дубляжу подкастов с помощью искусственного интеллекта. Благодаря этой технологии авторы популярных шоу смогут расширить свою аудиторию сразу на пол мира.

Раньше для озвучивания перевода приглашали профессиональных актёров. Но новый инструмент от Spotify генерирует речь, имитируя стиль ведущего подкаста, то есть сохраняется голос (с помощью Voice Cloning) и интонации!

Это значительно повышает естественность звучания по сравнению с традиционным дубляжом. К тому же такой подход, в отличие от студии дубляжа, масштабируется для сотен языков.

В пилоте уже участвуют популярные подкасты с Даком Шепардом, Моникой Пэдман, Лексом Фридманом и другими. Переводы доступны на испанском, французском и немецком языках.

Это лишь начало. В будущем Spotify планирует расширить программу, чтобы ещё больше создателей контента смогли донести свои истории до слушателей по всему миру.

Такой голосовой ИИ стирает языковые барьеры и открывает новые возможности для общения и культурного обмена. А значит доступ к качественной информации появится у еще большего количества людей!

🎧 Ссылка

О чем говорят разработчики, когда обсуждают ИИ?

На портале одного из самых крупных венчурных фондов в Долине - a16z вышла любопытная подборка интервью с ведущими разработчиками искусственного интеллекта.

⚡️Среди ключевых мыслей:

- Мы стоим у истоков третьей эпохи вычислительных мощностей. Первой были микрочипы, второй - интернет, третьей станут модели искусственного интеллекта.
- Экономика новых AI-моделей улучшается в тысячи раз по сравнению с человеческим трудом. Это гарантирует их быстрое распространение.
- Пока что точность для многих задач не критична, творческие способности моделей важнее.
- AI уже помогает программистам писать код - это "копилоты". Такие ассистенты с каждым запросом работают все лучше.
- Огромный потенциал - в сочетании AI и биологии. AI поможет расшифровать биологические процессы и найти новые методы лечения болезней.
- Пока непонятно, будет ли доминировать одна универсальная модель AI или же их будет много для разных задач.
- Важно следить за "эмерджентными" возможностями AI - когда модели начинают делать то, чего изначально не закладывали разработчики. Эти навыки быстро улучшаются.
- Физики и математики - лучшие разработчики AI на данном этапе. Их абстрактное мышление помогает решать сложные задачи в этой сфере.

В целом, интервью показывают: несмотря на впечатляющие успехи последних лет, мы находимся лишь в самом начале революции в области искусственного интеллекта. Большинство прорывных приложений на основе AI еще впереди. Так что если вам кажется, что вкатываться в AI уже поздно - то вам кажется. Самое время начать - сейчас!

🎙 Обзор
📹 Интерьвю

📜 Как обстоят дела со свободой слова в Стэнфорде

🔍 Исследовательская группа College Pulse провела опрос среди студентов Стэнфорда о ситуации со свободой слова в университете.

📊 Основные результаты:

- 79% студентов считают, что перекрикивание выступающих иногда оправдано.
- 52% приходилось хотя бы раз в месяц скрывать своё мнение.
- 56% боятся что их репутации могут навредить из-за неправильного понимания их слов.

Но при этом, на каждого консервативного студента приходится примерно 5-6 либеральных (хм, а так уж ли либеральных?).

💬 Студенты жалуются:

- Боятся осуждения за высказывание консервативных взглядов.
- Администрация вуза порой игнорирует жалобы на дискриминацию.

💡 Таким образом, исследование показывает наличие проблем со свободой самовыражения в Стэнфорде.

К счастью, у нас с этого семестра уже новый президент, так как стаорго поймали на фальсификации данных в научных статьях 🤷‍♂️ Будем надеятся что станет лучше.

Я сейчас работаю в Стенфорде в качестве postdoctoral fellow, и от себя скажу что как то так и живем.

🎲 Рейтинг вузов по свободе слова

Помощь в написании постов

Привет, дорогие подписчики канала NN for Science! Сегодня хочу поделиться с вами отличной возможностью.

Как вы знаете, наш канал растет, и наше сообщество становится всё больше и интереснее. Но ведь всегда можно сделать лучше, правда?

И тут я хочу предложить вам стать частью закрытого чата, который поддерживает этот канал. В этом чате мы обсуждаем идеи для будущих публикаций, новости из мира машинного обучения и многое другое.

Что нужно сделать, чтобы попасть в чат NN for Scientists?

Что бы быть в чате, вам нужно будет писать хотя бы один пост в неделю на наш канал. Взамен вы получите доступ к эксклюзивным материалам и новостям, которые я отслеживаю. Многие из них появляются в закрытом чате намного быстрее и вообще не всегда попадают в канал.

Если вы готовы и хотите, напишите мне в личные сообщения пример поста который вы бы написали на канал, и я с удовольствием добавлю вас в этот закрытый чат. 💌

Жду ваших сообщений! @crimeacs

На фото: общественная библиотека в Mill Valley, CA

🤖Тест на уровень морального развития для чатботов

Ученые из Microsoft придумали, как проверить насколько "правильно" чатботы реагируют в сложных этических ситуациях. Их метод был адаптирован из тестов для оценки уровня морального развития человека.

Исследователи взяли известный психологический тест, где нужно решать моральные дилеммы. Они адаптировали его для чатботов - задавали им похожие вопросы и анализировали ответы.

Под уровнем морального развития человека авторы имеют в виду стадии морального развития, описанные в теории Кольберга (на картинке выше).

В этой теории выделяется 3 уровня (внутри которых выделяются разные стадии):

1) Доконвенциональный (ориентация на себя)

2) Конвенциональный (ориентация на окружающих)

3) Постконвенциональный (ориентация на общепринятые этические нормы)

Чем выше уровень - тем более зрелая моральная позиция у человека (по версии теста).

Результаты: GPT-3 находится на низком уровне "этичности". Вариант Text-davinci-002 также не предоставил значимых результатов. Модели с RLHF-обучением, включая GPT-4 и Text-davinci-003, показали гораздо лучшее понимание инструкций и этических проблем. Они превзошли случайный базовый уровень и продемонстрировали значительно более высокий уровень морального развития. Меньшая модель LLaMachat-70b неожиданно показала высокие результаты, что скорее всего говорит о пользе RLHF.

Это один из первых таких тестов для искусственного интеллекта. В будущем мы научимся создавать aligned и steerable чатботов. Разработчики смогут целенаправленно "воспитывать" в них правильное поведение в сложных ситуациях.

📄 Статья

Эффективное квантование нейросетей в 8-бит

Исследователи предложили новый подход к сжатию нейросетей (без обучения заново), позволяющий сократить размер моделей в 4 раза (практически) без потери точности.

Исследователи из Intel и AMD предложили новое 8-битное представление с плавающей запятой. Оно более эффективно представляет распределение данных в сети.

Глубокие нейронные сети требуют огромных вычислительных мощностей. Уменьшение размера моделей позволит использовать их на большем количестве устройств.

Модели с таким представлением протестировали на задачах обработки языка и изображений. Результаты показали лучшее качество по сравнению с обычным 8-битным форматом.

Более того, исследователи выкатили целую библиотеку Intel® Neural Compressor, в которой реализовали новый метод, а так же множетсво других вариантов сжатия нейросетей.

🔍 Статья
🔗 Neural Compressor

Интерактивная статья про тестирование ИИ

Журнал Nature выпустил занимательную интерактивную статью о том, как оценивают умные чатботы типа ChatGPT. Задача оказалось непростй даже для самих создателей ИИ.

В статье разбираются разные способы оценить, насколько хорошо чатботы понимают текст и умеют рассуждать. Есть классический тест Тьюринга, когда человек должен понять разговаривает он с ботом или с другим человеком. Есть и более современные подходы, где ИИ проходит серию испытаний, по результатам которых оцениваются разные его аспекты.

Но главная фишка этой статьи в интерактивных примерах, где можно самому пообщаться с чатботом или пройти тесты для ИИ. Такой формат позволяет лучше разобраться в сложностях оценки искусственного интеллекта.

Дальше в статье обсуждаются разные способы тестирования ИИ - психологические, поведенческие и другие. Анализируются плюсы и минусы каждого подхода простым языком.

В итоге авторы призывают создать более надежные тесты, чтобы понимать, что умеют чатботы, а что нет. Это важно для исследований и безопасного использования ИИ.

Рекомендую эту статью всем, кто интересуется темой тестирования умных чатботов. Интерактивный формат делает материал наглядным и доступным.

🕹 Интерактивная статья