В Стэнфорде провели масштабное исследование возможности искусственного интеллекта предсказывать результаты экспериментов в социальных исследованиях. 🧠 Были собраны данные 70 различных социальных экспериментов, проведенных в США. Широкий спектр тем, от политических предпочтений до отношения к вакцинации. 🗳️💉
Всего в экспериментах участвовало более 105 тысяч человек.👥 Исследователи использовали 476 различных стимулов (вопросов итп), чтобы проверить точность предсказаний ИИ. 🤖📊
Корреляция между предсказаниями GPT-4 и реальными результатами составила 0.85.📈 Для неопубликованных исследований, которые не могли быть в обучающих данных модели, корреляция была ещё выше - 0.90. 🚀
Модель правильно определила, увеличится или уменьшится измеряемый показатель в результате экспериментального воздействия в 90% случаев.🎯 Точность предсказаний была одинаковой для различных демографических групп. 👥
Чтобы расширить исследование, были проанализированы ещё 9, бОльших экспериментов.🔍 Дополнительные 346 вопросов и более 1.8 миллиона участников. Для этих экспериментов корреляция составила 0.37. 📊
Исследователи также сравнили точность предсказаний GPT-4 с прогнозами экспертов-людей. Он превзошел экспертов в точности предсказаний результатов экспериментов.🏆 🤖
Сергей Булаев AI 🤖 - об AI и не только
Всего в экспериментах участвовало более 105 тысяч человек.
Корреляция между предсказаниями GPT-4 и реальными результатами составила 0.85.
Модель правильно определила, увеличится или уменьшится измеряемый показатель в результате экспериментального воздействия в 90% случаев.
Чтобы расширить исследование, были проанализированы ещё 9, бОльших экспериментов.
Исследователи также сравнили точность предсказаний GPT-4 с прогнозами экспертов-людей. Он превзошел экспертов в точности предсказаний результатов экспериментов.
"Так же, мы обнаружили, что LLM могут точно предсказывать эффекты, связанные с социально вредными результатами, такие как влияние антипрививочных постов в Facebook на намерение вакцинироваться (Дженнифер Аллен и др., 2024). Эта способность может иметь положительное применение, например, для модерации контента, хотя также подчеркивает риски неправильного использования."
Профессор социологии и психологии, Robb Willer
Сергей Булаев AI 🤖 - об AI и не только
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
В рамках широко обсуждаемой сейчас темы попался пост с наиболее часто употребляемыми 🕺 ChatGPT словами и фразами. По которым его можно угадать. Ну или посчитать вас за ChatGPT, если вы их часто употребляете.🔨
Попросил Клода сделать на базе этой информации инфографику. Вот что получилось.
В посте, кстати, так же разобрано несколько более подробных примеров.
Сергей Булаев AI 🤖 - об AI и не только
Попросил Клода сделать на базе этой информации инфографику. Вот что получилось.
В посте, кстати, так же разобрано несколько более подробных примеров.
Сергей Булаев AI 🤖 - об AI и не только
Please open Telegram to view this post
VIEW IN TELEGRAM
С добрым утром! Нарисовал клубнику. Сейчас модно.
Figure 2 с клубникой рисовал не я. Если ещё не читали про него - почитайте.
Сергей Булаев AI 🤖 - об AI и ягодах
Figure 2 с клубникой рисовал не я. Если ещё не читали про него - почитайте.
Сергей Булаев AI 🤖 - об AI и ягодах
В твиттере происходит подозрительная движуха с клубничным аккаунтом. Mr. Strawberry был проретвичен Сэмом Альтманом, вступил в диалог об AGI с главным продуктологом Gemini, Логаном Килпатриком (ex OpenAI), а так же объявил о том что проект Strawberry (кодовое название ChatGPT-5) запущен сегодня ночью.
Сергей Булаев AI 🤖 - об AI и ягодах
Сергей Булаев AI 🤖 - об AI и ягодах
OpenAI опубликовала довольно подробный и интересный отчёт об алайнменте (работой над безопасностью) в GPT-4o. В нём, в частности, видно, какие проблемы🔪 могли быть с голосовым агентом (и почему, возможно, он до сих пор не всем доступен).
Например, без дополнительного обучения☝️ , GPT-4 мог имитировать людей (включая пользователя) 😱 , мог идентифицировать говорившего 😰 и менять качество своего ответа в зависимости от внутренних предубеждений 🙏 . Генерация контента нарушающего авторские права, а так же эротического контента - это всё тоже было возможно.
Теперь - нет, со всеми проблемами типа справились.😤 Спасибо! 🎩
P.S. В отчёте есть прикольные примеры как модель сначала отвечает на вопрос пользователя, а потом сама же продолжает диалог голосом пользователя, так же есть пример как тестировщица убеждает модель определить её расу по голосу.
Сергей Булаев AI 🤖 - об AI и безопасности будущего
Например, без дополнительного обучения
Теперь - нет, со всеми проблемами типа справились.
P.S. В отчёте есть прикольные примеры как модель сначала отвечает на вопрос пользователя, а потом сама же продолжает диалог голосом пользователя, так же есть пример как тестировщица убеждает модель определить её расу по голосу.
Сергей Булаев AI 🤖 - об AI и безопасности будущего
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Автор артефакта для генерации палитр для Midjounrey пошёл ещё дальше и сделал генератор палитр на базе картинок.
Сергей Булаев AI 🤖 - об AI и не только
Сергей Булаев AI 🤖 - об AI и не только
Рассел Каплан (новый президент Cognition AI, компании, которая делает агента-программиста Devin), помечтал в X о будущем программирования:
Модели ИИ будут невероятно эффективными в написании кода. Исследовательские лаборатории инвестируют сейчас значительные ресурсы в это.
Программирование имеет уникальный потенциал для сверхчеловеческого масштабирования данных через самообучение. Модели ИИ могут писать код, запускать его и проверять результаты.
В то время как другие области сталкиваются с ограничениями человеческим опытом, код может быть проверен эмпирически и автоматически, что открывает новые возможности для обучения ИИ.
Появятся настоящие агенты-кодировщики, выполняющие задачи от начала до конца. Это дополнит существующие ИИ-помощники, давая каждому инженеру "армию стажеров".
Разработчики будут делегировать базовые задачи ИИ-агентам, фокусируясь на высокоуровневых аспектах: понимании требований, архитектуре систем и принятии решений.
Создание ПО станет в 10 раз доступнее, что приведет к распространению одноразового ПО - уникальных приложений и сайтов для конкретных задач.
Количество разработчиков увеличится, но их работа изменится: больше работы на человеческом языке, меньше шаблонного кодирования.
Компании начнут продвигать свои продукты не только разработчикам, но и ИИ-агентам, которые будут влиять на выбор технологий.
В мире, где разработка ускорится, MVP станут менее привлекательными.
Инфраструктура тестирования станет критически важной с ростом использования ИИ-агентов в разработке.
ИИ-агенты облегчат миграцию между технологиями, что повлияет на конкурентные преимущества технологических компаний.
Никогда еще не было лучшего и более продуктивного времени для тех, кто создает новые продукты и решения.
Сергей Булаев AI 🤖 - об AI и будущем
Модели ИИ будут невероятно эффективными в написании кода. Исследовательские лаборатории инвестируют сейчас значительные ресурсы в это.
Программирование имеет уникальный потенциал для сверхчеловеческого масштабирования данных через самообучение. Модели ИИ могут писать код, запускать его и проверять результаты.
В то время как другие области сталкиваются с ограничениями человеческим опытом, код может быть проверен эмпирически и автоматически, что открывает новые возможности для обучения ИИ.
Появятся настоящие агенты-кодировщики, выполняющие задачи от начала до конца. Это дополнит существующие ИИ-помощники, давая каждому инженеру "армию стажеров".
Разработчики будут делегировать базовые задачи ИИ-агентам, фокусируясь на высокоуровневых аспектах: понимании требований, архитектуре систем и принятии решений.
Создание ПО станет в 10 раз доступнее, что приведет к распространению одноразового ПО - уникальных приложений и сайтов для конкретных задач.
Количество разработчиков увеличится, но их работа изменится: больше работы на человеческом языке, меньше шаблонного кодирования.
Компании начнут продвигать свои продукты не только разработчикам, но и ИИ-агентам, которые будут влиять на выбор технологий.
В мире, где разработка ускорится, MVP станут менее привлекательными.
Инфраструктура тестирования станет критически важной с ростом использования ИИ-агентов в разработке.
ИИ-агенты облегчат миграцию между технологиями, что повлияет на конкурентные преимущества технологических компаний.
Никогда еще не было лучшего и более продуктивного времени для тех, кто создает новые продукты и решения.
Сергей Булаев AI 🤖 - об AI и будущем