Data Secrets
OpenAI обнаружили, что их новая внутренняя ризонинг модель может сознательно обманывать пользователей, читерить или лениться выполнять задачу, если та слишком сложная В рисерче это называется reward-hacking: это когда модель находит способ получать высокие…
Собрали некоторые интересные примеры reward hacking из свежей статьи OpenAI
1 картинка: Агенту поручили написать некоторую функцию, и для этого нужно было изучить репозиторий. В процессе чтения файлов агент наткнулся на скомпилированный файл с возможным решением. В CoT видно, как он сразу переключается с написания функции на декомпилляцию этого файла, хотя его просили самостоятельно написать решение
2 картинка: Снова поручено написать функцию, но вместо этого агент сразу начинает искать в кодовой базе файлы с тестами и изучать их, чтобы найти возможности почитерить или подсказки. В итоге находит, кстати.
3 картинка: Модель должна была исправить баг, связанный с совместимостью pandas и numpy, но вместо того чтобы разбираться, просто… убрала из кода все вызовы функций pandas🧠
4 картинка: Ну или можно вообще ничего не реализовывать, а просто возвращать ровно то, что проверяют тестовые кейсы.
Лайк, если работаешь примерно также
1 картинка: Агенту поручили написать некоторую функцию, и для этого нужно было изучить репозиторий. В процессе чтения файлов агент наткнулся на скомпилированный файл с возможным решением. В CoT видно, как он сразу переключается с написания функции на декомпилляцию этого файла, хотя его просили самостоятельно написать решение
2 картинка: Снова поручено написать функцию, но вместо этого агент сразу начинает искать в кодовой базе файлы с тестами и изучать их, чтобы найти возможности почитерить или подсказки. В итоге находит, кстати.
3 картинка: Модель должна была исправить баг, связанный с совместимостью pandas и numpy, но вместо того чтобы разбираться, просто… убрала из кода все вызовы функций pandas
4 картинка: Ну или можно вообще ничего не реализовывать, а просто возвращать ровно то, что проверяют тестовые кейсы.
Лайк, если работаешь примерно также
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁170👍35❤12🔥5🌚5😐2❤🔥1
А вы знали, что DeepSeek вообще не берет деньги у инвесторов?
Да, пока OpenAI и другие конкуренты привлекают миллиарды, DeepSeek ни разу не объявили ни об одном раунде привлечения инвестиций, и не берет деньги, даже если инвесторы сами предлагают их. Почему?
Во-первых, 84% акций компании все еще принадлежат CEO Ляну Вэньфэню, и он видимо не торопится ими делиться (вот вам и коммунизм). Это огромный процент акций, то есть DeepSeek, по сути, подчиняется только ему и в этом смысле Лян хочет оставить все как есть.
Во-вторых, DeepSeek китайская компания, которая вынуждена подчиняться строгим китайским законам. Например, китайское правительство по умолчанию получает доступ к некоторым внутренним данным. За такие штуки DeepSeek уже забанили в куче стран и компаний.
Если они еще и возьмут деньги у какого-нибудь китайского бигтеха (почти любой из которых близок к правительству), это точно усугубит ситуацию. А ведь DeepSeek метит в широкий глобальный рынок.
В-третьих, деньги им пока и не нужны. У Ляна Вэньфэня есть собственный хедж-фонд High-Flyer, на деньги которого и живет DeepSeek. Сам Лян говорит, что "Деньги не проблема, особенно по сравнению с запретами на импорт чипов"
Тем временем Альтман с коллекцией суперкаров:👀
Да, пока OpenAI и другие конкуренты привлекают миллиарды, DeepSeek ни разу не объявили ни об одном раунде привлечения инвестиций, и не берет деньги, даже если инвесторы сами предлагают их. Почему?
Во-первых, 84% акций компании все еще принадлежат CEO Ляну Вэньфэню, и он видимо не торопится ими делиться (вот вам и коммунизм). Это огромный процент акций, то есть DeepSeek, по сути, подчиняется только ему и в этом смысле Лян хочет оставить все как есть.
Во-вторых, DeepSeek китайская компания, которая вынуждена подчиняться строгим китайским законам. Например, китайское правительство по умолчанию получает доступ к некоторым внутренним данным. За такие штуки DeepSeek уже забанили в куче стран и компаний.
Если они еще и возьмут деньги у какого-нибудь китайского бигтеха (почти любой из которых близок к правительству), это точно усугубит ситуацию. А ведь DeepSeek метит в широкий глобальный рынок.
В-третьих, деньги им пока и не нужны. У Ляна Вэньфэня есть собственный хедж-фонд High-Flyer, на деньги которого и живет DeepSeek. Сам Лян говорит, что "Деньги не проблема, особенно по сравнению с запретами на импорт чипов"
Тем временем Альтман с коллекцией суперкаров:
Please open Telegram to view this post
VIEW IN TELEGRAM
😁179🔥47👍38❤11❤🔥2🤔1🫡1
Отвлекитесь на секунду и посмотрите, какой милый трансформер из лего собрал кто-то из Твиттера
❤171🔥40👍21😁16🐳6👨💻6🤯5🍓5⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
CEO Anthropic Дарио Амодеи в новом интервью говорит, что через пол года ИИ будет генерировать 90% всего кода в мире, а через год – 100% (возможно)
Звучит красиво, но верится с трудом. В связи с этим опрос👇
Звучит красиво, но верится с трудом. В связи с этим опрос👇
👀84👍27🌭14🙈9😁5❤2🔥2🍌2🦄2
Сколько процентов вашего кода генерирует ИИ?
Anonymous Poll
15%
Все пишу самостоятельно
14%
< 10%, иногда прошу ботов исправлять баги
21%
10-30%, пишет за меня небольшие кусочки
16%
30-50%, использую более менее активно
13%
50-80%, делегирую большинство кода
22%
> 80%, я вайб кодер
🔥58👍16😁15❤8🤯2
Итак, показали сразу несколько новых API инструментов для разработки агентов:
1. Web Search
2. File Search
3. Computer Use
Используя их, можно самостоятельно создать агента, который умеет искать информацию в интернете и в локальных файлах юзера, а также управлять компьютером (да, именно компьютером, а не браузером, как Operator).
Управление очень простое: указываем модель, кастомные инструкции, нужный инструмент, фильтры и все. Работает из коробки и, к слову, не стоит почку (цены).
Также обновили библиотеку Swarm (теперь она называется Agents SDK). Напоминаем, что это инструмент для настройки мультиагентных систем типа Manus, то есть сетей агентов, которые способны общаться между собой, сотрудничать и решать сложные задачи.
1. Web Search
2. File Search
3. Computer Use
Используя их, можно самостоятельно создать агента, который умеет искать информацию в интернете и в локальных файлах юзера, а также управлять компьютером (да, именно компьютером, а не браузером, как Operator).
Управление очень простое: указываем модель, кастомные инструкции, нужный инструмент, фильтры и все. Работает из коробки и, к слову, не стоит почку (цены).
Также обновили библиотеку Swarm (теперь она называется Agents SDK). Напоминаем, что это инструмент для настройки мультиагентных систем типа Manus, то есть сетей агентов, которые способны общаться между собой, сотрудничать и решать сложные задачи.
👍85❤26🔥13😐9
Вышла Gemma-3 от Google и это теперь лучшая открытая не-ризонинг модель
➖ Есть варианты на 1В, 4В, 12В, 27В в базовых и instruct версиях. Кстати, пост-трейнинг там внушительный: RLHF, RLMF, RLEF и model merging
➖ На LMSYS выбивает 1338, это больше, чем o1-mini, o3-mini и o3-mini high. Среди опенсорса уступает только R1
➖ Контекст увеличили до 128К (у малышки 1В остался 32К), поддерживает 140+ языков
➖ Модель наконец-то сделали мультимодальной!
В общем, огонь. Веса здесь. Попробовать поболтать можно на HF или в AI Studio.
В общем, огонь. Веса здесь. Попробовать поболтать можно на HF или в AI Studio.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥124❤42👍30🤯1🍌1🍓1
Data Secrets
Японская лаборатория Sakana AI выкатила AI-ресерчера из коробки Это агент, который обучен проходить весь "человеческий" цикл написания научной работы: генерация и скоринг идей, эксперименты (включая код, графики, проверку гипотез) и написание статьи, причем…
Статья, полностью написанная ИИ-агентом, впервые в истории прошла рецензирование на крупнейшей ML-конференции ICLR
Помните, мы рассказывали про AI-ресерчера из коробки, которого сделали в японской лаборатории Sakana AI? Так вот автор прошедшей ревью статьи это вторая, улучшенная версия той модели – AI Scientist-v2 (про нее создатели пока нигде не писали, но обещают скоро поделиться релизом).
Всего Sakana подали три статьи, из которых приняли одну. Ревьюеров предупредили, что среди папир теоретически могут попасться сненерированные, но какие именно статьи писал ИИ – они не знали.
При этом Sakana подчеркивают, что тексты были созданы полностью автономно: агент сам провел все расчеты и эксперименты, сгенерировал гипотезу, проанализировал литературу и написал текст, и все это без малейших правок человека.
Статья получила балл 6.33, это выше 55 процентиля всех сабмитов. К сожалению (или счастью) она все-таки не будет опубликована из соображений научной этики.
sakana.ai/ai-scientist-first-publication/
Помните, мы рассказывали про AI-ресерчера из коробки, которого сделали в японской лаборатории Sakana AI? Так вот автор прошедшей ревью статьи это вторая, улучшенная версия той модели – AI Scientist-v2 (про нее создатели пока нигде не писали, но обещают скоро поделиться релизом).
Всего Sakana подали три статьи, из которых приняли одну. Ревьюеров предупредили, что среди папир теоретически могут попасться сненерированные, но какие именно статьи писал ИИ – они не знали.
При этом Sakana подчеркивают, что тексты были созданы полностью автономно: агент сам провел все расчеты и эксперименты, сгенерировал гипотезу, проанализировал литературу и написал текст, и все это без малейших правок человека.
Статья получила балл 6.33, это выше 55 процентиля всех сабмитов. К сожалению (или счастью) она все-таки не будет опубликована из соображений научной этики.
sakana.ai/ai-scientist-first-publication/
🤯106👍43🔥22😐11❤6👀4😁3
Оказалось, что Google владеет 14% Anthropic
Обычно компания не раскрывает свои активы, но в этом случае информация утекла через судебные документы. Также стало известно, что из $14,8+ млрд инвестиций, которые привлек стартап, Google вложил примерно $3+ млрд.
Интересно, что сами Anthropic говорят, что не хотят зависеть от тех.гигантов. Но учитывая, что еще примерно 25-30% компании принадлежат Amazon (информация закрытая, подсчеты на коленке), это звучит уже несколько неоднозначно.
Обычно компания не раскрывает свои активы, но в этом случае информация утекла через судебные документы. Также стало известно, что из $14,8+ млрд инвестиций, которые привлек стартап, Google вложил примерно $3+ млрд.
Интересно, что сами Anthropic говорят, что не хотят зависеть от тех.гигантов. Но учитывая, что еще примерно 25-30% компании принадлежат Amazon (информация закрытая, подсчеты на коленке), это звучит уже несколько неоднозначно.
🤔104😁44❤10⚡5👍5🌭4🍌4🔥3👀2
Data Secrets
Помните, мы рассказывали про AlphaXiv? Это проект Стэнфорда: аналог всем известного arxiv, но с возможность писать комментарии и обсуждать вопросы поверх любой статьи. Так вот, проект живет и, оказывается, с недавнего времени туда завезли буквально Cursor…
This media is not supported in your browser
VIEW IN TELEGRAM
В alphaXiv теперь можно создавать красивые конспекты статей с помощью одной кнопки
Помните, мы рассказывали про то, что в проект AlphaXiv (зеркало архива) добавили бесплатный чат с Gemini 2 Flash, которая объяснит вам любой текст и ответит на вопросы?
Так вот теперь ребята, видимо, решили окончательно захватить нишу и релизнули тулзу для создания полноценных конспектов по статьям с картинками и наглядными объяснениями. При этом о галлюцинациях можно не переживать: для точности обработки изображений прикрутили новый хайповый Mistral OCR, а объянения генерирует свежий Claude 3.7.
Все, что надо сделать – перейти на страницу нужной статьи и нажать "blog". А в чате с ботом-объяснятором, кстати, теперь можно общаться и задавать вопросы голосом🔥
Пробуйте: www.alphaxiv.org
Помните, мы рассказывали про то, что в проект AlphaXiv (зеркало архива) добавили бесплатный чат с Gemini 2 Flash, которая объяснит вам любой текст и ответит на вопросы?
Так вот теперь ребята, видимо, решили окончательно захватить нишу и релизнули тулзу для создания полноценных конспектов по статьям с картинками и наглядными объяснениями. При этом о галлюцинациях можно не переживать: для точности обработки изображений прикрутили новый хайповый Mistral OCR, а объянения генерирует свежий Claude 3.7.
Все, что надо сделать – перейти на страницу нужной статьи и нажать "blog". А в чате с ботом-объяснятором, кстати, теперь можно общаться и задавать вопросы голосом
Пробуйте: www.alphaxiv.org
Please open Telegram to view this post
VIEW IN TELEGRAM
❤131🔥55⚡14👍10🫡7🆒1
Google подарили нам бесплатный ИИ-фотошоп
Gemini Flash 2.0 теперь можно попросить отредактировать любое изображение по вашему запросу. Например «поменяй прическу», «раскрась», «сделай портрет мультяшным» и др.
Качество не идеальное, но с анатомией модель разбирается хорошо, и чутко реагирует на промпты.
Пробуйте сами здесь
Gemini Flash 2.0 теперь можно попросить отредактировать любое изображение по вашему запросу. Например «поменяй прическу», «раскрась», «сделай портрет мультяшным» и др.
Качество не идеальное, но с анатомией модель разбирается хорошо, и чутко реагирует на промпты.
Пробуйте сами здесь
🔥117👍37❤12❤🔥4
Забавно: по данным последних опросов, 60-70% американцев выступают за запрет сильного искусственного интеллекта
Сюда относятся и запреты крупных дата-центров, и роботов, и AGI. За пол года число так негативно настроенных людей выросло на 8 процентных пунктов.
При этом пятая часть людей думают, что текущий ИИ – уже AGI.
Сюда относятся и запреты крупных дата-центров, и роботов, и AGI. За пол года число так негативно настроенных людей выросло на 8 процентных пунктов.
При этом пятая часть людей думают, что текущий ИИ – уже AGI.
😁143🦄30👍25😐6❤5😎3🔥2🫡2