Иллюзия рассуждений: Apple выпустили честную статью про ограничения ризонинг-моделей
Мы уже привыкли, что если дать модели возможность "подумать" перед ответом (aka просто погенерировать некоторое количество черновых токенов), то она будет отвечать гораздо лучше по сравнению с моделями без ризонинга.
Но на самом деле ризонинг модели, их способности и масштабируемость изучены очень мало. Все, что мы видели, это графики "чем больше компьюта – тем лучше ответы", но это взгляд только с одной стороны, и, вообще говоря, о самой природе ризонинга мы знаем немного.
Apple решили немного развеять мифы вокруг рассуждений и провели простой эксперимент. Они взяли несколько головоломок, которые можно итерационно усложнять и стали сравнивать на них ризонинг модели с обычными.
Ну, например, Хайнойская башня. Для трех колец она решается довольно легко, для четырех сложнее, для десяти еще сложнее и тд (но вообще-то существует общий алгоритм). Так вот, итог:
Согласитесь, это местами контр-интуитивно и не совпадает с тем, как обычно позиционируют ризонинг-модели поставщики: того самого устойчивого масштабирования и ага-моментов не наблюдается.
И уж тем более такое поведение мало похоже на процесс мышления в привычном человеческом смысле. Видимо, AGI нам все-таки еще долго не видать.
machinelearning.apple.com/research/illusion-of-thinking
Мы уже привыкли, что если дать модели возможность "подумать" перед ответом (aka просто погенерировать некоторое количество черновых токенов), то она будет отвечать гораздо лучше по сравнению с моделями без ризонинга.
Но на самом деле ризонинг модели, их способности и масштабируемость изучены очень мало. Все, что мы видели, это графики "чем больше компьюта – тем лучше ответы", но это взгляд только с одной стороны, и, вообще говоря, о самой природе ризонинга мы знаем немного.
Apple решили немного развеять мифы вокруг рассуждений и провели простой эксперимент. Они взяли несколько головоломок, которые можно итерационно усложнять и стали сравнивать на них ризонинг модели с обычными.
Ну, например, Хайнойская башня. Для трех колец она решается довольно легко, для четырех сложнее, для десяти еще сложнее и тд (но вообще-то существует общий алгоритм). Так вот, итог:
➖ На низкой сложности задач немыслящие LLM оказались лучше ризонинг-моделей. На средней сложности CoT действительно начинает давать преимущество, но на высокой и ризонеры, и обычные модели фейлятся полностью, вне зависимости от бюджета компьюта.➖ При этом на несложных задачах часто происходит overthinking: модель почти сразу доходит до правильного ответа, но не фиксирует его, не останавливается и зачем-то продолжает "думать", просто чтобы потратить бюджет ризонинга.➖ А на сложных задачах – наоборот. При приближении к критической сложности модели сокращают объём «think» токенов, хотя лимит не исчерпан – они просто устают думать раньше времени.➖ Даже когда модельке дают готовый общий алгоритм решения, её точность не растёт, и коллапс происходит в тех же точках сложности.➖ Ну и, плюс, рассуждения почему-то не генерализируются. На более известных головоломках модель еще как-то думает, а на менее известных, даже если они легче, рассуждения не помогают, и точность падает даже на низких уровнях.
Согласитесь, это местами контр-интуитивно и не совпадает с тем, как обычно позиционируют ризонинг-модели поставщики: того самого устойчивого масштабирования и ага-моментов не наблюдается.
И уж тем более такое поведение мало похоже на процесс мышления в привычном человеческом смысле. Видимо, AGI нам все-таки еще долго не видать.
machinelearning.apple.com/research/illusion-of-thinking
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤175👍86🤔20🔥16😁5👏3💯3🤨3🤯2🗿2
Ян Лекун назвал CEO Anthropic Дарио Амодеи аморальным ИИ-думером с комплексом превосходства
Вчера в Threads Лекун выложил мем, в котором поиронизировал над AI-думерами (так, если что, называют людей, которые преувеличивают опасности ИИ). Юмор зацените сами ⬆️
Так вот в комментах к этому посту ученого спросили, считает ли он ИИ-думером Дарио Амодеи. На что Лекун ответил:
Вот так вот создаешь свою компанию, вкладываешь миллиарды в элаймент и исследования по интерпретируемости, а потом «получается», что у тебя просто комплексы
Вчера в Threads Лекун выложил мем, в котором поиронизировал над AI-думерами (так, если что, называют людей, которые преувеличивают опасности ИИ). Юмор зацените сами ⬆️
Так вот в комментах к этому посту ученого спросили, считает ли он ИИ-думером Дарио Амодеи. На что Лекун ответил:
«Да, он думер, но при этом продолжает заниматься AGI. Это может означать одно из двух:
1. Он интеллектуально нечестен или морально испорчен.
2. У него огромный комплекс превосходства — он считает, что только он достаточно просвещён, чтобы иметь доступ к ИИ, а «немытые массы» слишком глупы или аморальны, чтобы пользоваться таким мощным инструментом.
На деле он просто очень заблуждается относительно опасностей и возможностей современных ИИ-систем»
Вот так вот создаешь свою компанию, вкладываешь миллиарды в элаймент и исследования по интерпретируемости, а потом «получается», что у тебя просто комплексы
Media is too big
VIEW IN TELEGRAM
Илья Суцкевер получил степень почетного доктора наук и впервые за долгое время произнес речь на публике
Доктор наук honoris causa – это более высокая степень, чем PhD. Она присуждается не в результате обучения и не за защиту диссертации, а за значительный вклад в науку.
Суцкеверу премию присудил университет Торонто, в котором он раньше был аспирантом и занимался ИИ-исследованиями с Джеффри Хинтоном. Это четвертая степень Ильи от этого университета.
Полная речь ученого в честь получения премии – здесь. Мы выделили несколько значимых цитат:
Доктор наук honoris causa – это более высокая степень, чем PhD. Она присуждается не в результате обучения и не за защиту диссертации, а за значительный вклад в науку.
Суцкеверу премию присудил университет Торонто, в котором он раньше был аспирантом и занимался ИИ-исследованиями с Джеффри Хинтоном. Это четвертая степень Ильи от этого университета.
Полная речь ученого в честь получения премии – здесь. Мы выделили несколько значимых цитат:
Как я понимаю, в речи на выпускной церемонии принято давать мудрые советы. Я дам один — всего один. Есть состояние ума, которое, если его принять, делает вещи намного проще: принимать реальность такой, какая она есть, не жалеть о прошлом, а стараться улучшать ситуацию.
Наступит время, когда ИИ сможет делать все, что умеем мы. Я в этом уверен, потому что
наш мозг — это биологический компьютер
. А если биологический компьютер может это делать, то почему цифровой компьютер не сможет?
Есть цитата: «Вы можете не интересоваться политикой, но политика заинтересуется вами»
.
С ИИ это работает
ещё в большей степени
.
В конце концов, никакие статьи или объяснения не заменят того, что мы видим своими глазами. Главное – не отворачивайтесь от ИИ.
Смотрите внимательно, думайте, готовьтесь.
Когда придет время, именно это даст вам силы справиться с колоссальными изменениями.
Вызов ИИ –
величайший в истории человечества
. Но и награда за его преодоление может стать самой большой. Нравится вам это или нет — ИИ повлияет на вашу жизнь в огромной степени.
1🔥307❤92👍46 10 10🤯7🗿6👌5 3👏1💯1
Data Secrets
Иллюзия рассуждений: Apple выпустили честную статью про ограничения ризонинг-моделей Мы уже привыкли, что если дать модели возможность "подумать" перед ответом (aka просто погенерировать некоторое количество черновых токенов), то она будет отвечать гораздо…
Тем временем в соцсетях люди массово обсмеивают Apple за их новую статью про способности ризонинг-моделей
Мы делали разбор этой статьи вчера – вот пост. Работа быстро набрала популярность, и сегодня о ней уже говорит весь Интернет.
Однако не все относятся к ней просто как к исследованию. Многие настаивают, что Apple ничего не смогли добиться в области ИИ сами, и поэтому теперь переключились на написание статей про то, что «все это не имеет смысла».
Звучат даже апелляции к авторитету и мысли о том, что ученым из Apple доверять нельзя, потому что они не выпустили ни одной передовой модели🤷♂️
Справедливости ради, надо сказать, что Apple не заявляли что «ИИ не работает». Они просто поставили эксперимент и написали об этом статью.
Получилось обычное эмпирическое исследование, на которое очень необычно отреагировала общественность
А вы читали статью? Как вам?
Мы делали разбор этой статьи вчера – вот пост. Работа быстро набрала популярность, и сегодня о ней уже говорит весь Интернет.
Однако не все относятся к ней просто как к исследованию. Многие настаивают, что Apple ничего не смогли добиться в области ИИ сами, и поэтому теперь переключились на написание статей про то, что «все это не имеет смысла».
Звучат даже апелляции к авторитету и мысли о том, что ученым из Apple доверять нельзя, потому что они не выпустили ни одной передовой модели
Справедливости ради, надо сказать, что Apple не заявляли что «ИИ не работает». Они просто поставили эксперимент и написали об этом статью.
Получилось обычное эмпирическое исследование, на которое очень необычно отреагировала общественность
А вы читали статью? Как вам?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁171 37 17🔥11❤9👍9⚡8 6🗿1
Оказалось, что ИИ-компании тратят миллионы на лоббирование Вашингтона – и это уже работает
Издание Politico выпустило большую статью про то, как ИИ-гиганты лоббируют правильство США. Что происходит:
➖ OpenAI и Anthropic уже построили полноценные отделы по связям с правительством — только за последние месяцы они наняли десятки сотрудников, отвечающих за политику и лоббизм.
➖ Остальные компании в этом смысле менее активны, но уже включаются. Nvidia в марте зарегистрировала первых внутренних лоббистов.
➖ Цель компаний – участвовать в формировании законопроектов и добиваться ослабления регулирования.
➖ И это уже работает. Конгресс одобрил 10-летний мораторий на законы об ИИ на уровне штатов – ровно то, что просили компании.
➖ Основной инстумент лоббистов – Китай, потому что Белый дом поддерживает ИИ-индустрию в первую очередь как инструмент глобального соперничества.
И вот еще занятный факт: уже сейчас ИИ-компании лоббируют больше, чем табачная и нефтяная отрасли вместе взятые. Как итог: ИИ-компании регулируются минимально и получают госзаказы на миллиарды, а данные пользователей и социальные эффекты от ИИ все больше и больше остаются без присмотра.
www.politico.com/news/2025/06/06/the-ai-lobby-plants-its-flag-in-washington-00389549
Издание Politico выпустило большую статью про то, как ИИ-гиганты лоббируют правильство США. Что происходит:
И вот еще занятный факт: уже сейчас ИИ-компании лоббируют больше, чем табачная и нефтяная отрасли вместе взятые. Как итог: ИИ-компании регулируются минимально и получают госзаказы на миллиарды, а данные пользователей и социальные эффекты от ИИ все больше и больше остаются без присмотра.
www.politico.com/news/2025/06/06/the-ai-lobby-plants-its-flag-in-washington-00389549
Please open Telegram to view this post
VIEW IN TELEGRAM
Apple даст разработчикам доступ к локальным ИИ-моделям компании
Об этом объявили на WWDC 2025. Apple запускают целый фреймворк Foundation Models, с помощью которого их модели можно будет встраивать в приложения.
При этом у пользователей при использовании приложений эти модели будут запускаться локально. Ну, например, вы создаете в FatSecret персональный план питания с помощью ИИ, но при этом ваши данные не улетают в облако, а остаются только на устройстве.
Говорят, что фреймворк достаточно интуитивный, с поддержкой Swift. Доступ к моделям или к tool calling можно будет получить всего в 3-5 строк кода.
www.apple.com/newsroom/2025/06/apple-supercharges-its-tools-and-technologies-for-developers/
Об этом объявили на WWDC 2025. Apple запускают целый фреймворк Foundation Models, с помощью которого их модели можно будет встраивать в приложения.
При этом у пользователей при использовании приложений эти модели будут запускаться локально. Ну, например, вы создаете в FatSecret персональный план питания с помощью ИИ, но при этом ваши данные не улетают в облако, а остаются только на устройстве.
Говорят, что фреймворк достаточно интуитивный, с поддержкой Swift. Доступ к моделям или к tool calling можно будет получить всего в 3-5 строк кода.
www.apple.com/newsroom/2025/06/apple-supercharges-its-tools-and-technologies-for-developers/
❤82🔥34👍23 6🤔2😁1🤝1
OpenAI пробила 10 миллиардов годового дохода
Сюда включены подписки, бизнес-продукты и API. В прошлом году этот показатель составлял 5.5 миллиардов. Тем не менее, это не значит, что компания вышла на положительную прибыль.
Свои операционные расходы OpenAI не раскрывает, но известно, что в плюс они планируют выйти только к 2029. Ожидается, что к этому времени доход стартапа увеличится до 125 миллиардов в год.
Сюда включены подписки, бизнес-продукты и API. В прошлом году этот показатель составлял 5.5 миллиардов. Тем не менее, это не значит, что компания вышла на положительную прибыль.
Свои операционные расходы OpenAI не раскрывает, но известно, что в плюс они планируют выйти только к 2029. Ожидается, что к этому времени доход стартапа увеличится до 125 миллиардов в год.
🤯122❤40🔥32😁8👍5🤨3🤔1🫡1
Data Secrets
Тем временем в соцсетях люди массово обсмеивают Apple за их новую статью про способности ризонинг-моделей Мы делали разбор этой статьи вчера – вот пост. Работа быстро набрала популярность, и сегодня о ней уже говорит весь Интернет. Однако не все относятся…
Закрываем тренд
😁446 49❤26🔥13💯3👍2🆒1
Mistral выпустили ризонинг-модель Magistral
Есть открытая версия Small на 24В и закрытая Medium – побольше. Medium работает на уровне R1 (непонятно, обновленной или нет).
Русский язык поддерживается, он в числе тех, на которых модель «думает лучше всего».
Еще хвастаются своей скоростью инференса: говорят, в режиме ризонинга с Flash Answers получать ответы можно в 10 раз быстрее, чем у конкурентов.
Попробовать превью бесплатно можно в Le Chat
Веса | Блогпост | Статья
Есть открытая версия Small на 24В и закрытая Medium – побольше. Medium работает на уровне R1 (непонятно, обновленной или нет).
Русский язык поддерживается, он в числе тех, на которых модель «думает лучше всего».
Еще хвастаются своей скоростью инференса: говорят, в режиме ризонинга с Flash Answers получать ответы можно в 10 раз быстрее, чем у конкурентов.
Попробовать превью бесплатно можно в Le Chat
Веса | Блогпост | Статья
По бенчмаркам – заметный скачок производительности на математике и кодинге по сравнению с обычной o3. И при этом, что интересно, модель почти в 8 раз дешевле o1-pro.
Уже раскатили на всех Pro юзеров. У кого 200$ завалялись?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤83😁36 14 9🔥2🤔2⚡1🦄1