Иллюзия рассуждений: Apple выпустили честную статью про ограничения ризонинг-моделей
Мы уже привыкли, что если дать модели возможность "подумать" перед ответом (aka просто погенерировать некоторое количество черновых токенов), то она будет отвечать гораздо лучше по сравнению с моделями без ризонинга.
Но на самом деле ризонинг модели, их способности и масштабируемость изучены очень мало. Все, что мы видели, это графики "чем больше компьюта – тем лучше ответы", но это взгляд только с одной стороны, и, вообще говоря, о самой природе ризонинга мы знаем немного.
Apple решили немного развеять мифы вокруг рассуждений и провели простой эксперимент. Они взяли несколько головоломок, которые можно итерационно усложнять и стали сравнивать на них ризонинг модели с обычными.
Ну, например, Хайнойская башня. Для трех колец она решается довольно легко, для четырех сложнее, для десяти еще сложнее и тд (но вообще-то существует общий алгоритм). Так вот, итог:
Согласитесь, это местами контр-интуитивно и не совпадает с тем, как обычно позиционируют ризонинг-модели поставщики: того самого устойчивого масштабирования и ага-моментов не наблюдается.
И уж тем более такое поведение мало похоже на процесс мышления в привычном человеческом смысле. Видимо, AGI нам все-таки еще долго не видать.
machinelearning.apple.com/research/illusion-of-thinking
Мы уже привыкли, что если дать модели возможность "подумать" перед ответом (aka просто погенерировать некоторое количество черновых токенов), то она будет отвечать гораздо лучше по сравнению с моделями без ризонинга.
Но на самом деле ризонинг модели, их способности и масштабируемость изучены очень мало. Все, что мы видели, это графики "чем больше компьюта – тем лучше ответы", но это взгляд только с одной стороны, и, вообще говоря, о самой природе ризонинга мы знаем немного.
Apple решили немного развеять мифы вокруг рассуждений и провели простой эксперимент. Они взяли несколько головоломок, которые можно итерационно усложнять и стали сравнивать на них ризонинг модели с обычными.
Ну, например, Хайнойская башня. Для трех колец она решается довольно легко, для четырех сложнее, для десяти еще сложнее и тд (но вообще-то существует общий алгоритм). Так вот, итог:
➖ На низкой сложности задач немыслящие LLM оказались лучше ризонинг-моделей. На средней сложности CoT действительно начинает давать преимущество, но на высокой и ризонеры, и обычные модели фейлятся полностью, вне зависимости от бюджета компьюта.➖ При этом на несложных задачах часто происходит overthinking: модель почти сразу доходит до правильного ответа, но не фиксирует его, не останавливается и зачем-то продолжает "думать", просто чтобы потратить бюджет ризонинга.➖ А на сложных задачах – наоборот. При приближении к критической сложности модели сокращают объём «think» токенов, хотя лимит не исчерпан – они просто устают думать раньше времени.➖ Даже когда модельке дают готовый общий алгоритм решения, её точность не растёт, и коллапс происходит в тех же точках сложности.➖ Ну и, плюс, рассуждения почему-то не генерализируются. На более известных головоломках модель еще как-то думает, а на менее известных, даже если они легче, рассуждения не помогают, и точность падает даже на низких уровнях.
Согласитесь, это местами контр-интуитивно и не совпадает с тем, как обычно позиционируют ризонинг-модели поставщики: того самого устойчивого масштабирования и ага-моментов не наблюдается.
И уж тем более такое поведение мало похоже на процесс мышления в привычном человеческом смысле. Видимо, AGI нам все-таки еще долго не видать.
machinelearning.apple.com/research/illusion-of-thinking
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤175👍86🤔20🔥16😁5👏3💯3🤨3🤯2🗿2
Ян Лекун назвал CEO Anthropic Дарио Амодеи аморальным ИИ-думером с комплексом превосходства
Вчера в Threads Лекун выложил мем, в котором поиронизировал над AI-думерами (так, если что, называют людей, которые преувеличивают опасности ИИ). Юмор зацените сами ⬆️
Так вот в комментах к этому посту ученого спросили, считает ли он ИИ-думером Дарио Амодеи. На что Лекун ответил:
Вот так вот создаешь свою компанию, вкладываешь миллиарды в элаймент и исследования по интерпретируемости, а потом «получается», что у тебя просто комплексы
Вчера в Threads Лекун выложил мем, в котором поиронизировал над AI-думерами (так, если что, называют людей, которые преувеличивают опасности ИИ). Юмор зацените сами ⬆️
Так вот в комментах к этому посту ученого спросили, считает ли он ИИ-думером Дарио Амодеи. На что Лекун ответил:
«Да, он думер, но при этом продолжает заниматься AGI. Это может означать одно из двух:
1. Он интеллектуально нечестен или морально испорчен.
2. У него огромный комплекс превосходства — он считает, что только он достаточно просвещён, чтобы иметь доступ к ИИ, а «немытые массы» слишком глупы или аморальны, чтобы пользоваться таким мощным инструментом.
На деле он просто очень заблуждается относительно опасностей и возможностей современных ИИ-систем»
Вот так вот создаешь свою компанию, вкладываешь миллиарды в элаймент и исследования по интерпретируемости, а потом «получается», что у тебя просто комплексы
Media is too big
VIEW IN TELEGRAM
Илья Суцкевер получил степень почетного доктора наук и впервые за долгое время произнес речь на публике
Доктор наук honoris causa – это более высокая степень, чем PhD. Она присуждается не в результате обучения и не за защиту диссертации, а за значительный вклад в науку.
Суцкеверу премию присудил университет Торонто, в котором он раньше был аспирантом и занимался ИИ-исследованиями с Джеффри Хинтоном. Это четвертая степень Ильи от этого университета.
Полная речь ученого в честь получения премии – здесь. Мы выделили несколько значимых цитат:
Доктор наук honoris causa – это более высокая степень, чем PhD. Она присуждается не в результате обучения и не за защиту диссертации, а за значительный вклад в науку.
Суцкеверу премию присудил университет Торонто, в котором он раньше был аспирантом и занимался ИИ-исследованиями с Джеффри Хинтоном. Это четвертая степень Ильи от этого университета.
Полная речь ученого в честь получения премии – здесь. Мы выделили несколько значимых цитат:
Как я понимаю, в речи на выпускной церемонии принято давать мудрые советы. Я дам один — всего один. Есть состояние ума, которое, если его принять, делает вещи намного проще: принимать реальность такой, какая она есть, не жалеть о прошлом, а стараться улучшать ситуацию.
Наступит время, когда ИИ сможет делать все, что умеем мы. Я в этом уверен, потому что
наш мозг — это биологический компьютер
. А если биологический компьютер может это делать, то почему цифровой компьютер не сможет?
Есть цитата: «Вы можете не интересоваться политикой, но политика заинтересуется вами»
.
С ИИ это работает
ещё в большей степени
.
В конце концов, никакие статьи или объяснения не заменят того, что мы видим своими глазами. Главное – не отворачивайтесь от ИИ.
Смотрите внимательно, думайте, готовьтесь.
Когда придет время, именно это даст вам силы справиться с колоссальными изменениями.
Вызов ИИ –
величайший в истории человечества
. Но и награда за его преодоление может стать самой большой. Нравится вам это или нет — ИИ повлияет на вашу жизнь в огромной степени.
1🔥307❤92👍46
Data Secrets
Иллюзия рассуждений: Apple выпустили честную статью про ограничения ризонинг-моделей Мы уже привыкли, что если дать модели возможность "подумать" перед ответом (aka просто погенерировать некоторое количество черновых токенов), то она будет отвечать гораздо…
Тем временем в соцсетях люди массово обсмеивают Apple за их новую статью про способности ризонинг-моделей
Мы делали разбор этой статьи вчера – вот пост. Работа быстро набрала популярность, и сегодня о ней уже говорит весь Интернет.
Однако не все относятся к ней просто как к исследованию. Многие настаивают, что Apple ничего не смогли добиться в области ИИ сами, и поэтому теперь переключились на написание статей про то, что «все это не имеет смысла».
Звучат даже апелляции к авторитету и мысли о том, что ученым из Apple доверять нельзя, потому что они не выпустили ни одной передовой модели🤷♂️
Справедливости ради, надо сказать, что Apple не заявляли что «ИИ не работает». Они просто поставили эксперимент и написали об этом статью.
Получилось обычное эмпирическое исследование, на которое очень необычно отреагировала общественность
А вы читали статью? Как вам?
Мы делали разбор этой статьи вчера – вот пост. Работа быстро набрала популярность, и сегодня о ней уже говорит весь Интернет.
Однако не все относятся к ней просто как к исследованию. Многие настаивают, что Apple ничего не смогли добиться в области ИИ сами, и поэтому теперь переключились на написание статей про то, что «все это не имеет смысла».
Звучат даже апелляции к авторитету и мысли о том, что ученым из Apple доверять нельзя, потому что они не выпустили ни одной передовой модели
Справедливости ради, надо сказать, что Apple не заявляли что «ИИ не работает». Они просто поставили эксперимент и написали об этом статью.
Получилось обычное эмпирическое исследование, на которое очень необычно отреагировала общественность
А вы читали статью? Как вам?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁171
Оказалось, что ИИ-компании тратят миллионы на лоббирование Вашингтона – и это уже работает
Издание Politico выпустило большую статью про то, как ИИ-гиганты лоббируют правильство США. Что происходит:
➖ OpenAI и Anthropic уже построили полноценные отделы по связям с правительством — только за последние месяцы они наняли десятки сотрудников, отвечающих за политику и лоббизм.
➖ Остальные компании в этом смысле менее активны, но уже включаются. Nvidia в марте зарегистрировала первых внутренних лоббистов.
➖ Цель компаний – участвовать в формировании законопроектов и добиваться ослабления регулирования.
➖ И это уже работает. Конгресс одобрил 10-летний мораторий на законы об ИИ на уровне штатов – ровно то, что просили компании.
➖ Основной инстумент лоббистов – Китай, потому что Белый дом поддерживает ИИ-индустрию в первую очередь как инструмент глобального соперничества.
И вот еще занятный факт: уже сейчас ИИ-компании лоббируют больше, чем табачная и нефтяная отрасли вместе взятые. Как итог: ИИ-компании регулируются минимально и получают госзаказы на миллиарды, а данные пользователей и социальные эффекты от ИИ все больше и больше остаются без присмотра.
www.politico.com/news/2025/06/06/the-ai-lobby-plants-its-flag-in-washington-00389549
Издание Politico выпустило большую статью про то, как ИИ-гиганты лоббируют правильство США. Что происходит:
И вот еще занятный факт: уже сейчас ИИ-компании лоббируют больше, чем табачная и нефтяная отрасли вместе взятые. Как итог: ИИ-компании регулируются минимально и получают госзаказы на миллиарды, а данные пользователей и социальные эффекты от ИИ все больше и больше остаются без присмотра.
www.politico.com/news/2025/06/06/the-ai-lobby-plants-its-flag-in-washington-00389549
Please open Telegram to view this post
VIEW IN TELEGRAM
Apple даст разработчикам доступ к локальным ИИ-моделям компании
Об этом объявили на WWDC 2025. Apple запускают целый фреймворк Foundation Models, с помощью которого их модели можно будет встраивать в приложения.
При этом у пользователей при использовании приложений эти модели будут запускаться локально. Ну, например, вы создаете в FatSecret персональный план питания с помощью ИИ, но при этом ваши данные не улетают в облако, а остаются только на устройстве.
Говорят, что фреймворк достаточно интуитивный, с поддержкой Swift. Доступ к моделям или к tool calling можно будет получить всего в 3-5 строк кода.
www.apple.com/newsroom/2025/06/apple-supercharges-its-tools-and-technologies-for-developers/
Об этом объявили на WWDC 2025. Apple запускают целый фреймворк Foundation Models, с помощью которого их модели можно будет встраивать в приложения.
При этом у пользователей при использовании приложений эти модели будут запускаться локально. Ну, например, вы создаете в FatSecret персональный план питания с помощью ИИ, но при этом ваши данные не улетают в облако, а остаются только на устройстве.
Говорят, что фреймворк достаточно интуитивный, с поддержкой Swift. Доступ к моделям или к tool calling можно будет получить всего в 3-5 строк кода.
www.apple.com/newsroom/2025/06/apple-supercharges-its-tools-and-technologies-for-developers/
❤82🔥34👍23
OpenAI пробила 10 миллиардов годового дохода
Сюда включены подписки, бизнес-продукты и API. В прошлом году этот показатель составлял 5.5 миллиардов. Тем не менее, это не значит, что компания вышла на положительную прибыль.
Свои операционные расходы OpenAI не раскрывает, но известно, что в плюс они планируют выйти только к 2029. Ожидается, что к этому времени доход стартапа увеличится до 125 миллиардов в год.
Сюда включены подписки, бизнес-продукты и API. В прошлом году этот показатель составлял 5.5 миллиардов. Тем не менее, это не значит, что компания вышла на положительную прибыль.
Свои операционные расходы OpenAI не раскрывает, но известно, что в плюс они планируют выйти только к 2029. Ожидается, что к этому времени доход стартапа увеличится до 125 миллиардов в год.
🤯122❤40🔥32😁8👍5🤨3🤔1🫡1
Data Secrets
Тем временем в соцсетях люди массово обсмеивают Apple за их новую статью про способности ризонинг-моделей Мы делали разбор этой статьи вчера – вот пост. Работа быстро набрала популярность, и сегодня о ней уже говорит весь Интернет. Однако не все относятся…
Закрываем тренд
😁446
Mistral выпустили ризонинг-модель Magistral
Есть открытая версия Small на 24В и закрытая Medium – побольше. Medium работает на уровне R1 (непонятно, обновленной или нет).
Русский язык поддерживается, он в числе тех, на которых модель «думает лучше всего».
Еще хвастаются своей скоростью инференса: говорят, в режиме ризонинга с Flash Answers получать ответы можно в 10 раз быстрее, чем у конкурентов.
Попробовать превью бесплатно можно в Le Chat
Веса | Блогпост | Статья
Есть открытая версия Small на 24В и закрытая Medium – побольше. Medium работает на уровне R1 (непонятно, обновленной или нет).
Русский язык поддерживается, он в числе тех, на которых модель «думает лучше всего».
Еще хвастаются своей скоростью инференса: говорят, в режиме ризонинга с Flash Answers получать ответы можно в 10 раз быстрее, чем у конкурентов.
Попробовать превью бесплатно можно в Le Chat
Веса | Блогпост | Статья
По бенчмаркам – заметный скачок производительности на математике и кодинге по сравнению с обычной o3. И при этом, что интересно, модель почти в 8 раз дешевле o1-pro.
Уже раскатили на всех Pro юзеров. У кого 200$ завалялись?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤83😁36
К слову, сегодня еще и мощно удешевили обычную o3 – она теперь стоит на 80% меньше
Теперь по ценам так:
🟦 o3 – $2.00 / 1M input, $8.00 / 1M output (было 10$ и 40$)
🟦 o3 pro – $20 / 1M input, $80 / 1M output (o1-pro 150$ и 600$)
Получается, цена o3 теперь на уровне с Gemini 2.5 Pro (1.25$ и 10$)
Теперь по ценам так:
Получается, цена o3 теперь на уровне с Gemini 2.5 Pro (1.25$ и 10$)
Please open Telegram to view this post
VIEW IN TELEGRAM
❤87🔥35👍12🦄3🗿2
Сэм Альтман в честь выхода o3-pro выпустил эссе под названием «Нежная сингулярность»
Снова пишет про будущее, но теперь среди прочего – конкретные предсказания (да). Итак, топ цитат:
Полностью читаем здесь
Снова пишет про будущее, но теперь среди прочего – конкретные предсказания (да). Итак, топ цитат:
Мы прошли горизонт событий; взлет начался. Человечество близко к созданию цифрового суперинтеллекта, и, по крайней мере, пока это гораздо менее странно, чем, как кажется, должно быть. Роботы пока не ходят по улицам, и большинство из нас не общаются с ИИ весь день.
В 2025 году появились агенты, способные выполнять настоящую когнитивную работу; написание кода уже никогда не будет прежним.
В 2026 году, скорее всего, появятся системы, открывать новые идеи
. В 2027 году могут появиться роботы, способные выполнять задачи в реальном мире.
В 2030-х годах интеллект и энергия — идеи и способность воплощать идеи — будут в диком изобилии. Эти два фактора долгое время были фундаментальными ограничителями человеческого прогресса; при их (и хорошем управлении)
мы теоретически можем иметь что угодно
.
Мы очень быстро переходим от удивления, что ИИ может написать абзац, к удивлению, когда он может создать прекрасно написанный роман. Или от удивления, что он может написать небольшую программу, к удивлению, когда он может создать целую новую компанию.
Вот как проходит сингулярность: чудеса становятся рутиной, а затем базовым минимумом
.
По мере автоматизации производства центров обработки данных
стоимость интеллекта должна в конечном итоге приблизиться к стоимости электроэнергии
.
Скорость создания новых чудес будет колоссальной. Сегодня даже трудно представить, что мы откроем к 2035 году; может быть, за один год мы перейдем от решения физики высоких энергий к началу колонизации космоса. Конечно, будут и сложные моменты: например, исчезнут целые классы профессий. Но
люди по-прежнему будут способны адаптироваться практически ко всему
.
Полностью читаем здесь