🤖📊 ИИ-стартап Илона Маска xAI обвинили в обмане с бенчмарками! 📉

xAI поделился графиком, на котором видно, что Grok 3 превосходит o3-mini-high от OpenAI в сложном математическом тесте AIME 2025. Однако сотрудники OpenAI отметили, что xAI опустил ключевую метрику «cons@64», которая даёт моделям ИИ 64 шанса на правильный ответ. Этот метод значительно повышает баллы, и без него модели OpenAI в некоторых случаях работают лучше. 🔄

При стандартных настройках «@1», когда ИИ получает только один шанс ответить, Grok 3 Reasoning Beta и Grok 3 mini Reasoning набирают меньше баллов, чем o3-mini-high от OpenAI. Тем не менее, xAI по-прежнему называет Grok 3 «самым умным ИИ в мире». 🤔

#ИИ #xAI #OpenAI #технологии #новости

🤖📊📉
Будущее.Сегодня