Дружелюбные соседи коллеги, мы?

OpenAI вдруг засуетились и закрыли доступ к API в Китае

При этом Microsoft ничего подобного с Azure OpenAI Service не делает, аргументируя это так: «OpenAI, будучи независимой компанией, принимает собственные решения».

Никаких особенных комментариев по этому поводу OpenAI не дали, просто «Мы предпринимаем шаги для блокировки API в неподдерживаемых регионах».

Интересно, что случилось это тогда, когда все чаще стало слышно о китайских LLM, догоняющих GPT. Хотя в Твиттере большинство придерживается мнения, что это скорее знак скорого выпуска большого обновления от OpenAI.

Claude обгоняет GPT, Илья Суцкевер открывает собственную компанию, Grok 2.0 на подходе, Microsoft выходит из совета директоров, LLM Китая наращивают мощности…

Тем времени дядюшка Сэм на новеньком Koenigsegg Regera:

На Hugging Face появился огромный датасет, состоящий полностью из синтетических данных

Подход, как сейчас модно, агентный. LLM (в данном случае GPT-4o + VLLM) генерирует ответы не просто так, а представляя себя каждый раз каким-нибудь персонажем: например, ученым-химиком или музыкантом.

Синтетические данные – это здорово, но у ним до сих пор относятся с осторожностью. Они недостаточно реалистичны, разнообразны и в них потенциально кроются галлюцинации. До сих пор неясно, будем ли мы когда-нибудь свободно пользоваться "синтетикой", но, как видите, работа над этим идет.

Мы не удержались

Вот это круто: команда Meta впервые опубликовала свои роадмапы с планами разработки

«Хотя вся разработка PyTorch происходит публично на GitHub, фактические документы по планированию не были общедоступными, поэтому мы решили изменить это для большей прозрачности.»

Ну респект же?

Есть отдельные pdf для DataLoading, torchvision, compiler core и другого. Наверху пример из файла про torchtune. Интересно просмотреть даже по диагонали.

Наконец опубликованы результаты AI Mathematical Olympiad на Kaggle!

Участники соревнования на протяжении трех месяцев учили модели решать задачи олимпиад старших классов на уровне человека. Мы подбробно рассказывали о соревновании здесь.

Итог: победили 5 команд, топ-4 из которых использовали в качестве базовой модели DeepSeekMath-7B. На своем сайте мы недавно делали занятный детальный разбор этой архитектуры, обязательно почитайте.

Первое место и $131 тыс. забрала архитектура Numina: она выбила 29/50 правильных ответов на тесте. Кратко о подходе:

1) Генерация Chain of Thought ризонинга, то есть своеобразного исходного плана решения
2) Перевод этих Chain of Thought в питоновский код
3) Исполнение этого кода в REPL
4) Если код ломается, шаги 1-3 повторяются в учетом ошибок

Сама модель, как мы уже говорили, зафайнтюнена на базе deepseek-math-7b-base, для этого использовался большой синтетический датасет ToRA и двухэтапный Supervised подход.

Кстати, Numina уже доступна на Hugging Face под лицензией Apache 2.0. Поздравляем победителей!

Смотрите: это робот от DeepMind ездит по офису Google

Самое интересное: малыш двигается благодаря Gemini 1.5 Pro. Идея применять LLM в робототехнике не новая, но обычно мешает ограниченное контекстное окно. У Google оно рекордное – 1млн токенов – вот и получился приятный результат.

За подробностями в статью.

MrBeast за 25 секунд поясняет за рынок Data Science найма

Представьте: вы можете выбрать одну для своего ребенка. Какая?

Я: *пишу длинный промпт, учитывая все детали и используя всевозможные уловки, обещаю модели 100 долларов, машину, квартиру, долю в бизнесе, дом с голубыми ставнями*

Тем временем модель:

OpenAI работает над новой технологией рассуждений Strawberry. Ранее проект был известен как Q*

Об этом сообщает Reuters. Также, как выяснил Bloomberg, на внутреннем собрании OpenAI некоторый проект продемонтрировал "человеческие" способности к мышлению. Итого две новости от крупных СМИ о бывшем Q* за 24 часа. Что это, если не расжигание ажиотажа?

Что касается самой технологии Q*, то о ней мы уже развернуто писали здесь. Хотя с тех пор, как улегся первый хайп вокруг этого проекта, прошло пол года. Мало ли, что из него выросло.

Кстати, предположительно, в основе Strawberry aka Q* лежит метод STaR (self-taught reasoners). Вот оригинальная статья про STaR 2022 года.