Слышали о Мише Ласкине из DeepMind? У него там классное интервью вышло

Ласкин родился в России, эмигрировал в США, работал над Gemini и AlphaGo в DeepMind, а сейчас является CEO и ко-фаундером ReflectionAI.

Так вот. На днях вышло его интервью про развитие ИИ, его опыт, компанию и пр. Интересное:

➡️Миша верит, что до AGI примерно три года, сейчас технология развивается пугающе быстро

➡️Текущие языковые модели достаточно широкие и общие с точки зрения знаний, но глубины рассуждений им не хватает. Глубина агентов – основная цель ReflectionAI

➡️Оптимальный путь создания AGI — сочетание обучения на большом количестве данных с обучением с подкреплением, как это было сделано с AlphaGo. Сейчас, по мнению Ласкина, RL уделяют недостаточно внимания

➡️В частности нерешенной фундаментальной проблемой RLHF в текущих моделях является получение робастных универсальных reward моделей

➡️Еще одна недостаточно изученная область – интерпретируемость моделей. «Понимание теоретических принципов, лежащих в основе их возможностей, похоже на физику конца 1800-х годов» - сказал ученый.

Ссылка на полное интервью

Очередной скандал с данными для обучения

Что объединяет Mr.Beast, The Wall Street Journal и Гарвард? У них всех «украли» видео для обучения моделек. К такому выводу пришли журналисты из Wired и Proof News.

А дело вот в чем: есть такой открытый датасет под названием The Pile. К нему и раньше были вопросы из-за большого количества мата, религиозных и расовых оскорблений и пр. А сейчас выяснилось, что он еще и содержит субтитры более 170к роликов с 48 тысяч YouTube каналов. Это, естественно, полное нарушение правил платформы.

Однако обвиняют во всем все равно корпорации: Apple, Nvidia, Anthropic и др. Те даже не пытались скрыть, что используют Pile, и явно ссылались на него в статьях, ведь это (еще раз) открытый датасет.

Anthropic, кстати, журналистам так и сказали, мол: «Ну и предъявляйте создателям Pile, мы то что нарушили?». Остальные компании и вовсе воздержались от комментариев.

Ну и вообще, использование субтитров с YouTube для обучения уже ни для кого не новость. Еще давно выяснилось, что OpenAI и Google транскрибируют видео и даже разрабатывают для этого специальные инструменты (почитайте этот наш пост).

А Proof News, кстати, даже инструмент выкатили для проверки того, не используют ли ваш канал для ИИ. Проверьте, вдруг повезло 😂

⚪️ Японские СМИ выражают опасения по поводу LLM. Они говорят, что это «зайцы» в мире СМИ, которые используют контент с сайтов и не генерируют значительного ответного трафика.

Особенно бизнес-моделям сайтов, по их мнению, вредят Perplexity-подобные системы, однако они хотя бы указывают источник. Журналистам удалось доказать, что GPT, например, на некоторые вопросы отвечает чуть ли не дословными отрывками из новостных статей (конечно, без ссылок на источник).

Согласны, обидно получается

⚡️ Llama 3 на 400B слили на день раньше

Все, как всегда, благодаря 4chan. Правда весит все чудо 820GB 😝

В интернете уже есть ссылки на торенты. Пару часов назад модель также была замечена на HF под именем miqu2, но сейчас оттуда ее уже почистили.

⚡️ Breaking! Llama 3.1 405B будет новой SOTA

Как вы помните, вчера модель слили на 4chan. А ночью в сеть просочились и бенчмарки. Выглядит очень сочно, на многих тестах моделька обгоняет даже взрослую GPT-4o.

Вместе с llama 3.1 на 405В параметров выходят 3.1 на 70В и на 8В. Посмотрите в таблице, какой у них мощный прирост относительно обычных троек на то же количество параметров. Есть предположение, что это получилось потому что это не дотренированные или дотюненные с нуля модели, а дестилляции моделей покрупнее.

То есть ученые не сразу обучили модель с 70В или 8В параметрами, а обучили модель с Х параметрами, где Х>>8/70В, а потом провели дистилляцию. Очень интересный подход.

Кажется, у нас наконец будет опенсорс уровня GPT-4o 🥳