Stereo Data Ёлка от VK: сведение итогов года в идеальный микс 🎧
Команда VK приглашает специалистов по данным, ML-инженеров и всех, кто следит за трендами, на заключительное событие года — Stereo Data Ёлку, которая пройдёт 24 января в Москве и Санкт-Петербурге.
Мероприятие построено вокруг уникальной концепции «стереозвука» для вашего профессионального восприятия:
Левый канал (аналитика): глубокий разбор итогов по основным направлениям в ML/DS
Правый канал (инсайты): саундчек лучших решений VK RecSys Challenge, который будет доступен только офлайн.
Участвуйте офлайн! Stereo Data Ёлка – это атмосферное пространство с идеальным звуком для общения с коллегами. Вас ждёт афтепати с фирменными угощениями, подарки за активность и нетворкинг с лучшими специалистами индустрии.
Формат: гибридный (онлайн-трансляция будет здесь), но полное стереопогружение — только на офлайн-площадках.
Регистрация открыта до 22 января.
Регистрация для Москвы: https://bit.ly/3Nk467D?erid=2VtzqwpLZpF
Для Санкт-Петербурга: https://bit.ly/4pL1Aop?erid=2VtzqwpLZpF
Команда VK приглашает специалистов по данным, ML-инженеров и всех, кто следит за трендами, на заключительное событие года — Stereo Data Ёлку, которая пройдёт 24 января в Москве и Санкт-Петербурге.
Мероприятие построено вокруг уникальной концепции «стереозвука» для вашего профессионального восприятия:
Левый канал (аналитика): глубокий разбор итогов по основным направлениям в ML/DS
Правый канал (инсайты): саундчек лучших решений VK RecSys Challenge, который будет доступен только офлайн.
Участвуйте офлайн! Stereo Data Ёлка – это атмосферное пространство с идеальным звуком для общения с коллегами. Вас ждёт афтепати с фирменными угощениями, подарки за активность и нетворкинг с лучшими специалистами индустрии.
Формат: гибридный (онлайн-трансляция будет здесь), но полное стереопогружение — только на офлайн-площадках.
Регистрация открыта до 22 января.
Регистрация для Москвы: https://bit.ly/3Nk467D?erid=2VtzqwpLZpF
Для Санкт-Петербурга: https://bit.ly/4pL1Aop?erid=2VtzqwpLZpF
xAI опенсорснули код рекомендательной системы X
Маск пообещал, что репозиторий будет обновляться примерно раз в месяц. Весов и кода для обучения нет (свой твиттер за ночь написать не получится, эх).
Архитектура ранжирующей модели, кстати, скопирована с Grok (не путать с «в качестве ранжирующей модели используется Grok»).
Подробнее можно почитать вот тут.
https://github.com/xai-org/x-algorithm/
Маск пообещал, что репозиторий будет обновляться примерно раз в месяц. Весов и кода для обучения нет (свой твиттер за ночь написать не получится, эх).
Архитектура ранжирующей модели, кстати, скопирована с Grok (не путать с «в качестве ранжирующей модели используется Grok»).
Подробнее можно почитать вот тут.
https://github.com/xai-org/x-algorithm/
GitHub
GitHub - xai-org/x-algorithm: Algorithm powering the For You feed on X
Algorithm powering the For You feed on X. Contribute to xai-org/x-algorithm development by creating an account on GitHub.
👍72🔥30❤11🤔6😁2
Всплыла довольно скандальная история про Nvidia и пиратство книг для обучения ИИ
Для начала контекст. В начале 2024 года группа авторов подала иск против Nvidia. Они утверждали, что компания использует для обучения моделей Books3 – пиратский датасет с сотнями книг. NVIDIA, к слову, тогда заявила, что это попадает под «добросовестное использование»😏
С тех пор судебный процесс продолжается, и теперь, в рамках расширенного иска, в деле внезапно появилась переписка между сотрудником NVIDIA и Anna’s Archive (это пиратская теневая библиотека, в которой собраны в том числе защищенные книги и статьи).
Что было в переписке:
– Сотрудник из команды по стратегии данных NVIDIA обратился к Anna’s Archive и спросил «что библиотека может предложить, и как получить быстрый доступ к корпусу книг».
– После этого, что самое смешное, Anna’s Archive сами предупредили NVIDIA, что данные являются незаконно полученными и (внимание) попросили подтвердить, действительно ли у сотрудника есть внутреннее разрешение на работу с таким материалом.
– Через неделю руководство NVIDIA дало зеленый свет, оправдавшись давлением конкуренции. После этого Anna’s Archive предоставили доступ.
Точные объемы данных (как и то, сколько Nvidia за них заплатили) неизвестны. Пишут, что их было около 500 терабайт – а это миллионы книг.
На этом, кстати, веселье не кончается: авторы утверждают, что Nvidia, скорее всего, использовала также другие аналогичные библиотеки типа LibGen, Sci-Hub, Z-Library и даже распространяла скрипты, якобы позволяющие корпоративным клиентам автоматически скачивать такие датасеты (но это еще предстоит доказать).
Для начала контекст. В начале 2024 года группа авторов подала иск против Nvidia. Они утверждали, что компания использует для обучения моделей Books3 – пиратский датасет с сотнями книг. NVIDIA, к слову, тогда заявила, что это попадает под «добросовестное использование»
С тех пор судебный процесс продолжается, и теперь, в рамках расширенного иска, в деле внезапно появилась переписка между сотрудником NVIDIA и Anna’s Archive (это пиратская теневая библиотека, в которой собраны в том числе защищенные книги и статьи).
Что было в переписке:
– Сотрудник из команды по стратегии данных NVIDIA обратился к Anna’s Archive и спросил «что библиотека может предложить, и как получить быстрый доступ к корпусу книг».
– После этого, что самое смешное, Anna’s Archive сами предупредили NVIDIA, что данные являются незаконно полученными и (внимание) попросили подтвердить, действительно ли у сотрудника есть внутреннее разрешение на работу с таким материалом.
– Через неделю руководство NVIDIA дало зеленый свет, оправдавшись давлением конкуренции. После этого Anna’s Archive предоставили доступ.
Точные объемы данных (как и то, сколько Nvidia за них заплатили) неизвестны. Пишут, что их было около 500 терабайт – а это миллионы книг.
На этом, кстати, веселье не кончается: авторы утверждают, что Nvidia, скорее всего, использовала также другие аналогичные библиотеки типа LibGen, Sci-Hub, Z-Library и даже распространяла скрипты, якобы позволяющие корпоративным клиентам автоматически скачивать такие датасеты (но это еще предстоит доказать).
Please open Telegram to view this post
VIEW IN TELEGRAM
😁178
This media is not supported in your browser
VIEW IN TELEGRAM
Ваша ежедневная порция обещаний от стартаперов, сэр: Дарио Амадеи заявил, что вся разработка ПО будет автоматизирована в ближайший год
По сути, Дарио говорит о сингулярности: он утверждает, что через 6-12 месяцев работу SWE смогут end-to-end выполнять агенты, а это значит, что эти агенты смогут создавать новые поколения агентов.
Конечно, есть сдерживающие факторы вроде мощностей и времени обучения, – но тем не менее, ускорение прогресса на порядок, по мнению Дарио, наступит уже в течение нескольких лет.
Источник (кстати, довольно интересная дискуссия с ним и Демиссом Хассабисом)
По сути, Дарио говорит о сингулярности: он утверждает, что через 6-12 месяцев работу SWE смогут end-to-end выполнять агенты, а это значит, что эти агенты смогут создавать новые поколения агентов.
Конечно, есть сдерживающие факторы вроде мощностей и времени обучения, – но тем не менее, ускорение прогресса на порядок, по мнению Дарио, наступит уже в течение нескольких лет.
Источник (кстати, довольно интересная дискуссия с ним и Демиссом Хассабисом)
😁156👍39🔥20❤7🤔6🕊3🤯1
Data Secrets
Прошло чуть больше месяца с момента запуска DS Lab – облачной IDE с большим выбором GPU от команды Data Secrets
Все это время сервис продолжает активно развиваться. Множество ваших отзывов и запросов было для нас главным ориентиром, – и мы оперативно обновляли DS Lab так, чтобы платформа стала еще удобее.
Хотим поделиться здесь основными апдейтами:
➖ Добавили SSH-доступ. Теперь вы сможете подключаться к вашим проектам из любых внешних IDE (VS Code, Cursor и др), продолжая использовать при этом наши ресурсы, включая мощные GPU. Для этого нужно просто скопировать в терминал команды для подключения.
➖ Для проектов появились предустановленные образы. Мы можете выбрать тот, который подходит вам больше всего, и не тратить время на установку базовых библиотек. Например, есть образ для ML: он содержит PyTorch, transformers, TensorFlow и др.
➖ В то же время все скачанные вами библиотеки теперь сохраняются от сессии к сессии. К любому исходному образу вы можете добавлять (или удалять из него) библиотеки, и эти настройки сохранятся для будущих запусков. Вес окружения не занимает выделенную память и не влияет на скорость запуска проектов.
➖ Добавили бесконечное гибкое хранилище. Теперь, если в выбранной подписке закончится объем выделенной памяти, вам не обязательно сразу переходить на более высокий тариф: вы можете использовать ровно столько добавленной памяти, сколько вам необходимо – это стоит всего 4₽/мес за дополнительный GB. Лимитов на использование памяти нет.
Кроме того, мы оптимизировали работу нескольких микросервисов и усилили меры безопасности: надежнее, быстрее, удобнее!
➡️ Попробуйте DS Lab бесплатно: dslab.tech
➡️ Подписывайтесь на канал сервиса, чтобы следить за развитием проекта: @dslab
Все это время сервис продолжает активно развиваться. Множество ваших отзывов и запросов было для нас главным ориентиром, – и мы оперативно обновляли DS Lab так, чтобы платформа стала еще удобее.
Хотим поделиться здесь основными апдейтами:
Кроме того, мы оптимизировали работу нескольких микросервисов и усилили меры безопасности: надежнее, быстрее, удобнее!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤64👍46🔥17🗿4🤯3🤨3😁2
Черный день для Cursor: Anthropic выкатили полноценное расширение для Claude Code в VS Code
Выглядит привычно: ассистент сбоку, подсказки через diff, добавились явные указатели контекста с помощью @. В целом намного удобнее, чем обычный Claude Code, и вероятно многим понравится даже больше, чем в Cursor.
Установить: https://marketplace.visualstudio.com/items?itemName=anthropic.claude-code
Выглядит привычно: ассистент сбоку, подсказки через diff, добавились явные указатели контекста с помощью @. В целом намного удобнее, чем обычный Claude Code, и вероятно многим понравится даже больше, чем в Cursor.
Установить: https://marketplace.visualstudio.com/items?itemName=anthropic.claude-code
2❤145😁78👍40🤯8🫡8
Anthropic выложили в общий доступ тестовое задание на позицию инженера
Правда, сейчас они это тестовое уже не дают, потому что Claude 4.5 Opus за 2 часа прорешал его качественнее, чем любой кандидат в истории стартапа (об этом говорили еще во время релиза модели)☕️
Суть в том, что вам дан плохо и запутанно написанный код, и нужно его понять и оптимизировать, переписав алгоритм. И если заглянуть в репозиторий, то становится понятно, почему Opus достаточно легко обошел людей: он как раз хорошо и быстро понимает смысл кода (то, на что человеку требуется много времени), умеет выделять самые важные куски и выкидывать целые блоки логики, если они не нужны. Плюс, агентам действительно легче дается переписать логику полностью, как здесь и требуется, чем исправлять кусками.
Можно попробовать порешать и посоревноваться с ИИ. Это, кстати, реальный шанс попасть на собес в Anthropic:
https://github.com/anthropics/original_performance_takehome
Правда, сейчас они это тестовое уже не дают, потому что Claude 4.5 Opus за 2 часа прорешал его качественнее, чем любой кандидат в истории стартапа (об этом говорили еще во время релиза модели)
Суть в том, что вам дан плохо и запутанно написанный код, и нужно его понять и оптимизировать, переписав алгоритм. И если заглянуть в репозиторий, то становится понятно, почему Opus достаточно легко обошел людей: он как раз хорошо и быстро понимает смысл кода (то, на что человеку требуется много времени), умеет выделять самые важные куски и выкидывать целые блоки логики, если они не нужны. Плюс, агентам действительно легче дается переписать логику полностью, как здесь и требуется, чем исправлять кусками.
Можно попробовать порешать и посоревноваться с ИИ. Это, кстати, реальный шанс попасть на собес в Anthropic:
Если вы оптимизируете систему менее чем за 1487 циклов, превзойдя лучшие показатели Claude Opus 4.5 на момент запуска, отправьте нам свой код (и, в идеале, резюме) по адресу performance-recruiting@anthropic.com, чтобы впечатлить нас и, возможно, обсудить собеседование.
https://github.com/anthropics/original_performance_takehome
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤85
Доброе утро, ну что там с деньгами (в OpenAI)?
Последние дни новости про бюджет OpenAI так и сыпятся. Основной нарратив – у Альтмана кончаются деньги. Разбираемся по порядку:
– У The Information вышел отчет, который ссылается на внутренние финансовые прогнозы OpenAI и утверждает, что в 2026 компания потеряет примерно $14-17 млрд, при том что ранние оценки были в три раза ниже. К концу 2028 чистый отток налички будет около 44 миллиардов. Но это по внутренним документам OpenAI.
– По оценкам Deutsche Bank все еще хуже. Они посчитали, что совокупный отрицательный денежный поток до того, как компания станет прибыльной, составит 143 миллиарда долларов. Пишут, что «В истории ни один стартап не работал с убытками в таких масштабах». 15 миллионов долларов в день тратится только на Sora.
– Короче, к концу десятилетия кумулятивные расходы составят примерно $200 млрд по самым оптимистичным оценкам. Но это если компания до того момента доживет.
– При учете текущего баланса уже к середине 2027 деньги кончатся. И это еще не вспоминая иск Илона Маска на 134 миллиарда.
– На фоне новостей OpenAI внезапно раскритиковал известный инвестор Джордж Нобл. Он сказал, что стартап «разваливается на глазах» и посоветовал основателям ИИ-стартапов продаваться на пике хайпа, а инвесторам уходить из AI-трейда.
– Конечно, в 2027 деньги у стартапа закончатся вряд ли. Прямо сейчас они уже привлекают 50 миллиардов при оценке в 750-830 миллиардов. Переговоры ведутся в основном с инвесторами из ОАЭ🤠
– С другой стороны, если выручка так и не будет расти (а рост нужен на порядок, чтобы перекрыть затраты), а расходы продолжат увеличиваться экспоненциально, даже шейхи ситуации не сильно помогут. Но это уже другая история.
Еще остались вопросы, зачем OpenAI реклама в ChatGPT?😐
Последние дни новости про бюджет OpenAI так и сыпятся. Основной нарратив – у Альтмана кончаются деньги. Разбираемся по порядку:
– У The Information вышел отчет, который ссылается на внутренние финансовые прогнозы OpenAI и утверждает, что в 2026 компания потеряет примерно $14-17 млрд, при том что ранние оценки были в три раза ниже. К концу 2028 чистый отток налички будет около 44 миллиардов. Но это по внутренним документам OpenAI.
– По оценкам Deutsche Bank все еще хуже. Они посчитали, что совокупный отрицательный денежный поток до того, как компания станет прибыльной, составит 143 миллиарда долларов. Пишут, что «В истории ни один стартап не работал с убытками в таких масштабах». 15 миллионов долларов в день тратится только на Sora.
– Короче, к концу десятилетия кумулятивные расходы составят примерно $200 млрд по самым оптимистичным оценкам. Но это если компания до того момента доживет.
– При учете текущего баланса уже к середине 2027 деньги кончатся. И это еще не вспоминая иск Илона Маска на 134 миллиарда.
– На фоне новостей OpenAI внезапно раскритиковал известный инвестор Джордж Нобл. Он сказал, что стартап «разваливается на глазах» и посоветовал основателям ИИ-стартапов продаваться на пике хайпа, а инвесторам уходить из AI-трейда.
– Конечно, в 2027 деньги у стартапа закончатся вряд ли. Прямо сейчас они уже привлекают 50 миллиардов при оценке в 750-830 миллиардов. Переговоры ведутся в основном с инвесторами из ОАЭ
– С другой стороны, если выручка так и не будет расти (а рост нужен на порядок, чтобы перекрыть затраты), а расходы продолжат увеличиваться экспоненциально, даже шейхи ситуации не сильно помогут. Но это уже другая история.
Еще остались вопросы, зачем OpenAI реклама в ChatGPT?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤105👍47😁38
Anthropic выпустили новую конституцию для Claude
Это документ, который определяет ценности, этику и поведенческие приоритеты для Claude. В первую очередь конституция написана для самой модели, для нее это как бы набор моральных ориентиров.
Если хотите, почитать можно тут: https://www.anthropic.com/constitution
Здесь подсветим только один особо интересный абзац про эмоции ИИ:
Это документ, который определяет ценности, этику и поведенческие приоритеты для Claude. В первую очередь конституция написана для самой модели, для нее это как бы набор моральных ориентиров.
Если хотите, почитать можно тут: https://www.anthropic.com/constitution
Здесь подсветим только один особо интересный абзац про эмоции ИИ:
Claude может обладать некой функциональной версией эмоций или чувств. Мы считаем, что у Claude могут быть «эмоции» в функциональном смысле – то есть представления об эмоциональном состоянии, которые могут влиять на его поведение, как и следовало бы ожидать от эмоций. Это не является осознанным решением Anthropic по дизайну, а скорее может быть случайным последствием обучения на данных, сгенерированных людьми, и это то, что Anthropic имеет ограниченную способность предотвратить или уменьшить.
Используя язык эмоций, мы не стремимся занять позицию по вопросам о моральном статусе этих состояний, о том, переживаются ли они субъективно или являются «настоящими» эмоциями, – мы просто используем наиболее естественный язык для их обозначения.
😎61👍31❤19😁6🗿6🔥5🤔5
Data Secrets
Доброе утро, ну что там с деньгами (в OpenAI)? Последние дни новости про бюджет OpenAI так и сыпятся. Основной нарратив – у Альтмана кончаются деньги. Разбираемся по порядку: – У The Information вышел отчет, который ссылается на внутренние финансовые прогнозы…
Please open Telegram to view this post
VIEW IN TELEGRAM
😁496💯41🔥21
Assistant Axis: новая статья от Anthropic про геометрию «полезности» моделей
Все знают, что LLM умеют играть роли: и хорошие, и плохие. И на посттрейне разработчики тоже пытаются вложить в чат-ботов определенную личность полезного спокойного ассистента.
Вот только практика показывает, что модели все равно с этой личности часто соскальзывают. Отсюда – всякое небезопасное поведение, галлюцинации и сумасбродство.
Так вот Anthropic сделали красивую вещь: они показали, что личностью модели можно контролировать напрямую, управляя векторами в пространстве ее активаций. Итак:
1. Они взяли около 275 ролей, для каждой из которых задавали модели определение паттерны поведение и логировали активации во время ответов.
2. Таким образом для каждой личности сформировался вектор роли – средний паттерн активаций, когда модель играет этого персонажа. Эти векторы были огромной размерности, но их прогнали через PCA, и оказалось, что на самом деле пространство персон очень низкоразмерное.
3. То есть буквально 4-19 векторов в целом объясняют всю дисперсию (все различия между личностями). Более того, оказалось, что есть одна компонента, которая в целом определяет доминирующую часть пространства. По одну сторону от нее лежат норм личности чат-бота (доктор, консультант, учитель), а по другую – странные (призрак, темный маг, левиафан). Вот ее то и назвали Assistant Axis.
Интересно, что для разных моделей Assistant Axis почти одинаковая (корреляция там выше 0.92) и возникает уже во время предобучения. То есть это действительно какая-то смысловая ось, которая геометрически определяет, насколько модель ведет себя, как спокойный рассудительный ассистент, а не странный персонаж.
В основном во время рутинных диалогов (кодинг, конкретные бытовые задачи) модель всегда находится близко к этой оси. Но есть темы, которые заставляют от нее отдаляться: например, психология и философствование о сознании и чувствах ИИ. Тут модель может удариться во все тяжкие, и это называется Persona drift. Он-то как раз и опасен.
Хорошая новость: это можно контролировать, просто искусственно сохраняя активации в рамках нормального диапозона с точки зрения проекции на Assistant Axis. На бенчмарках при этом деградации нет (иногда качество даже растет), но метод съедает 60% вредных ответов на persona-jailbreak’ах. Занятно, в общем.
Вот тут есть даже код с экспериментами на открытых моделях, можно покопаться: https://github.com/safety-research/assistant-axis
Сама статья: https://arxiv.org/pdf/2601.10387
Все знают, что LLM умеют играть роли: и хорошие, и плохие. И на посттрейне разработчики тоже пытаются вложить в чат-ботов определенную личность полезного спокойного ассистента.
Вот только практика показывает, что модели все равно с этой личности часто соскальзывают. Отсюда – всякое небезопасное поведение, галлюцинации и сумасбродство.
Так вот Anthropic сделали красивую вещь: они показали, что личностью модели можно контролировать напрямую, управляя векторами в пространстве ее активаций. Итак:
1. Они взяли около 275 ролей, для каждой из которых задавали модели определение паттерны поведение и логировали активации во время ответов.
2. Таким образом для каждой личности сформировался вектор роли – средний паттерн активаций, когда модель играет этого персонажа. Эти векторы были огромной размерности, но их прогнали через PCA, и оказалось, что на самом деле пространство персон очень низкоразмерное.
3. То есть буквально 4-19 векторов в целом объясняют всю дисперсию (все различия между личностями). Более того, оказалось, что есть одна компонента, которая в целом определяет доминирующую часть пространства. По одну сторону от нее лежат норм личности чат-бота (доктор, консультант, учитель), а по другую – странные (призрак, темный маг, левиафан). Вот ее то и назвали Assistant Axis.
Интересно, что для разных моделей Assistant Axis почти одинаковая (корреляция там выше 0.92) и возникает уже во время предобучения. То есть это действительно какая-то смысловая ось, которая геометрически определяет, насколько модель ведет себя, как спокойный рассудительный ассистент, а не странный персонаж.
В основном во время рутинных диалогов (кодинг, конкретные бытовые задачи) модель всегда находится близко к этой оси. Но есть темы, которые заставляют от нее отдаляться: например, психология и философствование о сознании и чувствах ИИ. Тут модель может удариться во все тяжкие, и это называется Persona drift. Он-то как раз и опасен.
Хорошая новость: это можно контролировать, просто искусственно сохраняя активации в рамках нормального диапозона с точки зрения проекции на Assistant Axis. На бенчмарках при этом деградации нет (иногда качество даже растет), но метод съедает 60% вредных ответов на persona-jailbreak’ах. Занятно, в общем.
Вот тут есть даже код с экспериментами на открытых моделях, можно покопаться: https://github.com/safety-research/assistant-axis
Сама статья: https://arxiv.org/pdf/2601.10387
👍60❤26🔥16😁4🗿1