Data Secrets
90.1K subscribers
6.9K photos
772 videos
20 files
3.08K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Anthropic 🤝 SpaceX

Компании Дарио Амодеи и Илона Маска только что объявили о крупном партнерстве.

SpaceXAI предоставит Anthropic доступ ко всей вычислительной мощности дата-центра Colossus 1 в Мемфисе. Это примерно 300 мегаватт вычислительных мощностей или 220к GPU.

Это одна из крупнейших инфраструктурных договоренностей в секторе на данный момент.

В честь закрытия сделки Anthropic уже: удвоили 5-часовые лимиты для платных подписок; полностью убрали сокращение лимитов в пиковые часы (ура!); и повысили лимиты на Opus в API, включая RPM, TPM и квоты. Дальше обещают больше.

Сумма сделки не разглашается.
🔥28160👍29🤯11🤔4👏3😁2🕊1
Агенты Anthropic теперь будут самостоятельно улучшаться в свободное время

Компания запустила в рисерч превью функцию dreaming. Она активируется в простое между сессиями и позволяет агенту «самообучаться».

claude.com/blog/new-in-claude-managed-agents

Модель в фоновом режиме просматривает предыдущие взаимодействия, выявляет паттерны типа повторяющихся ошибок, общих предпочтений пользователей или типовых рабочих процессов. Затем на основе анализа агент обновляет свою память, добавляя туда эффективные паттерны и правила.

Можно выбрать автоматическое обновление или с ручным подтверждением. Теоретически, оптимизация должна быть ощутимая: это не только про качество работы агента как таковое, но и про компактную память и, следовательно, снижение потребления ресурсов.

Пока функция работает только в рамках Claude Managed Agents, запросить доступ можно здесь

Ждем, пока покатят на Claude Code
👍150🔥5127🕊4🤨2🤯1
После объявления о партнерстве SpaceX и Anthropic в X пошла волна мемов. Вашему вниманию:
😁202🔥6720👍5🤔1🤯1🤝1
Российские айтишники забили тревогу на фоне потери доступа к аккаунтам Claude

Как пишет Baza, с проблемой уже столкнулись сотни айтишников и бизнесменов из РФ, только на основании паспорта. Главная беда - потеря всех наработок, вроде перепроверенной и переписанной руками архитектуры модулей, разбора багов.

Утечка логов грозит обернуться катастрофическими последствиями, а дальнейшие действия со стороны Anthropic по отношению к российским пользователям непредсказуемы.

Люди паникуют - для кого-то блокировка равна потере работы. Один из айтишников напомнил историю с Рыбарем и ChatGPT, которая теперь кажется трендом. Подобные случаи усиливают тревогу вокруг того, насколько безопасно строить ежедневную работу на сервисах, доступ к которым пользователь не контролирует.
😁282🗿70🔥2823🍾1916🤔10👍77🤨4🆒1
Нейросети думают сложными геометрическими структурами – новое исследование от Goodfire

Эта статья вызвала в последние дни очень много интереса в сообществе. Исследователи из Goodfire впервые показали занятную вещь: внутреннее пространство активаций моделей организовано не хаотично, а в виде многомерных форм, поверхностей и траекторий. Часто эти многообразия вполне интерпретируемы.

Выглядит это примерно как на первом видео. Авторы назвали явление neural geometry. Причем наблюдается оно не только в LLM, но и в vision моделях, и даже в хайповых world models.

Отличный пример – дни недели. Внутри модели они лежат не по прямой, а по круговой траектории. То есть Monday → Tuesday → Wednesday → … → Sunday образуют циклическую структуру в пространстве активаций.

На практике это значит, что если пытаться линейно перейти от понедельника к пятнице, промежуточные состояния будут бессмысленны, а вот если двигаться, глубо говоря, по окружности – с изменением угла, а не линейным смешиванием координат, – то по пути попадутся вторник, среда и четверг (второе видео).

Подобным геометрическим образом на многообразиях определенных форм лежат время, числа, цвета, биологическая таксономия и куча всего другого.

Авторы настаивают, что исследования neural geometry – это новый фронтир в интерпретации нейросетей, и именно геометрия может стать ключом от черного ящика.

www.goodfire.ai/research/the-world-inside-neural-networks#
🤩15082🔥43👍19🤔10😁7🤯32
Media is too big
VIEW IN TELEGRAM
Thinking Machines предложили новый тип моделей, которые могут работать в потоке

Они назвали это interaction models. Идея в том, что такая модель изначально обучается для живого взаимодействия с человеком, в отличие от линейных интерфейсов в формате «пользователь написал -> модель ответила», к которым мы привыкли.

Например, она не ждет конца фразы, чтобы начать генерировать ответ; может перебить, если видит ошибку; способна говорить одновременно с пользователем (незаменимо для live-перевода).

Технически, что самое интересное, это делается не через какие-то внешние адаптеры, а вшивается прямо в процесс трейна.

Сама живость диалога достигается за счет разделения входного потока на маленькие чанки примерно по 200 мс, которые поступают в модель в формате стриминга. То есть пока пользователь еще говорит, модель уже видит новые токены и может начать что-то генерировать. За счет этого и становится возможным перебивание, живой перевод и прочее.

Звучит прямо интересно, с такой моделью хотелось бы поболтать. Но с инженерной точки зрения есть проблемы.

Например, большую модель в такой процесс встроить почти невозможно, будет слишком медленно. Так что авторы предлагают делить систему на две части: быструю interaction model, которая поддерживает живой диалог, и background model, которая берет на себя ризонинг, поиск, инструменты и тд. Когда фоновой модели есть что вернуть, interaction model встраивает это в разговор. Идея логичная, но с большими сложностями в реализации и масштабировании.

Плюс, контекст. Для системы в текущем виде длинные сессии вообще неподъемны, авторы это признают. В общем, замысел крайне занятный, но пока что – с большими дырами.

thinkingmachines.ai/blog/interaction-models/
👍14751🔥27😁7🗿4
Кажется, мы постепенно подходим к моменту, когда новые материалы будут создавать не в лаборатории, а сначала в датасете

«Норникель» и Институт Курнакова РАН запускают проект по созданию ИИ-платформы для генерации новых материалов на основе палладия. По сути это попытка собрать один из первых в России полноценных industrial-grade datasets для цифрового материаловедения.

Что особенно интересно: десятки тысяч экспериментальных измерений, накопленных ИОНХ РАН за десятилетия, впервые превращаются в обучающую среду для ИИ. Не статьи. Не abstract’ы. А реальные данные: составы, кристаллические структуры, физико-химические свойства, поведение материалов в разных условиях.

На первом этапе минимум тысяча уникальных составов. Дальше идет генеративное проектирование новых материалов под конкретные задачи промышленности.

И вот здесь начинается самое важное.Сегодня поиск нового материала – это годы экспериментов. ИИ пытается превратить это в задачу предсказания: если изменить структуру, то как изменятся свойства? Если нужен материал под экстремальную температуру, сверхтонкое покрытие или конкретную электропроводность, то можно ли сгенерировать его заранее?

Один из главных кейсов – попытка заменить золото в микроэлектронике. Сейчас индустрия ежегодно использует около 250 тонн золота: контакты, дорожки, покрытия.

Но при миниатюризации электроники старые материалы начинают упираться в физические ограничения. Палладий здесь выглядит почти идеальным кандидатом: дешевле золота, легче и при этом хорошо работает в защитных и контактных покрытиях.

Фактически задача ИИ-платформы звучит так: «сгенерируй материал под конкретный техпроцесс». Например: для серверных ИИ-процессоров, силовой электроники электромобилей, промышленных датчиков, будущих сверхтонких покрытий.

И это похоже не просто на «AI for science», а на переход к модели, где промышленность начинает обучать собственные фундаментальные ИИ на уникальных отраслевых данных.
🔥14232👍25😁18🗿8🤯3🤔2🤨2
Data Secrets
Thinking Machines предложили новый тип моделей, которые могут работать в потоке Они назвали это interaction models. Идея в том, что такая модель изначально обучается для живого взаимодействия с человеком, в отличие от линейных интерфейсов в формате «пользователь…
This media is not supported in your browser
VIEW IN TELEGRAM
А давайте оценим тот факт, что в новом релизе стартапа Миры Мурати Thinking Machines голосовую систему демонстрирует тот же сотрудник, что 2 года назад показывал первое демо GPT-4o в OpenAI

Ну давайте, скажите, что это сделано не специально
85😁77👍12🔥4🕊1
DeepMind сделали указатель мышки с ИИ

Да, ИИ может в перспективе изменить даже такие привычные вещи. Компьютерный курсор как концепция не менялся почти 50 лет, и вот DeepMind предлагают его переосмыслить.

В их механике курсор – это больше не просто курсор, которым мы водим по интерфейсу, а скорее выделитель контекста для встроенного агента.

Например, вы наводите курсор на таблицу и просите «у мышки» сформировать из нее график. Или выделяете название ресторана на картинке, а агент для вас его бронирует.

Тем самым с человека частично снимается даже такая когнитивная нагрузка, как написание промпта. То есть вам не надо объяснять ИИ детали, вы просто тыкаете во что-то и говорите «расскажи про ЭТО», «перемести ЭТО СЮДА», «исправь ЗДЕСЬ».

И, на самом деле, такое совмещение речи с жестами для человека максимально естественно, так что идея прикольная.

deepmind.google/blog/ai-pointer/

Попробовать уже можно в Gemini in Chrome и в Google AI Studio, а еще указатель собираются встроить в новые ноутбуки GoogleBook, спроектированные специально под ИИ-экспириенс.
118🔥67🗿23😁20👍1815🤨14😍2🍓2👾1
Data Secrets
Мы?
Шутки про полуоткрытые ноутбуки – уже не шутки

Инженеры везде таскают с собой слегка открытые ноутбуки, чтобы не прерывать работу агентов. Об этом явлении даже написал Business Insider. В репортаже один из разработчиков сказал, что это современный аналог iPad kid для миллениалов 😐

Приоткрывать лаптопы настолько стало рутиной, что предприимчивые разработчики уже придумали специальные USB-заглушки.

Они имитируют подключение внешнего монитора, и это позволяет использовать ноут в закрытом состоянии, не переводя в спящий режим.

Современный проблемы требуют современных решений
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁29237🔥27🗿16👍7🤩4🤝322😎1