Data Secrets
77.4K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Исследование: в России прогнозируется двукратный рост рынка ПО и ИТ-услуг к 2032 году

Объём рынка тиражного программного обеспечения (ПО) в России увеличился с 287 млрд рублей в 2022 году до 448 млрд рублей в 2024-м, демонстрируя среднегодовой рост на 25%, - так перспективы рынка ИТ в своем свежем исследовании оценивает консалтинговая компания Б1.

В числе ключевых драйверов роста эксперты называют импортозамещение, активное внедрение цифровых технологий и модернизация систем, приложений с интеграцией в них функционала AI. Особенно заметный вклад в развитие сектора вносят госпредприятия и бизнес, переходящие на отечественные программные решения.

По оценкам аналитиков, к 2032 году объем рынка ИТ-услуг может превысить 1,1 трлн рублей, при этом заказная разработка к 2032 году вырастет почти вдвое – до 282 млрд руб. Последнему сегменту в исследовании уделяется особое внимание: за год он вырос уже на 12% и достиг 150 млрд рублей в 2024 году. Среди лидеров этого направления Б1 выделяет «FabricaONE.AI» (11%), «БФТ-холдинг» (7%) и «Ланит» (6%).

Дальше рынок явно будет консолидироваться – игроков много, а спрос на продукты с интеграцией продвинутых технологий (аналитики, AI, BI) только усиливается. Наглядная иллюстрация выражения «Успех – это успеть».
1😁78🗿22👍117🤯54🫡2🦄2❤‍🔥1
Мем дня: в Америке 16% сотрудников делают вид, что используют ИИ

Все затем, чтобы удовлетворить руководство. 75% работников либо официально, либо неофициально обязаны внедрять ИИ в свою деятельность.

В таких условиях само собой появляется ощущение, что отказ сделает тебя менее компетентным, даже если ИИ тебе по факту и не нужен. И это тоже подтверждают цифры: 22% работников чувствуют давление использовать ИИ даже в тех случаях, когда не уверены в своих навыках работы с ним.

Что тут скажешь. Дожили 😐

www.howdy.com/blog/AI-fatigue-statistics
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁186👍2316129❤‍🔥1
Разбираем статью подписчика: дискретный подход к машинному обучению

Авторы (один из них – @x7CFE) предлагают перейти от привычных нейросетей и методов их обучения к работе с дискретными элементами – разреженными битовыми векторами.

Идея основана на том, как кодирует и обрабатывает информацию мозг живого существа. В частности, прототипом послужило строение неокортекса, гиппокампа и других его определяющих частей. По части теории исследователи опирались на гипотезу многообразия и лемму Йонеды, а на практике работает все примерно так:

1. Исходные данные кодируются в так называемые стимулы – как раз те самые битовые векторы. Кодирование происходит по набору правил, то есть это не привычные эмбеддинги. Но полезные свойства сохраняются: стимулы похожих понятий похожи друг на друга.

2. Полученные векторы наносятся на плоскость и происходит кластеризация, выявление паттернов и структур. Для каждого кластера формируется детектор, из которого мы получаем дискретные структурные эмбеддинги.

3. Эти эмбеддинги показывают, какие кластеры активируются, когда модель видит новое поступающее на вход слово. Далее процесс повторяется на следующем уровне иерархии.

То есть обучение превращается в изучение четких ассоциаций, а инференс – в поиск соответствий в памяти. И получается, что:

– Модель более устойчива к галлюцинациям
Память можно редактировать в любое время, добавлять в нее что-то или удалять (привет элаймент и machine unlearning!)
– Это не черный ящик: все шаги модели интерпретируемы и понятны

Модель тестировали на нескольких задачах, в том числе на медицинских изображениях (да, это работает для разных модальностей). Показано, что она способна понимать и интерпретировать незнакомые данные, улавливать их структуру и четко воспринимать семантику.

В статье приведено еще несколько экспериментов и аргументов, почему это удачный сетап, и чем он лучше современного подхода. Так что советуем почитать полностью, реально интересно ⬇️

- Статья на архив
- Лендинг с версией на русском языке, данными и кодом
- Сообщение автора из нашего чата с кратким разбором результатов

В комментариях приглашаем задавать вопросы лично автору (ну и, конечно, поздравлять его с крутой публикацией!)
3196🔥7931👍2214🗿4🤩3🍾3😁1👌1
Внезапно: OpenAI в будущем планирует стать платформой для аренды мощностей типа AWS

Об этом рассказала финансовый директор стартапа. Что это теоретически может означать:

1. Что OpenAI в перспективе планируют переключиться с огромных затрат на обучение на оптимизацию и поддержку в первую очередь инференса. Это чуть не единственный их шанс начать получать прибыль, кстати.

2. И, возможно, для инференса они будут использовать не Nvidia, а какое-то железо подешевле, – а Nvidia как раз сдавать. У Хуанга монополия на чипы для обучения, но под инференс можно попытаться оптимизировать и что-нибудь другое.

3. Ну и RIP огромные бюджеты ресурсов на рисерч, видимо…

Все странноватее и странноватее
110632🤔258😁62👍1
Наткнулись тут на забавное

Однажды в 1912 году Эйнштейн писал своему другу:

«Я никогда в жизни так тяжело не работал и теперь испытываю благоговейный ужас перед математикой, которую до сих пор в своей наивности считал просто роскошью в её более утончённых формах! По сравнению с этой задачей исходная теория относительности – детская забава»


А теперь угадайте, какую именно математику он имеет в виду.

Ответ: тензоры и тензорный анализ. В те годы он работал над проблемой гравитации и тензорный аппарат был ему нужен для того, чтобы описать, как гравитация связана с геометрией пространства-времени.

Короче, теперь вы знаете, чем себя утешить, когда в следующий раз запутаетесь в размерностях тензоров в PyTorch
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁282🔥32218🤯77👍6🍾5🤔3
Мы наконец-то дождались официального анонса новой DeepSeek-V3.1. Главное:

Инференс действительно гибридный: одна модель, два мода. Причем DeepSeek-V3.1-Think «соображает» быстрее DeepSeek-R1-0528 (см. график 3): для получения тех же результатов тратится намного меньше токенов.

Улучшенный tool use и мультиагентные способности. На Terminal bench перформит в 6 раз лучше R1-0528. На SWE-bench выбивает 66%. Для сравнения, результат gpt-oss – 62%.

Цены: 0.56$/1.68$ за млн токенов. Немного дороже gpt-oss, но дешевле, например, Sonnet. Эти цены вступят в силу 6 сентября + с этой даты перестанут действовать ночные скидки.

И еще раз ссылка на веса: huggingface.co/deepseek-ai/DeepSeek-V3.1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥7227👍18🤗3🤨21😁1
GPT-5 решила (почти) открытую математическую задачу

Инженер из OpenAI рассказал о том, как скормил модели статью с нерешенной мат.проблемой и модель, порассуждав 17 минут, смогла улучшить решение ученых.

Речь идет об этой статье. Она относительно свежая и в ней изучается такой вопрос: при каких условиях на размер шага eta в градиентном спуске в гладкой выпуклой оптимизации кривая, определяемая значением функции итераций, будет выпуклой?

Люди смогли доказать, что при eta меньше 1/L кривая выпукла, а при eta больше 1,75/L – нет. Что происходит в диапазоне [1/L, 1,75/L] – осталось открытым вопросов.

Так вот GPT-5 всего за 17 минут удалось улучшить границу и показать, что кривая выпукла при eta меньше 1.5/L. То есть да, разрыв устранен не полностью, но модель сократила его в три раза, при этом приведя полностью прозрачное и правильное доказательство своего утверждения.

x.com/sebastienbubeck/status/1958198661139009862
3🔥355👍57🤯432115🤔6👏5😁5
МТС Web Services запустила партнерскую программу: в ее рамках компании смогут перепродавать MWS GPT с более чем 40 LLM и платформу для хранения, обработки и анализа данных - MWS Data.


Итак обычно облачные и AI-сервисы продаются в лоб – напрямую клиентам. Но масштабироваться таким образом тяжело, и партнёрские программы почти всегда сводятся к скучным % за лиды.

В MWS решили сделать иначе. В августе 2025-го они запускают трёхуровневую партнёрку:
– агентская модель (просто привёл клиента – заработал до 20%)
– реселлерская (покупаешь по спецценам, перепродаёшь – до 35% маржи)
– white-label (можно взять MWS GPT, Data или продукты MWS Cloud, встроить в свой сервисы и продавать под своим брендом)

В таком виде это фактически не канал продаж, а целый рынок внутри рынка: компаниям разрешают строить свои экосистемы на базе мощностей МТС.

Компании смогут перепродавать не только AI и Data сервисы, но и облачные продукты MWS Cloud, сервисы для разработчиков и бизнес-приложения.

Первыми подключились Neoflex, «Концепт разработка» и GlowByte. В планах 300+ компаний и рост выручки от партнёрок в 7 раз.

Получается, МТС не только двигает своё облако, но и фактически превращает его в строительные блоки для всего российского ИТ.

Ссылка на партнерку тут.
2🗿42🤯16👍1310🤨94🫡2😁1🤓1👾1
Друзья, внимание

Найдена картинка дня
1😁33355🔥291211💯63👍3🤯3
О, Google впервые раскрыли подробную статистику того, сколько энергии потребляют их модели

Итак, один текстовый запрос к Gemini в среднем ест:
– 0.24 ватта энергии (это примерно 9 секунд просмотра ТВ)
– 0.26 мл воды (около 5 капель)
– плюс выбрасывает 0,03г эквивалента CO2

Это, к слову, несколько меньше, чем часто пишут в открытых источниках. Даже при том, что посчитано все ну очень въедливо: учитывается не только GPU, но и работа CPU и RAM, и энергия, расходуемая на холостом ходу, и вся-вся-вся инфраструктура дата-центра (охлаждение, системы поддержки и тд).

Но самое впечатляющее, что год назад эти числа были в десятки раз пессимистичнее. Например, с мая 2024 по май 2025 энергетический след Gemini Apps сократился в 33 раза, а углеродный след – в 44 раза. Говорят, что в основном сократили за счет оптимизации собственных чипов, возобновляемой энергии и специального дизайна датацентров. Респект.

Статья полностью тут (в соавторах Джефф Дин, кстати). Супер подробно расписано, как они и что считали, очень занятно поизучать.
1🔥19646👍39🤯5🤓5👾2😁1
Самая громкая статья месяца – Hierarchical Reasoning Model

Без предисловий, сразу главный результат: у авторов получилось сделать модельку всего на 27 миллионов (!) параметров, которая обошла o3-mini на ARC-AGI-1. Неудивительно, что об этой работе сейчас говорит все комьюнити, а авторы ARC-AGI даже сами написали большой разбор результатов модели на их бенчмарке.

Погнали разбираться.

Итак, вся архитектура состоит из двух рекуррентных модулей: быстрого низкоуровневого и медленного высокоуровневого. Первый отвечает за быстрые локальные вычисления и решения частных задач, а цель второго – абстрактно управлять процессом и ставить таски первому.

Суть в том, что они обновляются с разной частотой. Исходная задача разбивается на несколько циклов рассуждения. В каждом из них верхний модуль обновляется только один раз и дает новый контекст нижнему модулю, который в свою очередь делает много мелких шагов и ищет локальное решение.

Сколько будет таких итераций, модель решает сама. Останавливаться (или не останавливаться) в правильный момент ее специально учили с помощью RL. Так что «думать» она может и пару секунд, и пару часов.

Обучается HRM не совсем привычно для рекуррентной модели: здесь, вместо того чтобы сохранять все внутренние состояния, авторы решили обновлять градиенты только по финальному стейту. Удивительно, но факт – это работает.

Кстати, вся конструкция и принцип обучения очень похожи на то, как работает наш мозг. Некоторые области отвечают за абстракцию, другие – за конкретные моментальные действия, а общаются они посредством обратных связей. Здесь те же принципы иерархии (отсюда и название). Плюс, мозг тоже не хранит промежуточные траектории и к сходимости приходит через схожие волновые циклы.

Итог: модель для своего размера просто беспрецедентно хороша на решениях всяких головоломок типа судоку, лабиринтов и индуктивных задач. В общем, именно в тех областях, где привычные LLM обычно фейлятся. Конечно, особенно поражают результаты на ARC-AGI, которые мы описали в начале.

Революция или нет, но выглядит действительно очень изящно и эффектно.

Обязательно почитайте работу полностью тут (+ вот еще один отличный разбор на русском языке)
3243🔥14053👍16🤯84😁3🤔3🐳2👀1
Стало известно, что Ян Лекун и Нат Фридман в Meta теперь напрямую подчиняются Александру Вангу

Об этом пишет Business Insider со ссылкой на внутреннюю переписку. В Meta* снова произошли какие-то перестройки и теперь Нат Фридман (которого изначально нанимали как второго управляющего лабораторией MSL) и Ян Лекун (который должен был более менее независимо управлять FAIR) будут напрямую подчиняться Алексу Вангу, как и все остальные тимлиды.

Единственный человек, который не упоминается в служебной записке, как подчиненный Ванга – это Shengjia Zhao, ведущий ученый лаборатории и бывший со-креатор ChatGPT.

> учиться и работать всю жизнь
> стать одними из самых заметных людей в области
> подчиняться 28-летнему бизнесмену
1😁179421711🫡7🤯6🤓6👍2
Как объяснить, почему модель машинного обучения принимает именно такие решения? 🤔

Нашли на Хабре разбор SHAP-графиков от эксперта ВТБ Андрея Бояренкова: от summary_plot до ICE и PDP. Там действительно много лайфхаков и полезной информации — на примере задачи оттока клиентов он показывает, какие фичи реально влияют (total_charge, звонки в поддержку, международный план и т.д.) и как это объяснить бизнесу.

В статье — подборка графиков, цветовых приёмов и лайфхаков для понятной визуализации. Must-read для тех, кто хочет не просто «натренить модель», а уметь объяснить её логику.

Читаем на Хабре: https://habr.com/ru/companies/vtb/articles/938988/
148👍29🗿10😁5🤨2🤯11
CEO Microsoft AI Мустафа Сулейман опубликовал очень необычное для CEO эссе

Называется текст "Мы должны учить ИИ для человека, а не быть человеком". В нем нет обещаний AGI, громких слов про ускорение прогресса и лекарства от всех болезней, как в эссе других глав компаний (не будем показывать пальцем).

А основная мысль вместо всего этого вот в чем: нельзя пытаться наделять ИИ признаками человека. Это создает ложное ощущение того, что это уже не машина, а что-то живое и чувствующее. Мустафа называет это SCAI — Seemingly Conscious AI, то есть AI, который кажется нам сознательным.

При этом такой SCAI либо уже частично существует, либо может появиться в ближайшие несколько лет. Ключевые характеристики: хорошее владение языком (есть), проявление эмпатии (есть), способность помнить детали прошлых диалогов (почти есть), утверждения типа "я видел/слышал/думаю/чувствую" (уже встречаются), идентичность личности и внутренняя система целей и ценностей.

Суть в том, что допустить окончательно появление SCAI нельзя. Симуляция сознания не делает ИИ реально сознательным, но общество может начать относиться к нему, как к личности, и ничем хорошим это не закончится.

Сулейман описывает целое явление "psychosis risk" (риск психоза), когда люди начинают настолько верить в иллюзию сознательности ИИ, что могут развивать эмоциональную зависимость, верить в права и чувства модели.

И таких примеров полно уже сейчас: люди влюбляются в чат-ботов, дружат с ними, начинают защищать их права и теряют связь с реальностью. Просто пока этот эффект не такой массовый – все может быть гораздо хуже.

Так что главная идея из эссе: ИИ должен существовать только как инструмент для человеческой пользы, а не как цифровая личность. От имитации чувств, стремлений или желания быть самостоятельным нужно отказаться.

ИИ должен открыто декларировать, что он не человек и не сознательное существо. В его личность должны быть встроены фичи (и Мустафа как раз призывает на законодательном уровне утвердить их перечень), которые ломают иллюзию личности – чтобы пользователи не забывали, что общаются с программой.

Вот такая вот интересная позиция – пишите в комменты, как вам

mustafa-suleyman.ai/seemingly-conscious-ai-is-coming
2👍45588💯65🤔201513🗿7👾55😁41
Ha-ha-ha
3😁466🤯311814👀8😎7👍6💯4🤨4👾1