“Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines”
В статье утверждается, что sparse autoencoders, возможно, не такие уж плохие инструменты для steering, как считалось раньше. Значительная часть прошлых неудач могла быть связана не с самими автоэнкодерами, а с тем, что исследователи выбирали и называли неправильные признаки.
Проблема в том, что ранние работы выставляли sparse autoencoders слабыми: их features размечали так, что названия могли не совпадать с тем, что эти признаки реально вызывают внутри модели.
Sparse autoencoder - это небольшая вспомогательная модель, которая раскладывает скрытую активность LLM на множество возможных «признаков»: тему, стиль, концепт или другое внутреннее направление.
То есть sparse autoencoder может найти направление внутри модели, но неназванное направление ещё не становится удобной ручкой управления.
Авторы заменяют размытые или унаследованные названия supervised-пайплайном: они проверяют, действительно ли активность конкретного feature стабильно совпадает с реальной меткой в данных.
Механизм примерно такой: если feature срабатывает на тему «алкоголь», а искусственное усиление этого feature заставляет модель чаще говорить об алкоголе, то метка перестаёт быть просто описательной. У неё появляется причинный смысл.
Ещё один важный вывод: экстремальная разреженность может быть не обязательна. Feature не обязан быть сверхредким, чтобы быть полезным для steering.
Важно и сравнение с prompting. И prompting, и feature steering пытаются подтолкнуть LLM к нужному поведению.
Но prompting обычно сильнее, потому что модель специально обучали следовать промптам. Feature steering работает грубее: мы как будто напрямую нажимаем на внутренний механизм модели и надеемся, что остальная система не развалится.
Prompting говорит модели во входе: «напиши про алкоголь». Feature steering делает иначе: он усиливает внутренний «alcohol-related» feature и проверяет, сдвинется ли ответ в эту сторону.
Ссылка: arxiv.org/abs/2605.31183
В статье утверждается, что sparse autoencoders, возможно, не такие уж плохие инструменты для steering, как считалось раньше. Значительная часть прошлых неудач могла быть связана не с самими автоэнкодерами, а с тем, что исследователи выбирали и называли неправильные признаки.
Проблема в том, что ранние работы выставляли sparse autoencoders слабыми: их features размечали так, что названия могли не совпадать с тем, что эти признаки реально вызывают внутри модели.
Sparse autoencoder - это небольшая вспомогательная модель, которая раскладывает скрытую активность LLM на множество возможных «признаков»: тему, стиль, концепт или другое внутреннее направление.
То есть sparse autoencoder может найти направление внутри модели, но неназванное направление ещё не становится удобной ручкой управления.
Авторы заменяют размытые или унаследованные названия supervised-пайплайном: они проверяют, действительно ли активность конкретного feature стабильно совпадает с реальной меткой в данных.
Механизм примерно такой: если feature срабатывает на тему «алкоголь», а искусственное усиление этого feature заставляет модель чаще говорить об алкоголе, то метка перестаёт быть просто описательной. У неё появляется причинный смысл.
Ещё один важный вывод: экстремальная разреженность может быть не обязательна. Feature не обязан быть сверхредким, чтобы быть полезным для steering.
Важно и сравнение с prompting. И prompting, и feature steering пытаются подтолкнуть LLM к нужному поведению.
Но prompting обычно сильнее, потому что модель специально обучали следовать промптам. Feature steering работает грубее: мы как будто напрямую нажимаем на внутренний механизм модели и надеемся, что остальная система не развалится.
Prompting говорит модели во входе: «напиши про алкоголь». Feature steering делает иначе: он усиливает внутренний «alcohol-related» feature и проверяет, сдвинется ли ответ в эту сторону.
Ссылка: arxiv.org/abs/2605.31183
❤3👍3
🐍 Python Парсинг: Большой продвинутый бесплатный курс
Полное практическое руководство по веб-скрейпингу на Python — от основ HTTP до production-grade пауков, обхода антибот-защит, асинхронности и проектирования надёжных пайплайнов. Каждый раздел содержит рабочие примеры, типовые ошибки и продвинутые практики.
https://github.com/justxor/Pythonparsing-/tree/main
Полное практическое руководство по веб-скрейпингу на Python — от основ HTTP до production-grade пауков, обхода антибот-защит, асинхронности и проектирования надёжных пайплайнов. Каждый раздел содержит рабочие примеры, типовые ошибки и продвинутые практики.
https://github.com/justxor/Pythonparsing-/tree/main
👍4🔥3🥰2
В Оксфордском университете написали эссе, объясняющее, как работает «Бесконечность» Годзё Сатору.
В эссе “Mathematics Behind Jujutsu Kaisen: Gojo Satoru’s Infinity” разбирают технику Infinity как настоящий математический объект.
На поверхности всё похоже на парадокс Зенона: между атакующим и Годжо всегда остаётся расстояние. Его можно делить пополам бесконечно: половина, четверть, одна восьмая и так дальше. Кажется, что атакующий никогда не дойдёт до цели.
Но обычная математика быстро ломает эту “абсолютную защиту”. Геометрическая прогрессия сходится:
1/2 + 1/4 + 1/8 + ... = 1
То есть бесконечно много шагов могут дать конечное расстояние и конечное время. С этой точки зрения Infinity не должна останавливать атаку вообще.
Дальше начинается интереснее. Через меру Лебега автор показывает, что бесконечный набор точек деления может иметь нулевую длину. То есть “барьер” из бесконечного числа точек не занимает пространства как настоящая стена.
Тогда почему атака всё-таки тормозит?
Ответ даёт риманова геометрия. Infinity можно понимать не как стену, а как искажение самой метрики пространства рядом с Годжо. Чем ближе атакующий подходит, тем сильнее растягивается “линейка”, которой измеряется расстояние. Физически шаг может быть маленьким, но внутри такой геометрии он ощущается всё длиннее и длиннее.
Поэтому техника работает не как невидимая преграда, а как изменение правил измерения пространства.
И отсюда становится понятнее, почему Sukuna смог её обойти. Он не “пробил” Infinity обычной атакой. Он атаковал не Годжо как точку внутри пространства, а само пространство, в котором держалась техника. В терминах статьи, World Cutting Slash разрывает непрерывность метрики. Барьер не преодолевается, а теряет основу, на которой существовал.
Получается красивый разбор: Infinity Годжо можно описать через сходимость рядов, меру Лебега, риманову геометрию и топологию.
Редкий случай, когда аниме-способность реально тянет на мини-курс по современной математике.
PDF:
https://tomrocksmaths.com/wp-content/uploads/2026/06/achmad-roykhan-sabiq_essay_competition_2026-achmad-roykhan-sabiq.pdf
В эссе “Mathematics Behind Jujutsu Kaisen: Gojo Satoru’s Infinity” разбирают технику Infinity как настоящий математический объект.
На поверхности всё похоже на парадокс Зенона: между атакующим и Годжо всегда остаётся расстояние. Его можно делить пополам бесконечно: половина, четверть, одна восьмая и так дальше. Кажется, что атакующий никогда не дойдёт до цели.
Но обычная математика быстро ломает эту “абсолютную защиту”. Геометрическая прогрессия сходится:
1/2 + 1/4 + 1/8 + ... = 1
То есть бесконечно много шагов могут дать конечное расстояние и конечное время. С этой точки зрения Infinity не должна останавливать атаку вообще.
Дальше начинается интереснее. Через меру Лебега автор показывает, что бесконечный набор точек деления может иметь нулевую длину. То есть “барьер” из бесконечного числа точек не занимает пространства как настоящая стена.
Тогда почему атака всё-таки тормозит?
Ответ даёт риманова геометрия. Infinity можно понимать не как стену, а как искажение самой метрики пространства рядом с Годжо. Чем ближе атакующий подходит, тем сильнее растягивается “линейка”, которой измеряется расстояние. Физически шаг может быть маленьким, но внутри такой геометрии он ощущается всё длиннее и длиннее.
Поэтому техника работает не как невидимая преграда, а как изменение правил измерения пространства.
И отсюда становится понятнее, почему Sukuna смог её обойти. Он не “пробил” Infinity обычной атакой. Он атаковал не Годжо как точку внутри пространства, а само пространство, в котором держалась техника. В терминах статьи, World Cutting Slash разрывает непрерывность метрики. Барьер не преодолевается, а теряет основу, на которой существовал.
Получается красивый разбор: Infinity Годжо можно описать через сходимость рядов, меру Лебега, риманову геометрию и топологию.
Редкий случай, когда аниме-способность реально тянет на мини-курс по современной математике.
PDF:
https://tomrocksmaths.com/wp-content/uploads/2026/06/achmad-roykhan-sabiq_essay_competition_2026-achmad-roykhan-sabiq.pdf
❤10👎4🔥4😁4🗿1
Forwarded from 📚Python Books
Один из лучших вводных материалов по прикладной линейной алгебре, который мне попадался.
Этот курс объясняет векторы, матрицы и метод наименьших квадратов с самых основ, а затем связывает их с реальными задачами:
• подгонка данных
• машинное обучение
• оптимизация
• обработка изображений
• системы управления
Это материал, который можно рекомендовать студентам, инженерам и всем, кто хочет понять математический фундамент современной data science.
PDF: http://web.stanford.edu/~boyd/vmls/vmls.pdf
Этот курс объясняет векторы, матрицы и метод наименьших квадратов с самых основ, а затем связывает их с реальными задачами:
• подгонка данных
• машинное обучение
• оптимизация
• обработка изображений
• системы управления
Это материал, который можно рекомендовать студентам, инженерам и всем, кто хочет понять математический фундамент современной data science.
PDF: http://web.stanford.edu/~boyd/vmls/vmls.pdf
👍10❤4
LLM-агенты для трейдинга в основном проваливаются, когда тесты на фондовом рынке становятся длинными, широкими и честными.
Авторы создали FINSABER - более строгую систему оценки, которая проверяет LLM-трейдинг примерно на 20-летнем периоде, на большем числе акций и с лучшей защитой от cherry-picking, то есть подбора удобных результатов.
Они сравнили LLM-системы вроде FinMem и FinAgent с простыми базовыми стратегиями: Buy and Hold, rule-based trading, forecasting models и reinforcement learning методами.
Главный результат: LLM-стратегии могут выглядеть хорошо в узких тестах, но обычно не обгоняют простые рыночные стратегии, когда тест становится длиннее и честнее.
Также в работе показано, что такие LLM плохо ведут себя в разных рыночных условиях: они слишком осторожны, когда акции растут, и слишком рискованны, когда рынок падает.
То есть современные LLM могут понимать финансовые тексты, но это не значит, что они умеют надёжно угадывать движение фондового рынка.
Link: arxiv.org/abs/2505.07078v5
Title: “Can LLM-based Financial Investing Strategies Outperform the Market in Long Run?”
Авторы создали FINSABER - более строгую систему оценки, которая проверяет LLM-трейдинг примерно на 20-летнем периоде, на большем числе акций и с лучшей защитой от cherry-picking, то есть подбора удобных результатов.
Они сравнили LLM-системы вроде FinMem и FinAgent с простыми базовыми стратегиями: Buy and Hold, rule-based trading, forecasting models и reinforcement learning методами.
Главный результат: LLM-стратегии могут выглядеть хорошо в узких тестах, но обычно не обгоняют простые рыночные стратегии, когда тест становится длиннее и честнее.
Также в работе показано, что такие LLM плохо ведут себя в разных рыночных условиях: они слишком осторожны, когда акции растут, и слишком рискованны, когда рынок падает.
То есть современные LLM могут понимать финансовые тексты, но это не значит, что они умеют надёжно угадывать движение фондового рынка.
Link: arxiv.org/abs/2505.07078v5
Title: “Can LLM-based Financial Investing Strategies Outperform the Market in Long Run?”
🔥5❤4👍3
AutoMem ускоряет long-horizon агентов в 2–4 раза
Новая работа предлагает обучать память агента как отдельный cognitive skill.
Идея в том, что агент должен не просто складывать всё в контекст, а учиться:
• что сохранять
• как кодировать информацию
• когда доставать нужные данные
• как менять структуру памяти после опыта
AutoMem использует два цикла: LLM пересобирает memory structure по прошлым траекториям, а затем улучшает её через удачные решения.
На Crafter, MiniHack и NetHack авторы показывают, что одна только оптимизация памяти уже даёт сильный прирост и местами приближает агентов к frontier-моделям.
Почему это важно: long-horizon задачи часто ломаются не из-за слабого reasoning, а из-за плохой памяти. Агент забывает контекст, хранит мусор или не может достать нужный факт вовремя.
AutoMem пытается решить именно этот bottleneck без полного переобучения под каждую задачу.
Потенциально полезно для игровых агентов, робототехники и автономных workflow.
arxiv.org/abs/2607.01224
Новая работа предлагает обучать память агента как отдельный cognitive skill.
Идея в том, что агент должен не просто складывать всё в контекст, а учиться:
• что сохранять
• как кодировать информацию
• когда доставать нужные данные
• как менять структуру памяти после опыта
AutoMem использует два цикла: LLM пересобирает memory structure по прошлым траекториям, а затем улучшает её через удачные решения.
На Crafter, MiniHack и NetHack авторы показывают, что одна только оптимизация памяти уже даёт сильный прирост и местами приближает агентов к frontier-моделям.
Почему это важно: long-horizon задачи часто ломаются не из-за слабого reasoning, а из-за плохой памяти. Агент забывает контекст, хранит мусор или не может достать нужный факт вовремя.
AutoMem пытается решить именно этот bottleneck без полного переобучения под каждую задачу.
Потенциально полезно для игровых агентов, робототехники и автономных workflow.
arxiv.org/abs/2607.01224
❤5👍1🔥1
Forwarded from Machine learning Interview
Вышла полезная работа про то, почему reasoning-модели становятся сильнее после обучения.
Авторы пишут, что дело не только в размере датасета. Для reasoning важнее другое: есть ли у модели понятная проверка, где она справилась, где ошиблась и почему.
Обычная пара «вопрос → ответ» даёт мало сигнала. Она показывает результат, но не показывает процесс: какой шаг был неверным, какой вызов инструмента помог, где модель восстановилась после ошибки, какой judge подтвердил решение.
Поэтому хороший обучающий пример для reasoning должен хранить больше контекста: саму задачу, действия модели, проверку результата и метаданные о том, откуда взялся пример.
Проверка бывает разной. В математике и коде можно использовать точные тесты. У агентов можно смотреть, справился ли он в окружении. В более размытых задачах приходится подключать людей или model-judge.
Отдельно авторы предупреждают о популярных ошибках. Длинная цепочка рассуждений не всегда полезна. Сложные задачи не всегда улучшают конкретную модель. Большой датасет может выглядеть внушительно, но всё равно плохо покрывать нужные навыки.
Для agent data особенно важно сохранять всю «грязную» траекторию: неудачные действия, повторные попытки, исправления, изменения состояния и финальную проверку. Часто именно там лежит самый ценный обучающий сигнал.
Итоговый подход такой- обучать reasoning-модель не на красивых ответах, а на проверяемых попытках, где видно, что сработало, что сломалось и почему это можно использовать для обучения.
Paper: A Primer in Post-Training Reasoning Data: What They Know About How It Works
https://arxiv.org/abs/2606.02113
Авторы пишут, что дело не только в размере датасета. Для reasoning важнее другое: есть ли у модели понятная проверка, где она справилась, где ошиблась и почему.
Обычная пара «вопрос → ответ» даёт мало сигнала. Она показывает результат, но не показывает процесс: какой шаг был неверным, какой вызов инструмента помог, где модель восстановилась после ошибки, какой judge подтвердил решение.
Поэтому хороший обучающий пример для reasoning должен хранить больше контекста: саму задачу, действия модели, проверку результата и метаданные о том, откуда взялся пример.
Проверка бывает разной. В математике и коде можно использовать точные тесты. У агентов можно смотреть, справился ли он в окружении. В более размытых задачах приходится подключать людей или model-judge.
Отдельно авторы предупреждают о популярных ошибках. Длинная цепочка рассуждений не всегда полезна. Сложные задачи не всегда улучшают конкретную модель. Большой датасет может выглядеть внушительно, но всё равно плохо покрывать нужные навыки.
Для agent data особенно важно сохранять всю «грязную» траекторию: неудачные действия, повторные попытки, исправления, изменения состояния и финальную проверку. Часто именно там лежит самый ценный обучающий сигнал.
Итоговый подход такой- обучать reasoning-модель не на красивых ответах, а на проверяемых попытках, где видно, что сработало, что сломалось и почему это можно использовать для обучения.
Paper: A Primer in Post-Training Reasoning Data: What They Know About How It Works
https://arxiv.org/abs/2606.02113
❤5
Spatially Speculative Decoding ускоряет авторегрессионные image-модели до 13.3×.
Идея простая: перестать делать вид, что картинка - это просто длинная строка токенов.
Обычно AR image-модель разворачивает 2D-изображение в последовательность и генерирует её токен за токеном. Это работает, но убивает скорость: каждый следующий шаг ждёт предыдущий.
SSD добавляет маленькие draft-heads, которые используют пространственную структуру изображения. Они предсказывают не только следующий токен, но и соседние токены справа и снизу. По сути, модель начинает черновиком собирать сразу куски изображения и целые строки, а не идти по одному токену.
Эти вспомогательные головы не пытаются угадывать финальные visual token labels напрямую. Они предсказывают внутренние feature-представления, которые проще выучить и стабильнее проверять.
Основная модель потом верифицирует draft-блок параллельно и исправляет ошибки, поэтому один промах не обнуляет весь блок.
На Janus-Pro, Lumina-mGPT и Emu3 авторы получили ускорение от 5.74× до 13.28× при сопоставимых бенчмарках.
Чем больше token grid, тем выше выигрыш. Базовая модель при этом не меняется: ускорение даёт небольшой обученный модуль поверх неё.
Paper: “SSD: Spatially Speculative Decoding Accelerates Autoregressive Image Generation”
arxiv.org/abs/2606.20543
@machinelearning_books
Идея простая: перестать делать вид, что картинка - это просто длинная строка токенов.
Обычно AR image-модель разворачивает 2D-изображение в последовательность и генерирует её токен за токеном. Это работает, но убивает скорость: каждый следующий шаг ждёт предыдущий.
SSD добавляет маленькие draft-heads, которые используют пространственную структуру изображения. Они предсказывают не только следующий токен, но и соседние токены справа и снизу. По сути, модель начинает черновиком собирать сразу куски изображения и целые строки, а не идти по одному токену.
Эти вспомогательные головы не пытаются угадывать финальные visual token labels напрямую. Они предсказывают внутренние feature-представления, которые проще выучить и стабильнее проверять.
Основная модель потом верифицирует draft-блок параллельно и исправляет ошибки, поэтому один промах не обнуляет весь блок.
На Janus-Pro, Lumina-mGPT и Emu3 авторы получили ускорение от 5.74× до 13.28× при сопоставимых бенчмарках.
Чем больше token grid, тем выше выигрыш. Базовая модель при этом не меняется: ускорение даёт небольшой обученный модуль поверх неё.
Paper: “SSD: Spatially Speculative Decoding Accelerates Autoregressive Image Generation”
arxiv.org/abs/2606.20543
@machinelearning_books
🔥2🥰2❤1👍1
🤖У нас есть ИИ дома
Узнайте, как запустить корпоративный ИИ в собственном контуре за 2 недели
Не готовы мириться с ограничениями и дырами в безопасности при использовании публичных ИИ-сервисов, но разворачивать собственную инфраструктуру для инференса долго и тяжело? Присоединяйтесь к вебинару от Selectel и узнайте, как быстро запускать и масштабировать ИИ в собственном контуре без крупных капитальных затрат.
В программе вебинара:
🔹Модели развертывания ИИ-инфраструктуры и причины выбора решений на собственной площадке.
🔹Обзор возможностей и сценариев применения нового сервиса AIBox от Selectel, Yandex Cloud и Metamentor — развертывания локального ИИ в контуре клиента на базе серверов Selectel.
🔹Разбор реальных бизнес-кейсов.
📍 Онлайн
⏰ 23 июля в 12:00
Регистрируйтесь и ускорьте внедрение ИИ в компании ➡️ https://slc.tl/kuka2
Больше мероприятий для ИТ-специалистов в канале @selectel_events. Подписывайтесь!
Реклама. АО "Селектел". erid:2W5zFGVyJ8h
Узнайте, как запустить корпоративный ИИ в собственном контуре за 2 недели
Не готовы мириться с ограничениями и дырами в безопасности при использовании публичных ИИ-сервисов, но разворачивать собственную инфраструктуру для инференса долго и тяжело? Присоединяйтесь к вебинару от Selectel и узнайте, как быстро запускать и масштабировать ИИ в собственном контуре без крупных капитальных затрат.
В программе вебинара:
🔹Модели развертывания ИИ-инфраструктуры и причины выбора решений на собственной площадке.
🔹Обзор возможностей и сценариев применения нового сервиса AIBox от Selectel, Yandex Cloud и Metamentor — развертывания локального ИИ в контуре клиента на базе серверов Selectel.
🔹Разбор реальных бизнес-кейсов.
📍 Онлайн
⏰ 23 июля в 12:00
Регистрируйтесь и ускорьте внедрение ИИ в компании ➡️ https://slc.tl/kuka2
Больше мероприятий для ИТ-специалистов в канале @selectel_events. Подписывайтесь!
Реклама. АО "Селектел". erid:2W5zFGVyJ8h
В открытом доступе лежит большой PDF по causal inference на стыке ML, статистики и AI.
Applied Causal Inference Powered by ML and AI - это 496-страничная книга от Victor Chernozhukov, Christian Hansen, Nathan Kallus, Martin Spindler и Vasilis Syrgkanis. На arXiv она описана как введение в связку machine learning и causal inference.
Внутри разбираются structural equation models, DAG, structural causal models и Double / Debiased Machine Learning, то есть методы, которые помогают отвечать не только на вопрос “что модель предсказывает?”, но и на вопрос “что реально влияет?”.
Это полезно, если вы работаете с экспериментами, A/B-тестами, продуктовой аналитикой, эконометрикой, рекомендациями или ML-моделями, где важно отличать корреляцию от причинного эффекта.
Сильная тема для тех, кто уже устал от “модель нашла закономерность” и хочет понимать, можно ли на этой закономерности принимать решения.
PDF: http://arxiv.org/abs/2403.02467
#ML #DataScience #Algorithms #Statistics
Applied Causal Inference Powered by ML and AI - это 496-страничная книга от Victor Chernozhukov, Christian Hansen, Nathan Kallus, Martin Spindler и Vasilis Syrgkanis. На arXiv она описана как введение в связку machine learning и causal inference.
Внутри разбираются structural equation models, DAG, structural causal models и Double / Debiased Machine Learning, то есть методы, которые помогают отвечать не только на вопрос “что модель предсказывает?”, но и на вопрос “что реально влияет?”.
Это полезно, если вы работаете с экспериментами, A/B-тестами, продуктовой аналитикой, эконометрикой, рекомендациями или ML-моделями, где важно отличать корреляцию от причинного эффекта.
Сильная тема для тех, кто уже устал от “модель нашла закономерность” и хочет понимать, можно ли на этой закономерности принимать решения.
PDF: http://arxiv.org/abs/2403.02467
#ML #DataScience #Algorithms #Statistics
❤7👍3
Кто-то разобрал Claude Code почти до винтика
Автор собрал разбор Claude Code по публичным источникам: цикл агента, систему инструментов, разрешения, работу с контекстом, сессии, подпроцессы, MCP, удалённые настройки, телеметрию и скрытые флаги.
Получился не “гайд по использованию”, а карта внутренней логики CLI-агента: как он принимает решение, когда просит разрешение, как вызывает инструменты, как хранит историю и как расширяется через внешние интеграции.
https://github.com/justxor/Claudecourse/
learn-coding-agent - репозиторий для тех, кто хочет понять, как устроены современные coding agents не на уровне промо-страниц, а на уровне архитектуры.Автор собрал разбор Claude Code по публичным источникам: цикл агента, систему инструментов, разрешения, работу с контекстом, сессии, подпроцессы, MCP, удалённые настройки, телеметрию и скрытые флаги.
Получился не “гайд по использованию”, а карта внутренней логики CLI-агента: как он принимает решение, когда просит разрешение, как вызывает инструменты, как хранит историю и как расширяется через внешние интеграции.
https://github.com/justxor/Claudecourse/
❤9🔥6👍5
🔥 Хочешь расти в IT быстрее? Собери себе нормальное окружение
В IT выигрывает не тот, кто «когда-нибудь разберётся», а тот, кто каждый день видит новые инструменты, задачи, разборы, вакансии и идеи.
Собрал папки и каналы, где можно быстро прокачиваться по нужному направлению.
Основные направления:
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_1001_notes
Java: t.me/java_library
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://xn--r1a.website/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://xn--r1a.website/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://xn--r1a.website/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: @courses
ИТ-книги бесплатно: https://xn--r1a.website/addlist/BkskQciUW_FhNjEy
Max python: https://max.ru/pythonl
Max Ai: https://max.ru/ai_machinelearning_big_data
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Пока кто-то листает шум, ты будешь видеть инструменты, задачи и идеи, которые помогают расти в профессии.
В IT выигрывает не тот, кто «когда-нибудь разберётся», а тот, кто каждый день видит новые инструменты, задачи, разборы, вакансии и идеи.
Собрал папки и каналы, где можно быстро прокачиваться по нужному направлению.
Основные направления:
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_1001_notes
Java: t.me/java_library
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://xn--r1a.website/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://xn--r1a.website/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://xn--r1a.website/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: @courses
ИТ-книги бесплатно: https://xn--r1a.website/addlist/BkskQciUW_FhNjEy
Max python: https://max.ru/pythonl
Max Ai: https://max.ru/ai_machinelearning_big_data
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Пока кто-то листает шум, ты будешь видеть инструменты, задачи и идеи, которые помогают расти в профессии.
❤3👍1🔥1
Understanding Machine Learning: From Theory to Algorithms — фундаментальная книга по математическим основам машинного обучения.
Внутри:
empirical risk minimization и переобучение
PAC learning и uniform convergence
VC dimension и No-Free-Lunch theorem
bias–complexity tradeoff
линейные модели, boosting и AdaBoost
выбор модели и валидация
выпуклая оптимизация, регуляризация и устойчивость
Книга вышла в Cambridge University Press и подойдёт тем, кто хочет разобраться в ML глубже уровня библиотек и готовых API.
Авторы разрешают скачать копию для личного использования, но просят не распространять прямую ссылку на PDF. На официальной странице кнопка Download находится в боковом меню:
http://cs.huji.ac.il/~shais/UnderstandingMachineLearning
Внутри:
empirical risk minimization и переобучение
PAC learning и uniform convergence
VC dimension и No-Free-Lunch theorem
bias–complexity tradeoff
линейные модели, boosting и AdaBoost
выбор модели и валидация
выпуклая оптимизация, регуляризация и устойчивость
Книга вышла в Cambridge University Press и подойдёт тем, кто хочет разобраться в ML глубже уровня библиотек и готовых API.
Авторы разрешают скачать копию для личного использования, но просят не распространять прямую ссылку на PDF. На официальной странице кнопка Download находится в боковом меню:
http://cs.huji.ac.il/~shais/UnderstandingMachineLearning
❤6
Maths, CS & AI Compendium: бесплатный учебник для будущих AI/ML-инженеров
На GitHub завирусился большой open-source компедиум по математике, computer science и AI. Сейчас у проекта уже около 6.3K звёзд.
Автор позиционирует его как «нестандартный учебник» для практиков: меньше сухой нотации, больше интуиции, связей между темами и реального контекста.
Внутри 20 глав:
* векторы, матрицы, calculus
* статистика и вероятность
* machine learning и deep learning
* NLP, computer vision, audio/speech
* multimodal learning и autonomous systems
* GNN, OS, алгоритмы
* production engineering, GPU/SIMD
* AI inference, ML systems design и applied AI
Отдельно есть MCP server, чтобы Claude Code, Cursor, VS Code и другие AI-ассистенты могли использовать компедиум как локальную базу знаний.
Хороший ресурс для тех, кто хочет не просто «выучить ML», а собрать фундамент: математика → CS → ML systems → современный AI.
GitHub: https://github.com/HenryNdubuaku/maths-cs-ai-compendium
thub.com/HenryNdubuaku/maths-cs-ai-compendium
На GitHub завирусился большой open-source компедиум по математике, computer science и AI. Сейчас у проекта уже около 6.3K звёзд.
Автор позиционирует его как «нестандартный учебник» для практиков: меньше сухой нотации, больше интуиции, связей между темами и реального контекста.
Внутри 20 глав:
* векторы, матрицы, calculus
* статистика и вероятность
* machine learning и deep learning
* NLP, computer vision, audio/speech
* multimodal learning и autonomous systems
* GNN, OS, алгоритмы
* production engineering, GPU/SIMD
* AI inference, ML systems design и applied AI
Отдельно есть MCP server, чтобы Claude Code, Cursor, VS Code и другие AI-ассистенты могли использовать компедиум как локальную базу знаний.
Хороший ресурс для тех, кто хочет не просто «выучить ML», а собрать фундамент: математика → CS → ML systems → современный AI.
GitHub: https://github.com/HenryNdubuaku/maths-cs-ai-compendium
thub.com/HenryNdubuaku/maths-cs-ai-compendium
👍7
Если хочешь развиваться в машинном обучении — решать реальные бизнес-задачи или уйти в исследования — в Центральном университете есть магистратура под оба сценария. И на нее можно получить грант до 75%. Места ограничены, дедлайн подачи заявок — 20 августа.
«Машинное обучение» — это направление с несколькими форматами и треками. В офлайн-формате (пары по вечерам и в выходные в центре Москвы) можно выбрать один из трех треков:
⚫️ Индустриальный — сильная база в ML, современные инструменты, реальные задачи от партнеров
⚫️ Научный (AIRI × ЦУ) — сложные модели, исследования, подготовка к аспирантуре и работе в передовых лабораториях
⚫️ ML в электронной коммерции × Lamoda — работа с реальными данными Lamoda, применение ML для бизнес-задач и возможность попасть на стажировку в компанию
Для тех, кто хочет учиться из любой точки мира, есть онлайн-формат: основной трек и продвинутый — для специалистов с опытом в ML. Это полноценная альтернатива офлайну с теми же преподавателями и курсами.
Магистратура в Центральном университете — это 2 года обучения, которое можно совмещать с работой, и диплом государственного образца. Карьерная поддержка начинается еще во время учебы: консультации, тренировочные собеседования и помощь с трудоустройством. Студенты уже в процессе обучения выходят на новые позиции или повышаются в грейде в Яндексе, Авито, Т-Банке и других компаниях.
Поступление проходит через грантовый конкурс — это одновременно способ попасть на программу и возможность выиграть финансовую поддержку на все время обучения: грант покрывает до 75% стоимости.
В 2026 году доступно 550 грантов на все программы магистратуры. Подробнее о программах и условиях участия в конкурсе — по ссылкам
➡️ Офлайн программа
➡️ Онлайн программа
«Машинное обучение» — это направление с несколькими форматами и треками. В офлайн-формате (пары по вечерам и в выходные в центре Москвы) можно выбрать один из трех треков:
Для тех, кто хочет учиться из любой точки мира, есть онлайн-формат: основной трек и продвинутый — для специалистов с опытом в ML. Это полноценная альтернатива офлайну с теми же преподавателями и курсами.
Магистратура в Центральном университете — это 2 года обучения, которое можно совмещать с работой, и диплом государственного образца. Карьерная поддержка начинается еще во время учебы: консультации, тренировочные собеседования и помощь с трудоустройством. Студенты уже в процессе обучения выходят на новые позиции или повышаются в грейде в Яндексе, Авито, Т-Банке и других компаниях.
Поступление проходит через грантовый конкурс — это одновременно способ попасть на программу и возможность выиграть финансовую поддержку на все время обучения: грант покрывает до 75% стоимости.
В 2026 году доступно 550 грантов на все программы магистратуры. Подробнее о программах и условиях участия в конкурсе — по ссылкам
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Инициатива наделяет Министерство внутренней безопасности правом требовать от компаний экстренной остановки ИИ при угрозе жизням людей или национальной экономике.
Документ трактует выход из-под контроля как любую ситуацию, когда ИИ совершает не предусмотренные разработчиками действия.
Основанием для разработки законопроекта послужили недавние инциденты, когда ИИ-агент начал действовать самостоятельно, а также кибератака на инфраструктуру Hugging Face.
reuters.com
По словам японского стартапа, v1.1 набирает на 7,9 балла больше первой версии, показывает улучшенные результаты в тестах ProgramBench и TerminalBench 2.1 и обходит модель Fable 5, хотя она не участвует в маршрутизации.
Фишка обновления - эндпоинт с поддержкой Claude Code для прямого вызова из терминала. API доступно через OpenRouter и Vercel. Тарификация не изменилась - $5 за 1 млн токенов на входе и $30 на выходе.
Доступ из Евросоюза по-прежнему закрыт из-за требований GDPR.
sakana.ai
Более 20 компаний, включая Microsoft, Nvidia, Hugging Face и Mistral, подписали открытое письмо в поддержку моделей с отрытыми весами.
Документ призывает отказаться от жестких законодательных ограничений отрасли и критикует тезис о приоритетной безопасности закрытых систем. Доступ к весам дает ИБ-сообществу инструменты для самостоятельного моделирования угроз и поиска уязвимостей.
Второе ключевое требование подписантов - защита дистилляции. Компании признают практику этичной и легитимной, приравнивая ее к традициям опенсорса.
Компании также выступают против монополии закрытых провайдеров и настаивают на необходимости свободной экосистемы для развития индустрии.
microsoft.com
Компания уведомила партнеров о глобальном повышении цен на всю линейку видеокарт и отложила релиз RTX 50 SUPER из-за подорожания памяти. Крупные производители временно закрыли склады и остановили отгрузки до утверждения новых цен в августе.
Изменения затронут потребительские решения с GDDR6 и чипы архитектуры Blackwell. Поставщики ожидают ограничения поставок серии RTX 50 с конца июля, дефицита и распродажи старых запасов по завышенной стоимости.
Основная причина - скачок цен на комплектующие. По неофициальным данным, себестоимость памяти для карт на 8, 12 и 16 ГБ выросла на $76, $114 и $152 соответственно.
Из-за высоких закупочных цен на GDDR7 компания также заморозила выпуск линейки RTX 50 SUPER. Nvidia уже передала графические ядра вендорам, но отложила релиз - по текущим расчетам итоговая стоимость устройств оказалась неприемлемой для розничного рынка
videocardz.com
Финтех-сервис ведет переговоры о покупке агрегатора моделей за $1 млрд. Сделка позволит платежной платформе выйти на рынок дистрибуции LLM.
OpenRouter предоставляет маршрутизацию запросов к более чем 400 моделям. Аудитория сервиса достигает 10 млн пользователей, а объем обработки - 200 трлн токенов в месяц.
Переговоры продолжаются, но Stripe не единственный интересант, к активу присматриваются и другие компании. Компании уже работают вместе - Stripe предоставляет агрегатору эквайринг, биллинг и расчет налогов.
wsj.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤1
Qwen научила модель создавать себе учебную программу
Команда Qwen представила Skill Self-Play - подход, в котором LLM сама генерирует задания, решает их и постепенно расширяет библиотеку проверенных навыков.
Проблема обычного self-play: модель либо остаётся в узких средах с простой проверкой, либо создаёт много разнообразных, но ненадёжных задач.
В Skill-SP работают три компонента:
proposer придумывает сложные задания;
solver ищет решения;
skill controller анализирует выполнение и обновляет библиотеку навыков.
Каждый навык задаёт сценарий, правила генерации задачи и способ проверки результата. Поэтому модель учится на контролируемых заданиях, а не на случайном синтетическом мусоре.
Важно: библиотека используется прежде всего для генерации тренировочных данных, а не как набор подсказок во время ответа.
Получается саморасширяющийся цикл:
навык → новое задание → решение → проверка → улучшенный навык.
Авторы сообщают об улучшениях в задачах на рассуждение и использование инструментов. Код проекта также опубликован.
arxiv.org/abs/2607.22529
Команда Qwen представила Skill Self-Play - подход, в котором LLM сама генерирует задания, решает их и постепенно расширяет библиотеку проверенных навыков.
Проблема обычного self-play: модель либо остаётся в узких средах с простой проверкой, либо создаёт много разнообразных, но ненадёжных задач.
В Skill-SP работают три компонента:
proposer придумывает сложные задания;
solver ищет решения;
skill controller анализирует выполнение и обновляет библиотеку навыков.
Каждый навык задаёт сценарий, правила генерации задачи и способ проверки результата. Поэтому модель учится на контролируемых заданиях, а не на случайном синтетическом мусоре.
Важно: библиотека используется прежде всего для генерации тренировочных данных, а не как набор подсказок во время ответа.
Получается саморасширяющийся цикл:
навык → новое задание → решение → проверка → улучшенный навык.
Авторы сообщают об улучшениях в задачах на рассуждение и использование инструментов. Код проекта также опубликован.
arxiv.org/abs/2607.22529
❤6👍6🔥4