Forwarded from Machinelearning
Tencent HY опубликовала первую часть серии работ под названием HY-WU (Weight Unleashing). Суть метода в отказе от стандартной парадигмы адаптации, при которой модель получает один фиксированный набор весов для всех задач.
Специальная модель-генератор синтезирует LoRA отдельно под каждый входной пример прямо во время инференса, без дополнительной оптимизации на тест-тайме.
Проблема, которую решает HY-WU, хорошо знакома всем, кто работал с дообучением: когда задачи противоречат друг другу (например, "размыть" против "убрать размытие" или "состарить лицо" против "восстановить"), общий адаптер вынужден идти на компромисс.
Градиенты конфликтуют, и результат оказывается хуже, чем если бы задачи обучались раздельно.
Чтобы не быть голословными, авторы измерили это напрямую: косинусное сходство градиентов между разнородными задачами устойчиво отрицательно, среднее около −0.30, то есть задачи буквально тянут веса в противоположные стороны.
HY-WU предлагает условную генерацию параметров. Модель-генератор (8B параметров) принимает на вход совместное представление изображения и текстового запроса через энкодер SigLIP2, после чего генерирует LoRA-матрицы (~0.72B) и инжектирует их в базовую модель.
Обучение сквозное, только через downstream-loss, без предварительно собранных чекпойнтов адаптеров.
Для тестов выбрали задачу редактирования изображения текстовым запросом - в нем конфликты неизбежны и визуально очевидны.
Tencent проверили: прирост качества дается именно условной маршрутизацией, а не просто увеличением числа параметров. Когда генератор использовали с перемешанными или усредненными условиями, результат проваливался до уровня базовой модели.
Полный SFT с намного большим числом обучаемых параметров давал сопоставимый результат с обычным Shared LoRA, так как в обоих случаях в инференсе применяется одна фиксированная точка в пространстве весов.
Выпущенная работа - первая часть серии исследований по функциональной памяти для генеративных моделей. В планах:
Помимо этого, в планах выйти за пределы LoRA на другие операторные интерфейсы, распространить метод на видео и агентные системы, а также проработать возможность точечно удалять поведение модели через управление состоянием генератора.
Кроме этого архиполезного исследования Tencent выложили связку из модели-генератора и базовой модели HY-Image-3.0-Instruct, поверх которой она и работает.
Поиграться этой красотой можно, если под рукой простаивает 8х40 GB или 4х80 GB VRAM.
@ai_machinelearning_big_data
#AI #ML #ImageEdit #HYWU #Tencent
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍1
🧠 Python-библиотеки для AI-агентов - сложность изучения 🔥
🟢 Легко
• LangChain
• вызов инструментов (tool calling)
• память агента
• простые агенты
• CrewAI
• агенты с ролями
• коллаборация нескольких агентов
• SmolAgents
• лёгкие агенты
• быстрые эксперименты
🟡 Средне
• LangGraph
• stateful-воркфлоу
• оркестрация агентов
• LlamaIndex
• RAG-пайплайны
• индексирование данных
• knowledge-агенты
• OpenAI Agents SDK
• интеграции инструментов
• агентные workflow
• Strands
• оркестрация агентов
• координация задач
• Semantic Kernel
• skills / плагины
• оркестрация AI-процессов
• PydanticAI
• типизированные LLM-приложения
• структурированные workflow агентов
• Langroid
• обмен сообщениями между агентами
• взаимодействие с инструментами
🔴 Сложно
• AutoGen
• мультиагентные диалоги
• автономная кооперация агентов
• DSPy
• программируемый prompting
• оптимизация LLM-пайплайнов
• A2A
• протокол agent-to-agent
• распределённые агентные системы
🟢 Легко
• LangChain
• вызов инструментов (tool calling)
• память агента
• простые агенты
• CrewAI
• агенты с ролями
• коллаборация нескольких агентов
• SmolAgents
• лёгкие агенты
• быстрые эксперименты
🟡 Средне
• LangGraph
• stateful-воркфлоу
• оркестрация агентов
• LlamaIndex
• RAG-пайплайны
• индексирование данных
• knowledge-агенты
• OpenAI Agents SDK
• интеграции инструментов
• агентные workflow
• Strands
• оркестрация агентов
• координация задач
• Semantic Kernel
• skills / плагины
• оркестрация AI-процессов
• PydanticAI
• типизированные LLM-приложения
• структурированные workflow агентов
• Langroid
• обмен сообщениями между агентами
• взаимодействие с инструментами
🔴 Сложно
• AutoGen
• мультиагентные диалоги
• автономная кооперация агентов
• DSPy
• программируемый prompting
• оптимизация LLM-пайплайнов
• A2A
• протокол agent-to-agent
• распределённые агентные системы
❤6👍4
Forwarded from Machinelearning
Институт Аллена опубликовал OLMo Hybrid 7B - модель, которая построена на чередовании слоев Gated DeltaNet и стандартного внимания в соотношении 3:1. Такая архитектура решает больше подзадач из обучающих данных за меньшее число токенов, что напрямую снижает потребность в данных при обучении.
Gated DeltaNet - это RNN с расширением в виде отрицательных значений матрицы переходов. Это небольшое изменение в правиле обновления внутреннего состояния позволяет слоям Gated DeltaNet реализовывать динамику попарной перестановки элементов и за счет этого решать задачи отслеживания состояния, недоступные чистым трансформерам.
В OLMo Hybrid Ai2 показали, что гибридные модели выразительнее суммы своих частей. Существует класс задач (назовем их отслеживание состояния с обращением к памяти), которые не решают ни чистые трансформеры, ни чистые RNN, но гибрид справляется с ними уже при одинарном чередовании типов слоев.
Абляционные эксперименты от 60M до 1B параметров показали, что GDN стабильно лучше Mamba2 как в чистом, так и в гибридном варианте, равномерное чередование слоев лучше концентрации внимания в середине сети, а соотношение 3:1 - оптимальный баланс между качеством и вычислительной стоимостью на средних и крупных масштабах.
После дообучения и адаптации к длинному контексту OLMo Hybrid обходит OLMo 3 во всех категориях оценки. На RULER при 64k токенах - 85,0 против 70,9 у базовой модели.
@ai_machinelearning_big_data
#AI #ML #LLM #OLMoHybrid #Ai2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2
⚠️ В России всё чаще блокируют Telegram и другие зарубежные сервисы.
Это значит, что многие IT-ресурсы, каналы и источники новостей могут стать недоступны в любой момент.
Если вы хотите оставаться в курсе технологий, AI и новых фреймворков, лучше заранее иметь альтернативную площадку.
Мы собрали лучшие IT-каналы в MAX, где публикуются:
новости развития AI
новые фреймворки и инструменты
полезные ресурсы для разработчиков
разборы технологий и трендов
ИИ: https://max.ru/ai_machinelearning_big_data
Max Ml: https://max.ru/vistehno
Max Python: https://max.ru/pythonl
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Max Java: https://max.ru/javatg
Max Sql: https://max.ru/sqlhub
Max Devops: https://max.ru/DevOPSitsec
Анализ данных: https://max.ru/data_analysis_ml
C++ : https://max.ru/cpluspluc
C#: https://max.ru/csharp_ci
https://uproger.com/luchshie-kanaly-v-max-po-it-i-ii-podborka-2026-goda/
Это значит, что многие IT-ресурсы, каналы и источники новостей могут стать недоступны в любой момент.
Если вы хотите оставаться в курсе технологий, AI и новых фреймворков, лучше заранее иметь альтернативную площадку.
Мы собрали лучшие IT-каналы в MAX, где публикуются:
новости развития AI
новые фреймворки и инструменты
полезные ресурсы для разработчиков
разборы технологий и трендов
ИИ: https://max.ru/ai_machinelearning_big_data
Max Ml: https://max.ru/vistehno
Max Python: https://max.ru/pythonl
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Max Java: https://max.ru/javatg
Max Sql: https://max.ru/sqlhub
Max Devops: https://max.ru/DevOPSitsec
Анализ данных: https://max.ru/data_analysis_ml
C++ : https://max.ru/cpluspluc
C#: https://max.ru/csharp_ci
https://uproger.com/luchshie-kanaly-v-max-po-it-i-ii-podborka-2026-goda/
👎21❤3😁2👍1🔥1🤯1😱1
Выпуск Java SE 26 и OpenJDK 26. Проект по интеграции поддержки JavaScript и Python в JVM
После шести месяцев разработки компания Oracle опубликовала платформу Java SE 26 (Java Platform, Standard Edition 26), в качестве эталонной реализации которой используется открытый проект OpenJDK. За исключением удаления некоторых устаревших возможностей в Java SE 26 сохранена обратная совместимость с прошлыми выпусками платформы Java - большинство ранее написанных Java-проектов без изменений будут работоспособны при запуске под управлением новой версии. Готовые для установки сборки Java SE 26 (JDK, JRE и Server JRE) подготовлены для Linux (x86_64, AArch64), Windows (x86_64) и macOS (x86_64, AArch64). Разработанная в рамках проекта OpenJDK эталонная реализация Java SE 26 полностью открыта под лицензией GPLv2 с исключениями GNU ClassPath, разрешающими динамическое связывание с коммерческими продуктами.
https://opennet.ru/65009/
После шести месяцев разработки компания Oracle опубликовала платформу Java SE 26 (Java Platform, Standard Edition 26), в качестве эталонной реализации которой используется открытый проект OpenJDK. За исключением удаления некоторых устаревших возможностей в Java SE 26 сохранена обратная совместимость с прошлыми выпусками платформы Java - большинство ранее написанных Java-проектов без изменений будут работоспособны при запуске под управлением новой версии. Готовые для установки сборки Java SE 26 (JDK, JRE и Server JRE) подготовлены для Linux (x86_64, AArch64), Windows (x86_64) и macOS (x86_64, AArch64). Разработанная в рамках проекта OpenJDK эталонная реализация Java SE 26 полностью открыта под лицензией GPLv2 с исключениями GNU ClassPath, разрешающими динамическое связывание с коммерческими продуктами.
https://opennet.ru/65009/
❤2🔥2👍1
Ailia-models
Этот репозиторий содержит коллекцию предварительно обученных моделей машинного обучения, совместимых с платформой AILIA SDK. В нем представлены модели для различных задач, включая компьютерное зрение, обработку естественного языка и другие области искусственного интеллекта.
https://github.com/axinc-ai/ailia-models
Этот репозиторий содержит коллекцию предварительно обученных моделей машинного обучения, совместимых с платформой AILIA SDK. В нем представлены модели для различных задач, включая компьютерное зрение, обработку естественного языка и другие области искусственного интеллекта.
https://github.com/axinc-ai/ailia-models
❤2
Архитектура Docker, если убрать лишнее, выглядит очень просто:
Есть образ (image) - это слепок приложения с зависимостями.
Один раз собрал - запускаешь где угодно.
Есть контейнер (container) - это уже запущенный образ.
По сути изолированный процесс с файловой системой, сетью и настройками.
Docker Engine - сердце всей системы.
Он принимает команды через CLI/API и управляет контейнерами.
Docker Daemon - фоновый процесс, который:
• создаёт контейнеры
• запускает их
• следит за состоянием
Docker Client - то, через что ты работаешь (docker CLI).
Docker Hub / Registry - место, где хранятся образы.
Оттуда ты делаешь pull, туда - push.
Как это работает в реальности:
Ты пишешь Dockerfile →
docker build → получаешь image
docker push → отправляешь в registry
На сервере:
docker pull → скачал
docker run → запустил контейнер
Зачем это:
Одинаковая среда везде (dev = prod)
быстрый деплой без «у меня работает»
изоляция сервисов
масштабирование через контейнеры
Если упростить до одной мысли:
Docker - это не про контейнеры.
Это про предсказуемый запуск кода в любой среде.
Есть образ (image) - это слепок приложения с зависимостями.
Один раз собрал - запускаешь где угодно.
Есть контейнер (container) - это уже запущенный образ.
По сути изолированный процесс с файловой системой, сетью и настройками.
Docker Engine - сердце всей системы.
Он принимает команды через CLI/API и управляет контейнерами.
Docker Daemon - фоновый процесс, который:
• создаёт контейнеры
• запускает их
• следит за состоянием
Docker Client - то, через что ты работаешь (docker CLI).
Docker Hub / Registry - место, где хранятся образы.
Оттуда ты делаешь pull, туда - push.
Как это работает в реальности:
Ты пишешь Dockerfile →
docker build → получаешь image
docker push → отправляешь в registry
На сервере:
docker pull → скачал
docker run → запустил контейнер
Зачем это:
Одинаковая среда везде (dev = prod)
быстрый деплой без «у меня работает»
изоляция сервисов
масштабирование через контейнеры
Если упростить до одной мысли:
Docker - это не про контейнеры.
Это про предсказуемый запуск кода в любой среде.
👍9❤1
Claude Code — это уже не просто инструмент. Это система разработки с памятью, автоматизацией и агентами.
Коротко по сути:
• CLAUDE.md — мозг проекта
Хранит архитектуру, правила и контекст. Загружается автоматически.
• Skills — навыки
Позволяют автоматизировать ревью, тесты, деплой и любые процессы.
• Hooks — автодействия
Запускают проверки и действия без твоего участия.
• Agents — параллельная работа
Разбивают задачи и выполняют их одновременно.
• Workflow
plan → execute → auto
Минимум ручной работы, максимум результата.
• Структура
.claude / skills / commands / agents
Всё как у полноценной инженерной системы.
• Безопасность
permissions, sandbox, контроль доступа.
Это уже не про «спросить у ИИ».
Это про «дать задачу и получить результат».
Сохрани себе - пригодится.
Коротко по сути:
• CLAUDE.md — мозг проекта
Хранит архитектуру, правила и контекст. Загружается автоматически.
• Skills — навыки
Позволяют автоматизировать ревью, тесты, деплой и любые процессы.
• Hooks — автодействия
Запускают проверки и действия без твоего участия.
• Agents — параллельная работа
Разбивают задачи и выполняют их одновременно.
• Workflow
plan → execute → auto
Минимум ручной работы, максимум результата.
• Структура
.claude / skills / commands / agents
Всё как у полноценной инженерной системы.
• Безопасность
permissions, sandbox, контроль доступа.
Это уже не про «спросить у ИИ».
Это про «дать задачу и получить результат».
Сохрани себе - пригодится.
👍6❤4
Уязвимость проявляется через зависимости: в одном из кейсов пакет подтянулся через googleworkspace/cli, использовавшийся для работы с Gmail и Google Calendar. При этом установленная версия оказалась безопасной — 1.13.5. Однако зависимость не была зафиксирована (unpinned), и при установке в другое время могла подтянуться уже заражённая версия.
Это ключевая проблема всей экосистемы: если версии не закреплены, сборка может в любой момент «подхватить» компрометированный релиз.
Частично защититься можно локальными мерами — например:
ограничивать минимальный «возраст» релизов, использовать контейнеры, проверять зависимости.
Но системно проблему должны решать сами пакетные менеджеры (pip, npm и др.), меняя дефолтное поведение. Иначе одна заражённая версия, даже если её быстро находят и удаляют, успевает разойтись по тысячам проектов через незакреплённые зависимости.
Подробный разбор:
https://stepsecurity.io/blog/axios-compromised-on-npm-malicious-versions-drop-remote-access-trojan
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
⚡️ 8 хуков Claude Code, которые автоматизируют то, что вы вечно забываете
Вы говорите Claude Code отформатировать файл, а он этого не делает. Просите не трогать .env, а он лезет туда первым делом. Напоминаете прогнать тесты перед завершением, а он забывает.
Знакомо?
Все потому, что CLAUDE.md по сути является рекомендацией. Claude читает его и следует ему примерно в 80% случаев. Хуки работают иначе.
Это автоматические действия, которые срабатывают каждый раз, когда Claude редактирует файл, выполняет команду или завершает задачу.
Ниже разберем 8 готовых хуков, которые можно скопировать прямо в settings.json и больше о них не вспоминать.
https://uproger.com/8-hukov-claude-code-kotorye-avtomatiziruyut-to-chto-vy-vechno-zabyvaete/
Вы говорите Claude Code отформатировать файл, а он этого не делает. Просите не трогать .env, а он лезет туда первым делом. Напоминаете прогнать тесты перед завершением, а он забывает.
Знакомо?
Все потому, что CLAUDE.md по сути является рекомендацией. Claude читает его и следует ему примерно в 80% случаев. Хуки работают иначе.
Это автоматические действия, которые срабатывают каждый раз, когда Claude редактирует файл, выполняет команду или завершает задачу.
Ниже разберем 8 готовых хуков, которые можно скопировать прямо в settings.json и больше о них не вспоминать.
https://uproger.com/8-hukov-claude-code-kotorye-avtomatiziruyut-to-chto-vy-vechno-zabyvaete/
🔥3👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Что ты только что сказал про Python?
😁12👍4
🦀 Как сократить расходы на OpenClaw на 95% и платить $25 вместо $600
На Reddit регулярно появляются посты от пользователей OpenClaw с шокирующими счетами. $300 в месяц. $600 в месяц. Кто-то умудрился набить $3600 за один месяц. Покупают Mac Mini за $600, ставят OpenClaw, гоняют неделю, сжигают все токены и выключают. Большинство даже не понимает, куда уходят деньги. Каждое отправленное сообщение включает в себя всю историю диалога за сессию. К 50-му сообщению вы оплачиваете повторную отправку всех предыдущих сообщений через API снова и снова.
Heartbeat не обязан жрать токены Opus каждые 30 минут
Это про фоновые процессы, которые незаметно сжигают бюджет. По дефолту heartbeat срабатывает каждые 30 минут на той модели, которая выставлена основной - у большинства это по-прежнему Opus. Постоянный расход токенов идет независимо от того, сидите вы за компьютером или нет. Решение: переключить heartbeat на Minimax, снизить частоту до двух раз в день через cron вместо интервалов, включить light context mode, выставить isolated sessions в true и задать active hours, чтобы процесс работал только в рабочее время. Одно это убирает огромную часть фонового расхода.
Компактинг: одна команда срезает нагрузку токенов вдвое
Еще один скрытый множитель расходов прячется в истории переписки. Если вы общались с агентом весь день и контекстное окно заполнено на 50-70%, каждое новое сообщение гонит весь этот объем через API заново. Команда compact сжала контекст с 55K токенов до 23K - меньше половины нагрузки на каждое сообщение после этого. Параллельно стоит выставить max output tokens на 2048 в конфиге. Без этого ограничения агент может вернуть тысячи токенов в одном ответе, когда хватило бы пары сотен. Одна строчка в конфиге - и расход на вывод падает моментально.
QMD: поиск по файлам без загрузки в контекстное окно
Есть еще один источник мусорного расхода, который накапливается со временем. По мере того как у вас копятся markdown-файлы (заметки, конфиги агентов, память), агент перечитывает их все при каждом вопросе. Полный текст файлов грузится прямо в контекстное окно, сжигая токены на контент, который вообще не связан с вашим запросом. QMD решает эту проблему. Это локальный поисковый движок для markdown, который превращает заметки в индекс с ре-ранкингом. Агент находит нужное без загрузки целых файлов в контекст. Ставится с GitHub, добавляется в agents.md, и каждый файловый запрос начинает стоить копейки.
Итог: $600 превращаются в $25
Без оптимизации: Opus на каждом действии, heartbeat каждые 30 минут, полный контекст в каждом сообщении, без лимита на вывод, полное чтение файлов. $300-$600 в месяц. С оптимизацией: роутинг моделей через OpenRouter, авторежим для выбора по стоимости, дешевая модель на heartbeat через cron, регулярный компактинг, лимит вывода на 2048, QMD для поиска по файлам. $6-$25 в месяц. Тот же инструмент. Те же возможности.
Те, кто реально получает результат от ИИ-автоматизации, не тратят больше всех на токены. Они один раз настроили систему, взяли расходы под контроль и сфокусировались на построении воркфлоу, которые решают дорогие проблемы. Все шесть настроек занимают около 10 минут. Экономия начинается сразу.
https://vc.ru/ai/2862521-kak-sokratit-rashody-na-openclaw-na-95-i-platit-25-vmesto-600
На Reddit регулярно появляются посты от пользователей OpenClaw с шокирующими счетами. $300 в месяц. $600 в месяц. Кто-то умудрился набить $3600 за один месяц. Покупают Mac Mini за $600, ставят OpenClaw, гоняют неделю, сжигают все токены и выключают. Большинство даже не понимает, куда уходят деньги. Каждое отправленное сообщение включает в себя всю историю диалога за сессию. К 50-му сообщению вы оплачиваете повторную отправку всех предыдущих сообщений через API снова и снова.
Heartbeat не обязан жрать токены Opus каждые 30 минут
Это про фоновые процессы, которые незаметно сжигают бюджет. По дефолту heartbeat срабатывает каждые 30 минут на той модели, которая выставлена основной - у большинства это по-прежнему Opus. Постоянный расход токенов идет независимо от того, сидите вы за компьютером или нет. Решение: переключить heartbeat на Minimax, снизить частоту до двух раз в день через cron вместо интервалов, включить light context mode, выставить isolated sessions в true и задать active hours, чтобы процесс работал только в рабочее время. Одно это убирает огромную часть фонового расхода.
Компактинг: одна команда срезает нагрузку токенов вдвое
Еще один скрытый множитель расходов прячется в истории переписки. Если вы общались с агентом весь день и контекстное окно заполнено на 50-70%, каждое новое сообщение гонит весь этот объем через API заново. Команда compact сжала контекст с 55K токенов до 23K - меньше половины нагрузки на каждое сообщение после этого. Параллельно стоит выставить max output tokens на 2048 в конфиге. Без этого ограничения агент может вернуть тысячи токенов в одном ответе, когда хватило бы пары сотен. Одна строчка в конфиге - и расход на вывод падает моментально.
QMD: поиск по файлам без загрузки в контекстное окно
Есть еще один источник мусорного расхода, который накапливается со временем. По мере того как у вас копятся markdown-файлы (заметки, конфиги агентов, память), агент перечитывает их все при каждом вопросе. Полный текст файлов грузится прямо в контекстное окно, сжигая токены на контент, который вообще не связан с вашим запросом. QMD решает эту проблему. Это локальный поисковый движок для markdown, который превращает заметки в индекс с ре-ранкингом. Агент находит нужное без загрузки целых файлов в контекст. Ставится с GitHub, добавляется в agents.md, и каждый файловый запрос начинает стоить копейки.
Итог: $600 превращаются в $25
Без оптимизации: Opus на каждом действии, heartbeat каждые 30 минут, полный контекст в каждом сообщении, без лимита на вывод, полное чтение файлов. $300-$600 в месяц. С оптимизацией: роутинг моделей через OpenRouter, авторежим для выбора по стоимости, дешевая модель на heartbeat через cron, регулярный компактинг, лимит вывода на 2048, QMD для поиска по файлам. $6-$25 в месяц. Тот же инструмент. Те же возможности.
Те, кто реально получает результат от ИИ-автоматизации, не тратят больше всех на токены. Они один раз настроили систему, взяли расходы под контроль и сфокусировались на построении воркфлоу, которые решают дорогие проблемы. Все шесть настроек занимают около 10 минут. Экономия начинается сразу.
https://vc.ru/ai/2862521-kak-sokratit-rashody-na-openclaw-na-95-i-platit-25-vmesto-600
❤5
Anthropic опубликовали свежий мини-курс по промтингу- в нём описаны лучшие практики по написанию подсказок
Внутри советы по форматированию, описанию задач и агентских сценариях - всё это с примерами и детальным описанием.
https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices
Внутри советы по форматированию, описанию задач и агентских сценариях - всё это с примерами и детальным описанием.
https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices
❤3