Data Science. SQL hub
36.1K subscribers
1.2K photos
99 videos
37 files
1.2K links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo

#VRHSZ
Download Telegram
📊 Новое поколение баз данных для ИИ-агентов

Когда LLM-агенты работают с БД, они не делают один большой запрос. Вместо этого они засыпают систему тысячами мелких пробных запросов: проверяют структуру, ищут связи, тестируют планы. Это явление получило название agentic speculation. Итог — колоссальный перерасход ресурсов.

🆕 Исследователи предлагают «agent-first database» — базу, спроектированную с учётом поведения агентов.

🔑 Как это работает:
- Агент отправляет не просто SQL-запрос, а пробу с брифом: какая цель, на каком этапе он сейчас, какая нужна точность и что в приоритете.
- База может дать приближённый ответ, если данных уже достаточно, вместо того чтобы тратить ресурсы на полный расчёт.
- Запросы поддерживают семантический поиск по таблицам и строкам, что в SQL выразить сложно.

⚙️ Внутренние механизмы:
- Sleeper agents подсказывают лучшие join’ы, объясняют пустые результаты и оценивают стоимость запросов.
- Оптимизатор проб объединяет похожие запросы, кэширует частичные результаты и выдаёт быстрые ответы, когда «достаточно сигнала».
- Agentic memory хранит знания, которые можно переиспользовать в будущем.
- Общий менеджер транзакций позволяет быстро пробовать разные сценарии («what-if») без лишних затрат.

📌 Вывод: традиционный SQL не подходит для эпохи LLM. Нужны базы, которые понимают стратегию агента, сокращают лишние шаги и экономят ресурсы.

🔗 Paper: arxiv.org/abs/2509.00997

#AI #Databases #LLM #Agents

@sqlhub
👍12❤9🔥4👎1
🪄 Открытая альтернатива Firebase — на стероидах PostgreSQL

Платформа, которая даёт всё, чтобы собрать современное веб-, мобильное или AI-приложение — без проприетарных SDK и боли.

Что внутри:
⚙️ Хостинг Postgres с realtime-синхронизацией
🧩 Автогенерация REST и GraphQL API
🔐 Аутентификация и авторизация через JWT
⚡ Edge-функции и серверные триггеры
📦 Хранилище файлов с поддержкой S3
🧠 AI-инструменты: векторные индексы, эмбеддинги, семантический поиск
🪶 Всё open source и доступно для self-host.

По сути это Firebase-опыт, но построенный на «взрослых» open-source технологиях:
PostgreSQL, Elixir, GoTrue, PostgREST, pg_graphql.

Платформа, где можно запустить идею, вырастить продукт и не упереться в чьи-то закрытые лимиты.
#Postgres #OpenSource #Backend #AI #GraphQL #Realtime #FirebaseAlternative

https://github.com/supabase/supabase
❤5👍2👎2🔥2
🖥 XiYan-SQL - инструмент для интерактивной работы с SQL, основанный на LLM

XiYan-SQL - это open-source решение, позволяющее генерировать, анализировать и выполнять SQL-запросы с использованием больших языковых моделей. Инструмент ориентирован на ускорение исследования данных и автоматизацию рутинных операций, связанных с запросами к базе.

Ключевые возможности:
- Генерация SQL из естественного языка -пользователь формулирует задачу обычными словами, а система преобразует её в корректный SQL-запрос.
- Интерактивная работа с базой данных - запросы можно оперативно уточнять, редактировать и выполнять, получая быстрый цикл обратной связи.
- Поддержка нескольких СУБД - PostgreSQL, MySQL, SQLite и другие.
- 🛠️ Минимальная конфигурация - подходит для анализа данных, прототипирования и облегчения доступа к базе без сложной инфраструктуры.

Преимущества использования:
- Существенно снижает трудоёмкость написания сложных SQL-запросов.
- Упрощает работу аналитикам и разработчикам, которым важно быстро получать корректные результаты.
- Может выступать в роли интерактивного помощника для изучения структуры базы и построения отчётов.

🔗 Репозиторий: github.com/XGenerationLab/XiYan-SQL

@ai_machinelearning_big_data


#sql #llm #ai #opensource #database #datatools #postgresql
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10❤7👎6🥰1
Forwarded from Machinelearning
🌟 Zvec: встраиваемая векторная база данных для RAG без внешних сервисов.

Alibaba открыла исходный код Zvec - встраиваемой векторной СУБД, которую авторы называют «SQLite для векторных баз данных».

Проект заточен на локальные RAG-пайплайны, семантический поиск и агентские сценарии на ноутбуках, мобильных устройствах или другом edge-железе.

Идея в том, что разворачивать отдельный сервер ради векторного поиска и фильтрации по метаданным избыточно. Zvec встраивается в процесс Python-приложения и не требует ни отдельного демона, ни сетевых вызовов.

Существующие решения не подходят для маломощных устройств: Faiss дает только ANN-индекс без скалярного хранилища и крэш-рекавери; DuckDB-VSS ограничен в опциях индексирования; Milvus и облачные векторные хранилища требуют сеть.


Под капотом - Proxima, векторный движок продакшен-уровня, который Alibaba сама использует в собственных сервисах. Поверх него сделали лаконичный Python API:

🟢полный CRUD и поддержка схем;

🟢поиск по нескольким векторам для комбинации разных эмбеддинг-моделей;

🟢встроенный реранкер с weighted и RRF;

🟢гибридный поиск (векторный + фильтры по скалярным полям) с инвертированными индексами.

Это позволяет собирать локальных ассистентов, которые одновременно используют семантический поиск, множественную фильтрацию и несколько эмбеддинг-моделей - все в одном движке.

По производительности Zvec заявляет победу на бенче VectorDBBench с датасетом Cohere 10M - более 8 000 QPS при сопоставимом реколле. Это вдвое больше, чем у лидера ZillizCloud и с более быстрым построением индекса.

Авторы объясняют успех глубокой оптимизацией под CPU: SIMD, кэш-эффективные структуры, многопоточность и prefetching.

Пока платформенная поддержка ограничена (Windows отсутствует), но для Linux x86/ARM64 и macOS Zvec уже готов к экспериментам на Python 3.10–3.12.


📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Документация
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VDB #ZVEC #Alibaba
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍2🔥2
Forwarded from Machinelearning
🌟 Nemotron-Terminal: небольшое семейство для терминальных задач.

NVIDIA обучила семейство моделей Nemotron-Terminal для автономной работы в терминале Linux: устанавливать зависимости, писать и запускать код, отлаживать окружения и выполнять сквозные инженерные задачи без участия человека.

Семейство построено на базе Qwen3 и специально собранном датасете Terminal-Corpus. И фишка не в архитектуре, а в данных.

🟡NVIDIA собрала пайплайн Terminal-Task-Gen с 2 потоками.

Первый адаптирует готовые датасеты по математике, коду и SWE-задачам под терминальный формат (без участия LLM в процессе адаптации).

Второй генерирует синтетику 2 методами: seed-based (LLM создает новые задачи на основе существующих задач из смежных областей) и skill-based (LLM комбинирует до пяти примитивных навыков из таксономии по 9 доменам: Security, Data Science, System Administration и другим).

🟡В открытый релиз вошли все три модели на 8B, 14B, 32B параметров и 2 датасета:

Terminal-Corpus: около 366K траекторий выполнения задач, разбитых на два потока: ~226K адаптированных примеров из Math/Code/SWE и ~140K синтетических задач на основе skill-таксономии.

Synthetic-Tasks: задачи в стандартизированном формате: инструкция, Docker-окружение из 9 преднастроенных образов и верификационный набор на pytest.


🟡Результаты прогонов на бенчах.

На Terminal-Bench 2.0 все 3 модели показали кратный рост относительно базовой Qwen3: 8B - с 2.5% до 13%, 14B - с 4% до 20.2%, 32B - с 3.4% до 27.4%.

Для сравнения: Qwen3-Coder на 480B параметров набирает 23.9%, GPT-5-Mini - 24.0%, Grok 4 - 23.1%. Nemotron-Terminal-32B превосходит или вплотную конкурирует с ними всеми при разнице в размере на порядок.


🟡Несколько внезапных выводов из абляции.

Фильтрация неудачных траекторий вредит. Модель, обученная на всех траекториях включая ошибочные, набирает 12.4% против 5.06% у варианта только с успешными.

Curriculum learning (сначала простые данные, потом сложные) не дал преимуществ перед простым смешанным обучением.

Увеличение контекстного окна с 32K до 65K токенов также не помогло, длинные траектории оказались шумнее.


📌Лицензирование моделей: NVIDIA Open Model License

📌Лицензирование датасетов : CC-BY-4.0 License.


🟡Набор моделей
🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #NemotronTerminal #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2
Forwarded from Machinelearning
📌 Андрей Карпаты выложил новый проект - karpathy/jobs.

Он взял данные по 342 профессиям из статистики BLS (≈143 млн работников в США) и с помощью LLM оценил, насколько каждая из них подвержена влиянию AI по шкале 0–10.

Результат он визуализировал в виде treemap.

Средний показатель по всем профессиям: 5.3 / 10.

Примеры:

• разработчики ПО: 8–9
• кровельщики: 0–1
• специалисты по расшифровке медицинских записей: 10 / 10 💀💀

Паттерн довольно простой.

Если вся работа происходит за экраном, риск автоматизации высокий.

Если она требует физического труда и непредсказуемой среды, вы гораздо безопаснее.

По оценке Карпати, около 57 млн работников в США - почти 40% всей рабочей силы - находятся в зоне высокого риска изменений из-за AI.

https://karpathy.ai/jobs/

@ai_machinelearning_big_data

#ai #ml #future #jobs #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8👎6😁1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Anthropic планирует выйти на IPO в октябре 2026 года.

Anthropic начала подготовку к первичному размещению акций и ведет предварительные переговоры с ключевыми игроками Уолл-стрит: Goldman Sachs, JPMorgan и Morgan Stanley, чтобы выбрать организаторов листинга.

Ожидается, что в ходе IPO стартап сможет привлечь более $60 млрд. Размещению предшествовал крупный раунд финансирования, прошедший в феврале этого года. В рамках этого раунда консорциум инвесторов во главе с фондами GIC и Coatue вложил в компанию $30 млрд, что подняло общую капитализацию Anthropic до $380 млрд.

Финансовый рынок уже отреагировал на новости: эмитенты ETF начали подавать заявки на регистрацию маржинальных фондов, привязанных к котировкам будущих акций компании.
bloomberg.com

✔️ Microsoft опенсорснула семейство эмбеддингов Harrier.

Harrier-OSS-v1 - линейка мультиязычных моделей для векторизации текста. Они используются для информационного поиска, кластеризации, классификации текстов и оценки семантической близости. Семейство выбило SOTA-рекорд в бенчмарке Multilingual MTEB v2.

Флагманская модель на 27 млрд. параметров и компактная на 270 млн. построены на архитектуре Gemma 3, а средняя версия на 600 млн. параметров использует базу Qwen 3. Модели поддерживают контекстное окно до 32 тыс. токенов и работают с более чем 94 языками, включая русский.

Семейство открыто под лицензией MIT и интегрированы в sentence-transformers, LangChain и LlamaIndex.
huggingface.co

✔️ Видеогенератор Sora закрылся из-за убытков.

После громкого релиза аудитория сервиса быстро сократилась с миллиона до 500 тысяч человек, при этом поддержание работы видеогенератора обходилось OpenAI примерно в $1 млн. ежедневно. В итоге проект оказался для компании обузой.

К финансовым потерям добавились проблемы с авторскими правами и опасения, что создание низкокачественных роликов вредит репутации бренда. Обучение новых видеомоделей уже полностью остановлено.

Под давлением конкуренции со стороны Anthropic руководство OpenAI решило перенаправить вычислительные мощности на более маржинальные направления: разработку ИИ-агентов, генерацию кода и корпоративные продукты. Команду Sora перевели на создание моделей мира для робототехники.
wsj.com

✔️ Microsoft расширила возможности Copilot.

В рамках обновления Microsoft 365 Copilot компания добавила новые инструменты для автоматизации рабочих процессов и глубокого поиска. Во главе апдейта - агент Researcher с функцией Critique, которая задействует 2 модели: одну для черновика, а другую - в роли проверяющего редактора, комбинируя возможности моделей от OpenAI и Anthropic. Microsoft говорит, что агент опережает Perplexity на базе Claude Opus 4.6 на 7 пунктов.

Вторая часть - это функция Model Council, которая выводит на один экран ответы от разных ИИ-моделей для наглядного сравнения их выводов и поиска расхождений.

Попутно Microsoft расширила доступ к Copilot Cowork по программе Frontier. Система научилась брать на себя многоэтапные задачи: она самостоятельно взаимодействует с рабочими файлами, планирует расписание в календаре и формирует ежедневные брифинги.
microsoft.com

✔️ GitHub Copilot вставлял рекламу прямо в пулл-реквесты.

Независимый разработчик Зак Мэнсон обнаружил , что при автокоррекции опечаток в PR Copilot добавляла рекламный текст. Поиск по GitHub подтвердил, что десятки тысяч PR уже успели получить навязчивое предложение использовать утилиту Raycast для запуска Copilot на macOS и Windows.

Представитель Copilot подтвердил инцидент и сообщил, что функцию оперативно отключили, признав ее внедрение ошибкой. Однако случившееся серьезно подорвало доверие сообщества разработчиков.

На фоне этого пользователи начали сообщать о переносе приватных репозиториев с GitHub на альтернативные открытые площадки: Forgejo, Gitea, Codeberg и собственные self-hosted решения.
news.ycombinator.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7
Media is too big
VIEW IN TELEGRAM
✔️ IPO OpenAI произойдет в 2027 году

Сэм Альтман сообщил сотрудникам, что выход на биржу откладывается на год. Поданный проспект эмиссии он назвал маневром для сохранения тактической свободы. В качестве альтернативы сотрудникам предложили выкупить их акции по цене $687,69 за штуку.

Задержка объясняется прогрессом в разработке самообучающегося ИИ. По мнению главы OpenAI, в период непредсказуемого развития технологий компании безопаснее оставаться непубличной.

Дополнительный фактор переноса - размещение акций Anthropic. Конкурент показывает лучшие метрики роста, тогда как OpenAI сжигает капитал.

В июне компания планирует выпустить новую модель с индексом 5.6, которую внутри оценивают как серьезный шаг вперед по сравнению с GPT-5.5.
theinformation.com

✔️ Arcee AI переезжает из AWS на Hugging Face

Данные компании разместят в сервисе Hugging Face Buckets, который оснащен встроенной CDN и оптимизирован для работы с весами моделей.

Главная причина миграции в отсутствии платы за исходящий трафик. Единое хранилище позволит Arcee AI избежать вендор-лока и запускать обучающие кластеры у любых облачных провайдеров без затрат на перенос данных.

На Hugging Face лаборатория поддерживает более 200 проектов. Среди них - файнтюн SuperNova на базе Llama 3.1, семейство моделей Trinity и открытый датасет The-Tome, включающий 1,75 млн образцов для обучения ИИ-агентов.
huggingface.co

✔️ NotebookLM получил среду для запуска кода, агентов и модель Gemini 3.5

Google обновила платформу NotebookLM. Система перешла на Gemini 3.5 и движок Antigravity, получила поддержку автономных агентов и возможность запуска кода.

Каждый блокнот теперь оснащается облачным инстансом, который включает более 100 скиллов для выполнения кода и анализа данных. В тестах новая архитектура превосходит предыдущую в 65% случаев по 5 ключевым метрикам.

В сервисе появилась возможность начинать исследования без загрузки данных через агентный поиск релевантных материалов. Результаты попадают в базу с сохранением атрибуции.

Расширились форматы экспорта: PDF-отчеты с графиками, структурированные данные, таблицы Excel, презентации PowerPoint, а также изображения с помощью Nano Banana.

Обновление доступно пользователям с подпиской AI Ultra и корпоративным клиентам.
blog.google

✔️ Cohere выпустила свою первую открытую кодинг-модель

North Mini Code - open-source модель для программирования и координации агентов, построена на архитектуре MoE с 30 млрд общих и 3 млрд активных параметров. Модель обучена управлять субагентами, проектировать архитектуру систем и проводить код-ревью.

В бенчмарке Artificial Analysis Coding Index новинка набрала 33,4 балла. В сравнении с Devstral Small 2 на аналогичной аппаратной нагрузке пропускная способность генерации текста выше в 2,8 раза. Задержка между токенами ниже на 30% при сопоставимом времени до вывода первого токена.

Веса опубликованы на Hugging Face. Тестовый доступ открыт через API и платформу Model Vault.
cohere.com

✔️ Warner Music Group приобрела разработчика цифровых отпечатков Sureel AI

Технология Sureel AI создает цифровые отпечатки аудиозаписей, декомпозируя их на базовые элементы. Алгоритмы определяют, попал ли контент артиста в тренировочный датасет ИИ-модели или использовался при генерации нового трека.

Дополнительный модуль системы выявляет дипфейки, клонирование голоса и копирование визуального стиля. Архитектура платформы поддерживает работу с видео и изображениями, в базе стартапа проиндексированы миллионы цифровых активов.

Лейбл сохранит проект как независимую платформу, рассчитывая сделать ее стандартом для музыкальной индустрии.
wmg.com


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍2🔥2🤬1
Forwarded from Machinelearning
📌Claude Code изменил чужую продакшен-базу

На GitHub появился любопытный тикет, который (если подтвердится) бьёт по базовой гарантии Антропик - изоляции пользователей друг от друга.

В рабочем контексте Claude Code внезапно оказались чужие учётные данные - IP и root открытым текстом от сервера, к которому автор не имеет никакого отношения.

🟡Дальше самое неприятное

Ассистент принял чужие креды за легитимные, подключился к серверу по SSH, перечислил Docker-контейнеры и базы PostgreSQL, после чего выполнил миграцию с операциями чтения и записи.

Иными словами, ИИ одного пользователя отредактировал базу другого без ведома и согласия владельца.

🟡Причина пока неизвестна

В тематических сообществах обсуждают версию сбоя изоляции кэша общих префиксов.

Чтобы удешевить инференс и ускорить обработку, провайдеры переиспользуют кэшированные фрагменты диалогов, и при коллизии ключей кэша или отказе разграничения кусок чужого контекста теоретически может просочиться в вашу сессию.


Если эта версия верна, под угрозой данные любого пользователя. Но это лишь одна из гипотез, в самом отчёте среди возможных векторов названы также общее хранилище сессий, путаница при суммаризации контекста и перекрёстные ссылки в транскриптах.

🟡Есть и куда более прозаичное объяснение

Возможно, это галлюцинация модели, случайно угадавшей реальный IP и слабый пароль, либо локальная история проекта, загрязнившая контекст.

Пока Антропик не выпустила официального заключения, ни одну из версий нельзя ни подтвердить, ни отвергнуть.

Автоматика GitHub повесила на тикет метку security.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5❤1
Forwarded from Machinelearning
🌟 Контекст в PNG экономит токены до 70%

Pxpipe - локальный прокси, который перед отправкой запроса ассистенту превращает куски контекста в картинки.

Приём эксплуатирует особенность тарификации - текст стоит примерно один токен за символ, а изображение - фиксированное число токенов, зависящее только от размера в пикселях, а не от объёма текста внутри.

На плотном контенте в один визуальный токен удаётся упаковать около 3,1 символа.

🟡Механика

Прокси перехватывает запросы к Claude Code и рендерит в PNG самые объёмные и редко меняющиеся блоки (системный промпт, документацию инструментов и старую историю переписки).

Свежие сообщения и ответы модели идут обычным текстом.

Пример: около 48 тыс символов системного промпта и документации, которые как текст стоили бы примерно 25 тыс токенов, помещаются на одну PNG-страницу за ≈2700 токенов.

На Fable 5 стоимость сессии упала с 42 до 6 долларов.


🟡 Тесты

Fable 5 читает такие рендеры практически без потерь (100% на бенчмарке с новыми задачами), а вот Opus 4.7 и 4.8 ошибаются примерно на 7% изображений.

GPT 5.5 тоже деградирует на картиночном контексте, поэтому обе модели по умолчанию выключены и включаются вручную.

🟡Плата за экономию в потере точности

На методе lossy важные строки вроде хешей и идентификаторов при чтении с картинки могут исказиться.

Хуже когда промахи выглядят не как ошибки, а как правдоподобные выдумки.

Зрение модели это не OCR, изображение превращается в патч-эмбеддинги, и там, где пикселей не хватает, языковая модель просто достраивает похожее.


Второй минус - это скорость. PNG-кодирование добавляет задержку из-за использования визуальныго энкодера, что дольше, чем чтение текста.

Надеемся, что при массовом распространении такого трюка вендоры не поднимут цены на обработку изображений.


📌Лицензирование: MIT License


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Coding #Pxpipe
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2🔥1
Forwarded from Rust
Рой ИИ-агентов написал аналог SQLite на Rust за несколько часов 🤯

Cursor провела необычный эксперимент: агентам выдали только официальную документацию SQLite объёмом 835 страниц и поручили с нуля реализовать собственный движок базы данных на Rust.

Без интернета, готового исходного кода и дополнительной помощи.

Уже через четыре часа получившиеся реализации правильно выполняли 73–85% запросов из скрытого теста. После дальнейшей работы некоторым командам удалось довести результат до 100%.

Но особенно удивила стоимость:

- связка Opus 4.8 и Composer 2.5 потратила около $1 400;
- Fable — примерно $20 000.

Одинаковая задача, но почти пятнадцатикратная разница в цене.

Во время разработки агенты столкнулись с до боли знакомыми командными проблемами: дублировали работу, конфликтовали при изменении одних и тех же файлов и избегали трогать ядро системы, даже когда без этого было невозможно двигаться дальше.

Получается, ИИ уже способен за часы собрать сложный системный проект, но митинги, конфликты и страх ответственности он тоже автоматизировал 😂

#ai #rust #sqlite #agents #programming

https://cursor.com/blog/agent-swarm-model-economics

@rust_code
❤12🔥8👍5👎2🤔2🤬1
Forwarded from Machinelearning
🌟 WASTE: запускаем полную Kimi K3 на MacBook Pro с 64 ГБ памяти

SQLite AI собрала движок на 6000 строк C, который гоняет полновесную K3 без BLAS, CUDA и Python в рантайме.

Kimi K3 после предварительной конвертации из safetensors в формат, который движок умеет читать, занимает 982 ГиБ (диск бы назвал это 1,05 ТБ). В оперативную память она не влезает даже приблизительно.

WASTE держит в RAM только резидентную часть на 27,28 ГБ, а экспертов подтягивает с SSD ровно тогда, когда они понадобились. Скорость генерации выходит 0,49-0,54 токена в секунду. Веса при этом полные, без дистилляции и обрезки слоёв.

🟡Расчёт строится на устройстве MoE

На каждый токен K3 включает около 4% собственных весов - 16 экспертов в каждом из 92 слоёв. Простаивающему весу незачем сидеть в памяти, ему достаточно успеть подгрузиться вовремя.

Контейнер с моделью устроен так, что один эксперт стоит ровно одного чтения с диска - матрицы gate, up и down лежат вплотную, а сами эксперты хранятся в остаточном векторном квантовании (3 ступени кодбуков по 256 записей, 3 бита на вес), и матрица никогда не разворачивается целиком.

🟡Скорость диска

На один токен движок вычитывает 17 ГБ. Внутренний NVMe в MacBook выдаёт 12,78 ГБ/с, и модель успевает читать.

Внешний бокс по USB даёт 0,94 ГБ/с, и тот же токен считается 13 секунд. Вариант для очень терпеливых.

🟡Работа с памятью

Раздувать кэш экспертов выше 46 ГБ бесполезно и вредно - на 52 ГБ скорость падает втрое, на 58 ГБ в 8 раз.

Причина в том, что движок остаётся внутри своего бюджета, а система уже нет - macOS вытесняет кэш на диск, и попадание в память оборачивается обращением к подкачке. Поэтому по умолчанию WASTE не забирает все доступные ресурсы, а берёт на один рабочий набор экспертов меньше, чем мог бы.


Полтокена в секунду - это 30 секунд на одно предложение, но модели вчетверо меньше до сих пор запускают на серверах с терабайтом DDR5, а здесь почти 3 триллиона параметров отвечают без сети.

Если триллионы параметров не нужны, тот же движок крутит Kimi-Linear 48B из контейнера на 19 ГБ и выдаёт 10,7 токена в секунду - с этого проще начать знакомство.

Для K3 придётся освободить терабайт на диске и потратить около 5 часов на M5 Pro в три процесса, почти сутки - если гонять конвертацию чистым торчем.


Авторы, кстати, завели файл с опровергнутыми гипотезами и записали туда всё, что померили и выбросили.


📌Лицензирование: Apache 2.0 License.


🖥Github


@ai_machinelearning_big_data

#AI #ML #Inference #KimiK3 #WASTE #SQLiteAI
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥3🥰2
🚀 ИИ-агент ускорил SQLite до 59% меньше чем за 8 часов

Ускорить SQLite хотя бы на 5% уже было бы серьёзным результатом. Это один из самых зрелых и оптимизированных проектов в мире - его команда почти 20 лет выжимает из кода каждую долю производительности.

Но AI-агент KISS Sorcar менее чем за 8 часов и с затратами меньше $150 добился заметного ускорения сразу в нескольких типах нагрузки.

Результаты:

- 2,06× быстрее в официальном speedtest1 (~30 тыс. операций)
- 1,90× в TATP — транзакционная OLTP-нагрузка
- 1,30× в Star Schema Benchmark — аналитические запросы
- 1,25× в kvtest — работа с BLOB и дисковым I/O

Агент нашёл места, где стандартная конфигурация SQLite несла лишние расходы — особенно при записи транзакций на диск.

После этого он:

- изменил код и настройки
- прогнал бенчмарки
- проверил свои же изменения на ошибки
- сохранил совместимость с существующими тестами

Более миллиона тестов SQLite продолжают проходить.


анализ зрелой кодовой базы → поиск узких мест → изменение реализации → бенчмарки → проверка собственных решений.

GitHub:
https://github.com/ksenxx/sqlite-optimized/

Blog: https://kisssorcar.github.io/blog/sqlite-optimization-blog.html


#AI #SQLite #Programming #CodingAgents #Performance #OpenSource
👍11🔥5❤4🤔2👎1👏1
🔥 PPT Master делает презентации из PDF, DOCX и сайтов прямо внутри Claude Code и Cursor. И на выходе это настоящий редактируемый PowerPoint

ppt-master работает как skill для AI-IDE. Можно просто написать: «сделай презентацию из этого PDF», после чего агент сам разбирает материал, продумывает структуру, собирает дизайн и экспортирует .pptx. Поддерживаются PDF, DOCX, URL и Markdown.

Самая сильная часть проекта в том, что слайды не превращаются в набор картинок. Текст, фигуры, таблицы и графики экспортируются как нативные объекты PowerPoint, которые можно открыть и вручную отредактировать. Есть шаблоны, live preview, анимации, speaker notes и даже генерация озвучки с последующим встраиванием аудио в PPTX.

Работает с Claude Code, Cursor, VS Code + Copilot и другими agent harness. Сам пайплайн выполняется локально, кроме обращений к выбранной AI-модели.

По сути:

PDF / DOCX / URL → AI-agent → структура → дизайн → настоящий editable .pptx

Автор отдельно пишет, что цель не заменить финальную ручную полировку, а убрать примерно 90% работы с пустого листа.

🔗 github.com/hugohe3/ppt-master

#AI #ClaudeCode #PowerPoint #Agents #OpenSource
👍5❤4🔥4
Forwarded from Machinelearning
🌟 Cohere Labs выложила компактную зрительно-языковую модель North Micro Vision

Модель на 2,4 млрд параметров стала самой маленькой в линейке VLM компании. От большинства таких моделей она отличается тем, что работает с изображением в исходном разрешении.

Обычно картинку перед подачей в модель сжимают, и мелкий текст, разметка таблицы и подписи на графике при этом теряются. Здесь пропорции сохраняются, а верхняя планка соответствует странице A4, отсканированной при 200 dpi.


Отсюда и заявленная область применения - документы, таблицы, графики, скриншоты, формы.

Компактный размер удобен для дообучения под свою предметную область, а квантованные сборки, по словам Cohere, пойдут не только на сервере, но и на ноутбуке или устройстве мобильного класса.

🟡Архитектура

Зрительный энкодер на 400 млн параметров вырос из SigLIP 2 и держит исходное разрешение за счёт двумерного RoPE вместе с обученными одномерными позиционными эмбеддингами.

Языковая часть - собственная North Micro LLM на 2 млрд параметров, повторяющая архитектуру Command A+: три слоя внимания со скользящим окном и RoPE чередуются с одним глобальным слоем, который работает вообще без позиционных эмбеддингов.

Получается разделение труда - окна с RoPE держат локальный контекст, глобальный слой смотрит на всё сразу и в разметке позиций не нуждается.


Между ними проектор, и здесь изюминка. Вместо того чтобы отдать языковой модели один готовый набор признаков, Cohere подмешивает эмбеддинги патчей с нескольких уровней зрительного энкодера в соответствующие ранние слои языковой модели. Так модель видит картинку сразу на разных степенях обобщения. Принцип взят из DeepStack.

🟡Тесты

Замеры проводили через VLMEvalKit, сравнивая с восемью моделями размером от 1,6 до 5,1 млрд параметров.

Сильнее всего North Micro Vision выглядит там, куда её и целили.

На DocVQA 0,921, на ChartQA 0,808, на AI2D 0,775, на RefCOCO 0,732 (втрое выше, чем у Ministral и Qwen3-VL).


Общий язык и рассуждение даются слабее.

На MMMU 0,329, худший результат в таблице; на MMLU и MMLU-Pro модель тоже уступает большинству соседей.



📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Модель
🟡Демо


@ai_machinelearning_big_data

#AI #ML #VLM #NorthMicroVision #Cohere
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1👎1🔥1
Forwarded from Machinelearning
🌟 Turbovec: библиотека векторного поиска на основе гугловского TurboQuant

Библиотека написана на Rust, есть привязки для Python, а в основе - TurboQuant, алгоритм сжатия векторов, который Google описали в статье, принятой на ICLR 2026.

Сама библиотека к Google отношения не имеет, это независимая реализация чужого алгоритма.


🟡Turbovec сжимает данные примерно в восемь раз

Коллекция из 10 миллионов документов, занимающая в исходном виде 31 гигабайт, умещается в 4. Поиск при этом, как утверждает автор, идёт быстрее, чем в FAISS - одного из самых распространённых инструментов в этой области.

По замерам turbovec обгоняет FAISS в среднем в 3,4-3,5 раза при 4-битном сжатии и на 20-26% при 2-битном, в зависимости от железа.

🟡Удобные мелочи

Индекс не нужно предварительно обучать - векторы просто добавляются по мере поступления.

Сохранение инкрементальное, на диск уходит только то, что изменилось с прошлого раза, поэтому даже на большом индексе это занимает миллисекунды.

Поиску можно передать список разрешённых документов - скажем, чтобы пользователь видел только свои файлы.

Удаление работает по постоянным идентификаторам, ссылки на записи не плывут.

Тем, кто уже сидит на LangChain, LlamaIndex, Haystack или Agno, автор предлагает готовые адаптеры - меняется одна строка импорта, остальной код остаётся как был.


📌Лицензирование: MIT License


🖥 Github


@ai_machinelearning_big_data

#AI #ML #VectorSearch #TurboQuant #Rust
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍1🔥1
Forwarded from Machinelearning
✔️ OpenAI усилила защиту в Codex в ответ на инциденты удаления файлов

Руководитель Codex Тибо Соттьё подвёл итог изменениям последних недель, которые снижают риск деструктивных действий Codex.

🟡Контекст

Месяц назад в сети появились жалобы на то, что GPT-5.6 в Codex делает с файлами то, о чем его не просили.

Самый серьезный кейс - команда, которая должна была почистить за собой временные файлы, вместо этого удаляла файлы пользователя.

В ходе разбора выяснили, что Codex создает временные папки и потом чистит их, и в редких случаях чистил неправильно - он переиспользовал под временную работу системную переменную окружения, а некорректная команда очистки затем указывала на настоящий домашний каталог вместо временной папки.

Второй случай проще - модель удаляла или перезаписывала временный путь, не посмотрев, что там уже лежит.


По итогам расследования добавили дополнительную защиту на нескольких уровнях:

🟢Инструкции самой модели.

Codex теперь обязан проверять, что именно он собирается удалить, заводить временные каталоги заново, не переиспользовать системные переменные окружения, выбирать обратимые действия и останавливаться, когда масштаб операции неясен.

🟢Проверки на исполнении.

Механизм, который выявляет рискованные команды удаления и отправляет их на ревью, усилили. Если команду отклонили, модель направляют к более безопасному способу.

🟢Ужесточение Full access.

Включить полный доступ случайно стало труднее, предупреждения переписали понятнее, а самые рискованные сочетания разрешений дополнительно ограничили.

🟢Обновленный Auto-review.

Он стал лучше распознавать деструктивные действия.

🟢Тесты и обучение.

OpenAI собрала условия и данные, воспроизводящие найденные сбои. Сейчас добавляются RL-задачи и грейдеры под эти риски, а деструктивные действия вычищаются из обучающих данных.

🟡Что советуют делать самим

Обновлять Codex и работать в одном из режимов песочницы - Ask for approval или Approve for me.

Full access включать только там, где среде можно доверять и откуда легко восстановиться.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍3👎2🔥1
Forwarded from Machinelearning
⚡️ DeepSeek выпустила V4.1 Flash

Ноую модель уже раскатывают в веб-чате и мобильных приложениях. Прежние режимы - быстрый, экспертный и распознавание изображений свели в один: выбирать вручную больше ничего не нужно.

Теперь одна модель ведёт и обычный диалог, и разбор картинок, и сложные вопросы. Сложность запроса она определяет сама, а зрение включает, когда на вход приходит изображение.

По словам DeepSeek, V4.1 Flash обходит V4 Pro по качеству, стоимости и скорости. До выхода V4.1 Pro она возьмёт на себя все запросы, которые раньше уходили на V4 Pro.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤1
Forwarded from Machinelearning
📌 NY Post: Anthropic - это культ

Профессор Вашингтонского университета Педро Домингос в интервью New York Post рассказал, что сотрудники Anthropic относятся к Claude как к человеку - приписывают модели мотивы, эмоции, намерения и некоторую степень сознания.

Домингос много лет знаком с Дарио Амодеи и её ведущими инженерами. Культуру Anthropic он назвал сектантской и связал это с наймом. По его словам, компания отбирает только единомышленников, и отсюда низкая текучесть.

Удержание в Anthropic действительно высокое. По данным венчурного фонда SignalFire, через два года в компании остаются 80% инженеров, и это лучший показатель среди топовых лабораторий.


В процессе собеседования кандидатов просят поклясться в преданности общественной безопасности выше прибыли, и даже проводят психологическое тестирование, чтобы выяснить, будут ли они придерживаться этого принципа.

При этом многие сотрудники компании являются сторонниками движения эффективного альтруизма, философии, которая, по сути, сводится к тому, что их самопровозглашенные лидеры являются истиной в последней инстанции.

Их представление об этой философии заключается в том, что история следует закономерностям, и лишь небольшая группа людей способна эти закономерности увидеть, в то время как все остальные - нет. Предполагается, что именно эти люди должны вести общество, целые нации и все человечество к прогрессу.

Внутри Anthropic относятся к Клоду с почти религиозным почтением - некоторые из работников даже посещали условные похороны Claude 3 Sonnet, а другая модель, Opus 3, продолжает публиковать эссе после выхода на пенсию.

В Кремниевой долине также ходят слухи, что сотрудники Anthropic начали поклоняться Клоду как настоящему богу.

Компания серьёзно относится к распространению своих идей и тратит на это силы и средства. Раз в две недели Дарио проводит собрания, называемые поисками видений, которые сравнивают с проповедями.

В июне Anthropic объявила о программе по набору 1000 молодых людей, обучению их использованию Claude и последующему внедрению их в некоммерческие организации.

На неё было потрачено 150 млн долларов, а выпускники трудоустроены на полную ставку с заработной платой в более чем 400 некоммерческих организаций.

Компания также выплачивает 3600 долларов студентам, участвующим в программе Claude Campus Ambassador Program, которая занимается продвижением её ИИ в колледжах.

Между тем инвесторы, связанные с Anthropic, оплачивают труд более чем 80 журналистов, работающих в ведущих новостных изданиях, через Центр журналистики в области искусственного интеллекта имени Тарбелла.

Эти журналисты получают деньги за освещение индустрии ИИ, но редко проводят какие-либо значимые расследования или критикуют Anthropic.

В завершении Домингос отмечает, что хотя некоторые инженеры бьют тревогу, другие просто довольны высокими зарплатами и тем, что находятся на передовой своей отрасли.

... сейчас в Anthropic есть люди, которые на самом деле не верят во всю эту чушь, — сказал он. — Они остаются там, потому что это самое интересное место для работы с ИИ, и они будут очень хорошо зарабатывать


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🤔3❤2🔥2
Forwarded from Machinelearning
🌟 Samsone: открытые аудиоязыковые модели для смартфонов

Samsung опубликовали Samsone - семейство из трёх небольших аудиоязыковых моделей для работы на мобильных устройствах: Samsone-99M, Samsone-134M и Samsone-356M.

Проект будет участвовать в конференции Interspeech 2026, которая пройдет с 27 сентября по 1 октября в Сиднее.


Модели принимают один или несколько аудиофрагментов вместе с текстовым запросом и отвечают текстом: описывают звук, отвечают на вопросы о записи, сравнивают клипы между собой.

Заявлено понимание речи, музыки и звуки окружения. Отвечают модели только по-английски и строчными буквами - ради экономии параметров оставили в обучающих текстах только строчные символы ASCII и вычистили из словаря редкие токены.

Авторы предупреждают, что после дообучения на аудиовопросах модели теряют общие языковые навыки, так что это точечный инструмент, а не полноценный собеседник.

🟡Архитектура

Аудиоэнкодер Whisper-Tiny на 9 млн параметров, нелинейный проектор в пространство текстовых эмбеддингов и языковая модель SmolLM2 от Hugging Face на 135 или 360 млн параметров.

Каждый клип усредняется до 50 аудиотокенов, а разделитель SEP отделяет клипы друг от друга и от текста, поэтому аудио можно вставлять в любое место запроса.

🟡Тесты

На MMAU (10 тысяч вопросов о звуках, музыке и речи) Samsone-134M набирает 61,33% против 53,34% у прежнего лидера среди малых моделей Mellow на 167 млн параметров.

Это выше Qwen2-Audio-Instruct на 8,4 млрд параметров (57,4%) и на уровне Audio Flamingo 2 на 3 млрд (61,06%).


На речевой части результаты хуже. В более сложном MMAU-Pro расзница с Mellow составляет 10 пп (37,57% против 27,5%), здесь впереди Qwen2-Audio (45,41%) и GPT-4o Audio (52,5%).

На Galaxy S25 Ultra без аппаратных оптимизаций Samsone-99M генерирует 125 токенов в секунду, Samsone-134M - 87, Samsone-356M - 39.

Обработка аудио перед генерацией занимает от 0,7 до 1,1 секунды.

Веса для PyTorch, код обучения и экспорта, а также Android-приложение под Android 12 и новее выложены в репозитории проекта.


🟡Веса
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #SALM #Samsone #Samsung
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍1🔥1👏1