🌟 CocoIndex v1: релиз инкрементального движка для агентов.

CocoIndex выпустила первую стабильную версию своего движка для построения данных под агентов длительного действия - тех, которые обслуживают RAG, графы знаний, память и контекст в продакшн-системах.

CocoIndex - специализированный опенсорсный инкрементальный ETL-движок (Extract, Transform, Load) для создания ИИ-систем. Он используется для автоматизации обработки данных и их мгновенной индексации в векторные базы или графы знаний.

Инструмент любят за его способность обновлять информацию в реальном времени: как только исходные данные меняются, CocoIndex точечно пересчитывает только нужные части индекса, избавляя от необходимости полной и дорогостоящей переиндексации всей базы.

🟡Главное изменение v1 - полный отказ от DSL

Весь пайплайн теперь описывается обычными асинхронными функциями Python, которые вызывают друг друга. Движок продолжает отслеживать изменения и материализовать целевые состояния, но делает это за нативным Python-API, а не за отдельной системой типов.

Авторы вдохновлялись тезисом Джеффа Дина и Билла Далли с GTC 2026: агенты работают примерно в 50 раз быстрее человека, но опираются на инструменты, рассчитанные на человеческий темп.

Ночные пересборки индексов в этой логике становятся проблемой - нужен движок, который синхронизирует производные данные с источником инкрементально, переобрабатывая только изменившиеся чанки и перезаписывая только изменившиеся строки.

🟡Помимо отказа от DSL, релиз принёс ещё 3 изменения

🟢Во-первых, движок использует систему типов самого Python: PIL.Image, pyarrow.Table, torch.Tensor и любой класс из импортированной библиотеки можно передавать в функции напрямую, без обёрток и двусторонней конверсии.

🟢Во-вторых, Postgres больше не нужен - состояние движка хранится в одном локальном файле. Postgres остался полноценным таргетом, просто перестал быть обязательной зависимостью.

🟢В-третьих, источники и таргеты создаются во время выполнения: можно монтировать отдельный таргет на каждого тенанта, строить топологию по строкам конфигурационной таблицы или подключать Kafka-топик по фича-флагу.

🟡Ядро по-прежнему на Rust

Вся горячая логика по детекции и применению изменений живёт там. На уровне Python декоратор подключает функцию к отслеживанию изменений, а отдельный флаг кеширует её результат по хешу аргументов и кода: правка хелпера инвалидирует только тех вызывающих, кто реально от него зависит.

🟡Контракт управляемых таргетов сохранился

Разработчик декларирует, как должна выглядеть таблица, граф или директория, а CocoIndex сам выполняет create/alter/drop для контейнеров и insert/update/delete для содержимого, включая удаление осиротевших объектов при изменении схемы. Если перестать декларировать сущность, она исчезает из таргета.

Контракт работает одинаково для Postgres, LanceDB, Neo4j, Kafka, S3 и обычных файлов на диске.

Примеры пайплайнов, от эмбеддингов кода в LanceDB и обработки PDF до сборки графа знаний из разговоров, лежат в репозитории на GitHub.


📌Лицензирование: Apache 2.0 License.


🟡Документация
🖥 GitHub


@ai_machinelearning_big_data

#AI #ML #ETL #RAG #Agents #СocoIndex