Библиотека баз данных
10.3K subscribers
216 photos
13 videos
27 files
231 links
Самая большая библиотека бесплатных книг по SQL

По всем вопросам- @haarrp

@ai_machinelearning_big_data - machine learning

@pythonl - Python

@itchannels_telegram - 🔥 best it channels

@ArtificialIntelligencedl - AI

РКН:  № 5037640984
Download Telegram
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
🌟 Amazon встроила векторную базу данных прямо в хранилище S3.

Amazon анонсировала S3 Vectors - нативную поддержку векторного поиска прямо внутри своего вездесущего объектного хранилища. Заявлено, что это может снизить затраты на хранение и обработку векторов до 90%.

По сути, AWS предлагает не отдельный сервис, а новый тип бакета vector bucket. Внутри него вы создаете векторные индексы, указывая размерность векторов и метрику расстояния (косинусную или евклидову).

🟡Дальше все работает как магия

Вы просто загружаете в индекс свои эмбеддинги вместе с метаданными для фильтрации, а S3 берет на себя всю грязную работу по хранению, автоматической оптимизации и обеспечению субсекундного ответа на запросы. Никакого управления инфраструктурой.

Один бакет может содержать до 10 тысяч индексов, а каждый индекс, в свою очередь, десятки миллионов векторов.

🟡Главная сила этого решения - в экосистеме.

S3 Vectors бесшовно интегрируется с Bedrock Knowledge Bases. Теперь при создании базы знаний для RAG-приложения можно просто указать S3-бакет в качестве векторного хранилища.

Процесс создания RAG-пайплайна для тех, кто уже живет в облаке AWS, упрощается до нескольких кликов. То же самое касается и SageMaker Unified Studio, где эта интеграция тоже доступна из коробки.

🟡"One more thing" анонса - умная интеграция с сервисом OpenSearch.

AWS предлагает гибкую, многоуровневую стратегию. Нечасто используемые или «холодные» векторы можно экономично хранить в S3 Vectors. А когда для части данных потребуется максимальная производительность и низкая задержка в реальном времени, например, для системы рекомендаций, их можно быстро экспортировать в OpenSearch.

Это очень прагматичный инженерный подход, позволяющий балансировать между стоимостью и производительностью.

Пока сервис находится в статусе превью и доступен в регионах US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Frankfurt), and Asia Pacific (Sydney) Regions.

Попробовать S3 Vectors можно в Amazon S3 console.


🟡Статья
🖥Github


@ai_machinelearning_big_data

#AI #ML #RAG #Amazon
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍2🔥2🥰1
Media is too big
VIEW IN TELEGRAM
🔥 Hugging Face снова выкатили полезные материалы.

Вышел бесплатный плейбук о том, как изнутри строят SOTA-модели.

Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.

Это полноценный мастеркласс на 214 страниц для тех, кто хочет понимать, как устроены современные LLM.

Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей

По первым страницам - уровень деталей как в Ultra-scale playbook.

Ссылка
: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture

Видео: https://www.youtube.com/watch?v=LGzO-Mn0DJQ

#AI #LLM #MachineLearning #HuggingFace

@sql_lib - библиотека МЛ и ИИ книг
4🔥1
Forwarded from Machinelearning
🌟 Zvec: встраиваемая векторная база данных для RAG без внешних сервисов.

Alibaba открыла исходный код Zvec - встраиваемой векторной СУБД, которую авторы называют «SQLite для векторных баз данных».

Проект заточен на локальные RAG-пайплайны, семантический поиск и агентские сценарии на ноутбуках, мобильных устройствах или другом edge-железе.

Идея в том, что разворачивать отдельный сервер ради векторного поиска и фильтрации по метаданным избыточно. Zvec встраивается в процесс Python-приложения и не требует ни отдельного демона, ни сетевых вызовов.

Существующие решения не подходят для маломощных устройств: Faiss дает только ANN-индекс без скалярного хранилища и крэш-рекавери; DuckDB-VSS ограничен в опциях индексирования; Milvus и облачные векторные хранилища требуют сеть.


Под капотом - Proxima, векторный движок продакшен-уровня, который Alibaba сама использует в собственных сервисах. Поверх него сделали лаконичный Python API:

🟢полный CRUD и поддержка схем;

🟢поиск по нескольким векторам для комбинации разных эмбеддинг-моделей;

🟢встроенный реранкер с weighted и RRF;

🟢гибридный поиск (векторный + фильтры по скалярным полям) с инвертированными индексами.

Это позволяет собирать локальных ассистентов, которые одновременно используют семантический поиск, множественную фильтрацию и несколько эмбеддинг-моделей - все в одном движке.

По производительности Zvec заявляет победу на бенче VectorDBBench с датасетом Cohere 10M - более 8 000 QPS при сопоставимом реколле. Это вдвое больше, чем у лидера ZillizCloud и с более быстрым построением индекса.

Авторы объясняют успех глубокой оптимизацией под CPU: SIMD, кэш-эффективные структуры, многопоточность и prefetching.

Пока платформенная поддержка ограничена (Windows отсутствует), но для Linux x86/ARM64 и macOS Zvec уже готов к экспериментам на Python 3.10–3.12.


📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Документация
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VDB #ZVEC #Alibaba
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Google представила голосовую модель Gemini 3.1 Flash Live.

Модель превосходит 2.5 Flash Native Audio по скорости отклика и тоньше распознает акустические нюансы, темп и высоту голоса. Важным техническим улучшением стала способность эффективно фильтровать фоновый шум. Модель уже доступна через Gemini Live API в платформе Google AI Studio.

Gemini 3.1 Flash Live лучше справляется с вызовом внешних инструментов и строго следует системным инструкциям. Модель не выходит за установленные рамки при неожиданных поворотах диалога и поддерживает мультимодальное общение на 90+ языках в реальном времени.

Новинка ляжет в основу потребительских сервисов Gemini Live и Search Live. Общение с ИИ станет более плавным: сократится количество неловких пауз, а контекст беседы будет удерживаться в 2 раза дольше. Параллельно с релизом модели Google делает Search Live доступной более чем в 200 странах.
blog.google


✔️ Mistral релизнула открытую text-to-speech модель Voxtral.

Модель для синтеза речи Voxtral TTS поддерживает 9 языков (русского нет) и умеет клонировать голос по аудиосэмплу короче 5 секунд, копируя не только тембр, но и микроинтонации, акценты и естественные особенности дикции. При этом она способна на лету менять язык произношения, сохраняя оригинальные характеристики спикера.

Архитектура построена на базе LLM Ministral 3B. Создатели сделали ставку на скорость работы в реальном времени: генерация 10-секундной аудиодорожки занимает около 1,6 секунды. Веса базовой модели опубликованы на Hugging Face под некоммерческой лицензией, а протестировать Voxtral TTS можно через Mistral Studio и Le Chat.
mistral.ai


✔️ Cohere выпустила открытую ASR-модель.

Cohere Transcribe - обученная с нуля на 14 языках модель автоматического распознавания речи на 2 млрд. параметров на архитектуре Conformer, которая справляется со сложной акустикой, перекрывающимися голосами и специфическими акцентами.

Cohere заявляет рекордную точность. Transcribe возглавила рейтинг HuggingFace Open ASR Leaderboard: средний показатель WER для английского языка составил всего 5.42%. Модель обошла Whisper Large v3 от OpenAI, ElevenLabs Scribe v2 и Qwen3-ASR.

Развернуть модель можно локально, на edge-устройствах, либо воспользоваться API и платформой Cohere Model Vault. Веса доступны на Hugging Face.
cohere.com


✔️ Intel выводит на рынок видеокарты Arc Pro B70 и B65 с 32 ГБ памяти.

Новые GPU на архитектуре Battlemage созданы специально для инференса нейросетей и ресурсоемких вычислений. Старшая модель Arc Pro B70 получила 32 ядра Xe с частотой 2,8 ГГц, что дает 22,9 TFLOPS в операциях FP32.

Младшая версия, Arc Pro B65, сохраняет тот же объем видеопамяти, но использует лишь 20 ядер Xe. Обе карты оснащены памятью GDDR6 с 256-битной шиной и пропускной способностью 608 ГБ/с.

Arc Pro B70 уже поступила в продажу по цене $949, что делает ее значительно доступнее Nvidia RTX Pro 4000 ($1800). Младшая модель B65 начнет продаваться через партнерскую сеть Intel в середине апреля.
newsroom.intel.com


✔️ GitHub по умолчанию начнет использовать код пользователей Copilot для обучения ИИ.

С 24 апреля обновится политика конфиденциальности GitHub. Промпты, сгенерированные ответы, фрагменты кода и связанный с ними контекст подписчиков тарифов Free, Pro и Pro+ будут автоматически собираться для тренировки моделей. Чтобы защитить свои проекты, разработчикам придется вручную отключить передачу данных в настройках приватности.

Платформа анализирует широкий спектр данных. В датасет попадает код, комментарии и документация, архитектура репозитория, названия файлов, паттерны навигации в IDE и реакции на предложенные автодополнения.

GitHub заявляет, что собранная телеметрия может передаваться только Microsoft и ее аффилированным компаниям. Нововведение не затронет корпоративный сегмент планов Copilot Business и Enterprise.
github.blog


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI закроет возможность файнтюна своих моделей к началу 2027 года

Компания уведомила разработчиков о закрытии платформы самостоятельного дообучения своих моделей. Для новых клиентов возможность запускать тренировки уже заблокирована, а с 6 января 2027 года отключение затронет всех. Инференс существующих кастомных моделей сохранится вплоть до полного вывода их базовых версий из эксплуатации.

Компания смещает фокус с модификации весов на RAG, промпт-инжиниринг и оркестрацию. Консолидация логики внутри экосистемы OpenAI упростит управление обновлениями и биллингом. Тем, кто использовал дообучение для адаптации под узкие ниши, придется пересматривать архитектуру.
startupfortune.com

✔️ В Google DeepMind появился директор по экономике AGI

Профессор Чикагского университета Алекс Имас перешел в Google DeepMind на должность Director of AGI Economics. Он работает в прямом подчинении у сооснователя компании и главного ученого по AGI Шейна Легга.

Команда Имаса займется прогнозированием влияния сильного ИИ на макроэкономику: трансформации рынка труда, перераспределения капитала и адаптации институтов. Отдельный фокус - воздействие автономных ИИ-агентов на рынки.

Для моделирования пост-AGI экономики исследователи задействуют масштабные агентные симуляции. Основная задача нового подразделения - разработать прогностические модели и переосмыслить фундаментальные концепции дефицита и распределения ресурсов.

Имас специализируется на исследованиях на стыке поведенческой экономики и машинного обучения. Также он известен как соавтор книги нобелевского лауреата Ричарда Талера.
Alex Imas в сети Х

✔️ Epoch AI оценила удельную выручку топовых ИИ-лабораторий

По данным Epoch AI, выручка на одного сотрудника в Anthropic достигает $9 млн, в OpenAI - $5,6 млн. Эти показатели выше, чем у любой IT-компании из списка Forbes 2000.
Для сравнения: у NVIDIA этот показатель равен $5,1 млн.

Расчеты Epoch AI опираются на открытые данные о доходах и динамику найма. Аналитики отмечают, что параллельный рост удельной выручки и многомиллиардных годовых доходов нетипичен для технологического сектора.

Высокая капитальная эффективность ИИ-лабораторий достигается за счет концентрации инженеров и масштабного использования вычислительных мощностей. Это обеспечивает уровень производительности, недоступный при традиционной разработке ПО.
epoch.ai

✔️ Higgsfield сделал ИИ-оценщика виральности видео

ИИ-агрегатор запустил инструмент Virality Predictor для моделирования реакции аудитории на видео длиной до 15 секунд. Платформа рассчитывает индекс виральности, вовлеченность с первой секунды и прогнозируемое удержание зрителей.

Инструмент генерирует тепловую карту мозга, которая показывает предполагаемую стимуляцию зрительной коры или миндалевидного тела. Virality Predictor интегрирован в рабочий процесс Ad Reference для перегенерации креативов на основе полученных метрик.

Помимо веб-интерфейса, доступ к оценщику открыт через CLI и MCP. Поддержка MCP позволяет напрямую подключать платформу к Claude Code и OpenClaw. Через API агенты могут генерировать видео, собирать метрики симуляции внимания и самостоятельно корректировать хук на основе полученных данных без участия человека.
higgsfield.ai

✔️ Фейковая модель OpenAI заражала локальные системы инфостилером

Вредоносный репозиторий Open-OSS/privacy-filter возглавил топ Hugging Face, маскируясь под инструмент OpenAI. Под видом модели Privacy Filter распространялся инфостилер для Windows. Проект набрал 244 тысячи скачиваний за 18 часов.

При попытке использования установочные скрипты загружали вредонос, который повышал привилегии в системе через UAC и добавляла себя в исключения Microsoft Defender. Стилер собирал пароли, данные криптокошельков, токены сессий Discord и конфигурации FileZilla, после чего полностью удалял свои следы из системы.

По данным аналитиков HiddenLayer, эта атака использует инфраструктуру, связанную с китайской хакерской группировкой Silver Fox. Администрация Hugging Face уже заблокировала доступ к репозиторию.
thehackernews.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍1
Forwarded from Machinelearning
✔️ Antigravity втрое повысил лимиты

Варун Мохан, участник команды разработки Google Antigravity и бывший основатель Windsurf, объявил в сети X о пересмотре правил использования моделей Gemini на платформе.

По его словам, лимиты запросов для всех платных тарифов Gemini увеличиваются втрое на постоянной основе, а недельные квоты пользователей Antigravity будут сброшены и начислены заново. Изменения уже вступили в силу.

Сообщение стало реакцией на критику со стороны разработчиков, недовольных функциональными ограничениями платформы и высоким расходом ресурсов при работе с ней.

Мохан признал, что команда допустила ошибки при принятии ряда решений, и пообещал внимательнее учитывать обратную связь сообщества при дальнейшей доработке продукта.

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍2
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🐟 Sakana AI выкатили DiffusionBlocks - способ обучать нейросеть по одному блоку за раз, не держа в памяти всю модель целиком. Работу приняли на ICLR 2026.

При обычном обучении градиенты проходят через весь граф, а память под активации растёт вместе с глубиной модели. DiffusionBlocks предлагает разрезать сеть на отдельные блоки и обучать каждый независимо.

Каждому блоку дают свою локальную задачу: сдвинуть представление чуть ближе к целевому состоянию, чем это сделал предыдущий блок. Формально это похоже на один шаг диффузионного процесса, поэтому каждый блок оптимизирует собственный лосс и не зависит от соседних блоков.

Главный плюс - память. Для тренировки нужна память под один блок, а не под всю сеть целиком.

Авторы проверили подход на разных архитектурах:

- ViT
- DiT
- masked diffusion
- авторегрессионные трансформеры
- recurrent-depth / Looped-трансформеры

По качеству результаты сопоставимы со сквозным обучением, но с куда меньшими требованиями к памяти.

В Looped-трансформерами один и тот же блок прогоняется много раз подряд, как будто модель «думает» несколькими итерациями. Обычно для обучения приходится разворачивать весь этот процесс через BPTT, из-за чего память и вычисления быстро дорожают

Это ещё один аргумент в пользу идеи, что диффузия - не только про генерацию картинок, а более универсальная рамка для обучения моделей.

Если модель упирается в VRAM из-за глубины, DiffusionBlocks выглядит как подход, за которым стоит следить.

Пейпер: arxiv.org/abs/2506.14202
Код: github.com/SakanaAI/DiffusionBlocks

@ai_machinelearning_big_data

#sakana #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4