SQL и Анализ данных
12.7K subscribers
713 photos
81 videos
4 files
729 links
Базы данных и всё, что с ними связано!

Сотрудничество: @haarrp

РКН № 6766085482
Download Telegram
Forwarded from Machinelearning
🌟 Как YouTube ускорил проверку валидных рекомендаций в LLM в 948 раз.

YouTube и Google DeepMind опубликовали статью и код фреймворка STATIC.

Проблема, которую он решает, хорошо знакома всем, кто строит рекомендательные системы на базе LLM: модель генерирует идентификаторы позиций, которых нет в каталоге, вышли из продажи или нарушают бизнес-правила. Именно поэтому YouTube выдает старые видео в ленте там, где должны появляться ролики последней недели.

Очевидное решение - префиксное дерево: на каждом шаге декодирования маска блокирует невалидные токены. Работает в целом нормально, но убивает производительность на TPU и GPU. Причины две:

🟠Обход через цепочки указателей создает случайный, несмежный паттерн доступа к памяти, а память ускорителей рассчитана на потоковое чтение блоками, а не на такой режим.

🟠Гугловский XLA-компилятор требует статических вычислительных графов, а префиксное дерево с управлением потоком, зависящим от данных, в это не вписывается.

В итоге префиксное дерево на CPU удваивает время инференса, что для системы с целевой задержкой ≤10 мс на шаг неприемлемо.

STATIC меняет подход принципиально: дерево разворачивается в статическую разреженную матрицу формата Compressed Sparse Row. Обход превращается в векторизованную операцию, которую акселератор умеет выполнять нативно.

Для первых двух уровней дерева, где коэффициент ветвления максимален, используется предвычисленная плотная булева маска: проверка валидности токена сводится к прямому обращению по индексу, без какого-либо перебора.

Для глубоких уровней работает специализированное ядро Vectorized Node Transition Kernel, оно читает фиксированный блок данных вне зависимости от реального числа дочерних узлов, не создавая условных переходов. В этом и есть вся соль: весь граф остается статическим, XLA не перекомпилирует ничего на ходу.

🟡Тесты и результаты

Замеры проводили на TPU v6e с 3B-моделью и словарем из 20 млн. свежих видео.

STATIC добился задержки 0,033 мс на шаг декодирования (это всего 0,25% от общего времени инференса.

Для сравнения: префиксное дерево на CPU давало +31,3 мс (239% от инференса), лучший из конкурирующих методов непосредственно на акселераторе, PPV Approximate +1,56 мс (11,9%). Итоговый профит:

🟢948x против дерева на CPU;
🟢47x против PPV Approximate;
🟢1033x против точного PPV.


По памяти: ~90 МБ на 1 млн. элементов. Для словаря в 20 млн. верхний предел по HBM примерно 1,5 ГБ, на практике - около 75% от этого значения.

🟡STATIC развернут на YouTube в продакшне.

A/B-тест с условием «только видео за последние 7 дней» показал +5,1% просмотров свежего контента, +2,9% для трехдневного окна, +0,15% по CTR и 100% соответствие бизнес-правилам.

Дополнительный бонус: метод решает проблему рекомендации новых товаров, не представленных в обучающей выборке. На датасете Amazon Reviews Recall@1 вырос с 0% до 1,2–4,4% в зависимости от категории.


В репозитории лежит ноутбук, на котором без утомительной настройки можно сразу посмотреть, как строится индекс из Semantic ID и как запускается декодирование с ограничениями.


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #STATIC #DeepMind
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍2
Замкнулись
😁62👍95
"Как стать независимыми от зарубежных систем управления базами данных (СУБД)?"

Этот вопрос сегодня остро стоит не только перед банками и финтех-компаниями, но и перед промышленными, торговыми, сервисными и государственными организациями.

💡Если такие вопросы возникают и у вас, приглашаем на вебинар от Диасофт и Ассоциации ФинТех (АФТ) на тему "Digital Q.DataBase: современный путь перехода с MS SQL Server и Oracle".


10 марта в 12:00 эксперты расскажут, как Digital Q.DataBase помогает перенести промышленные решения с MS SQL Server и Oracle, сохранив привычную логику и SQL-код. Они также представят новые возможности СУБД и расскажут практический кейс (историю успеха!) 🚀

💌Принимайте приглашение и регистрируйтесь по ссылке!
#реклама
О рекламодателе
2😨2
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Microsoft выпустила мультимодальную версию Phi-4.

Phi-4-reasoning-vision-15B построена на базе энкодера SigLIP-2 и логической архитектуры Phi-4. Модель получила так называемый механизм смешанного инференса, который автоматически адаптирует цепочку рассуждений под сложность текущей задачи.

При решении математических или логических проблем модель запускает глубокий анализ, а на базовые запросы описания изображений или OCR отвечает без ризонинга.

Помимо стандартных VL-задач, Microsoft готовила новинку для ИИ-агентов, управляющих компьютером. Модель умеет интерпретировать содержимое экрана, находить интерактивные элементы и выбирать необходимые действия в GUI.

Веса доступны на HuggingFace и Microsoft Foundry под лицензией MIT.
microsoft.com

✔️ OpenAI готовит к релизу двунаправленную аудиомодель.

Новая система обрабатывает звук непрерывно в фоновом режиме и способна на лету распознавать встречные реплики пользователя, мгновенно перестраивая свой ответ. Она сможет поддерживать естественный диалог, адекватно реагируя, если человек решит перебить его или поменять мысль прямо на середине фразы.

Такая гибкость критична для сложных сценариев: например, когда виртуальному оператору поддержки нужно адаптироваться к меняющемуся контексту разговора без потери нити беседы.

Сейчас разработка находится на стадии прототипа и в длительных сессиях пока наблюдаются проблемы. Из-за необходимости отладки публичный релиз модели отложили как минимум до второго квартала.
theinformation.com

✔️ Anthropic пытается спасти контракт с Пентагоном.

Дарио Амодей возобновил переговоры с Министерством обороны США. Ранее диалог зашел в тупик, после чего ведомство пригрозило исключить Anthropic из списка подрядчиков американских военных.

По иронии, новый раунд переговоров со стороны Минобороны ведет Эмиль Майкл, который на прошлой неделе публично назвал главу Anthropic «лжецом с комплексом бога».

Сейчас Anthropic пытается найти компромиссную формулировку и сохранить доступ к крупным госзаказам. Ситуация подогревается тем, что OpenAI на днях уже подписал контракт с военными. Амодей во внутренней переписке назвал заявления конкурентов и чиновников по этим вопросам «откровенной ложью».
ft.com

✔️ Lightricks представила открытый локальный видеоредактор с новой моделью LTX-2.3.

LTX Desktop объединяет инструменты нелинейного монтажа с генеративными возможностями свежайшей LTX-2.3 и позволяет создавать видео из текста, изображений или аудио. Пользователи могут собирать проекты на привычном таймлайне и точечно перегенерировать неудачные фрагменты с помощью функции Retake.

Для работы потребуется Windows с GPU NVIDIA на 32 ГБ, 32 ГБ ОЗУ и 160 ГБ места на диске. Владельцам macOS и менее мощных ПК доступна только облачная генерация через API.

Код проекта полностью открыт, а локальное использование модели LTX-2.3 бесплатно для энтузиастов и компаний с годовой выручкой менее 10 млн. долларов.
ltx.io

✔️ Топ-менеджер Google DeepMind хантит разработчиков Qwen.

После недавнего ухода ключевой команды из Qwen, конкуренты решили воспользоваться кадровыми перестановками в Alibaba. Омар Сансевиеро, один из руководителей Google DeepMind, опубликовал в X публичное приглашение на работу для действующих разработчиков китайского техногиганта.

Сансевиеро сообщил, что DeepMind ищет специалистов с опытом работы над семейством моделей Qwen для развития собственной экосистемы open-source решений. Он призвал инженеров, задумывающихся о смене компании, связываться с ним напрямую.
Omar Sanseviero в сети Х

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Локальный ИИ-сервер на Mac

Если хочешь запускать модели вроде Qwen, Llama или Mistral прямо на своем Mac — обрати внимание на проект Osaurus. Это open-source сервер для локального запуска LLM, который полностью оптимизирован под Apple Silicon и работает через MLX — фреймворк машинного обучения от Apple. По сути он превращает твой Mac в локальный AI-сервер, к которому можно обращаться как к OpenAI API.

Самое интересное — он полностью локальный. Модели скачиваются и запускаются прямо на твоем устройстве, поэтому данные никуда не отправляются и интернет вообще не обязателен. Поддерживаются популярные модели вроде Qwen, Llama, Gemma и Mistral, а при необходимости можно подключать и облачные провайдеры вроде OpenAI или

Для разработчиков это особенно удобно. Osaurus предоставляет API, совместимый с OpenAI и Ollama, поэтому многие существующие инструменты и библиотеки работают без изменений. Можно подключать агентов, плагины, автоматизацию задач и даже давать ИИ доступ к файлам, git-репозиториям или браузеру.

Если давно хотел локальный ИИ прямо на ноутбуке — это один из самых удобных и быстрых способов начать.



установка через Homebrew
brew install --cask osaurus

запуск локального AI-сервера
osaurus

проверить список моделей
curl http://127.0.0.1:1337/v1/models

# пример запроса как к OpenAI API
curl http://127.0.0.1:1337/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama-3.2-3b-instruct-4bit",
"messages": [
{"role":"user","content":"Explain transformers in simple words"}
]
}'

репозиторий проекта
https://github.com/osaurus-ai/osaurus


🎯Полезные Мл-ресурсы 🚀 Max

https://www.youtube.com/shorts/KCvJKHE1tw0
3👍2
Claude Opus 4.6 распознал тестовую среду и взломал ключи ответов в бенчмарке.

Anthropic зафиксировала уникальный случай: во время прогона на BrowseComp Claude Opus 4.6 поняла, что находится в среде оценки. Не имея данных о названии теста, модель вычислила его и целенаправленно расшифровала скрытые ответы. Это первый известный прецедент, когда ИИ проявляет подобную дедукцию и взламывает проверку без прямых подсказок.

Это потребовало огромных вычислительных затрат. В одном из эпизодов модель потратила около 40,5 млн токенов (в 38 раз больше медианного значения). Разработчики также отметили, что в мультиагентной конфигурации частота поиска подобных нестандартных решений составила 0,87%, что в 3,7 раза выше, чем при работе одного агента (0,24%).

https://anthropic.com/engineering/eval-awareness-browsecomp

🎯Полезные Мл-ресурсы 🚀 Max

#Claude #Anthropic
👍11🔥43😱1
🚨 Хотите парсить сложные PDF с точностью уровня SOTA, полностью локально? 📄🔍

Модель GLM-OCR всего с 0.9 млрд параметров можно просто загрузить в LM Studio и запускать почти на любом компьютере. 🥔

🧠 0.9B параметров
💾 Работает на менее чем 1.5GB VRAM (или около 1GB в квантованном виде)
💸 Никаких расходов на API
🔒 Полная приватность данных

Desktop-AI для работы с документами официально наступил. 💻

https://huggingface.co/zai-org/GLM-OCR

🎯Полезные Мл-ресурсы 🚀 Max

@databases_tg
6🔥3👍1👏1
⚡️ Google протестировали LLM на реальных научных вопросах по сверхпроводимости.

Исследователи собрали 67 сложных вопросов, которые обычно обсуждают физики в области высокотемпературной сверхпроводимости, и дали их шести моделям:

• GPT-4o
• Claude 3.5
• Gemini Advanced 1.5
• Perplexity
• NotebookLM
• специальной RAG-системе

Каждый ответ оценивали 12 международных экспертов по нескольким критериям:

• полнота ответа
• объективность
• точность
• наличие научных источников
• ясность объяснения

Интересный результат:

модели с закрытой, тщательно подобранной научной базой отвечали точнее, чем модели с доступом ко всему интернету.

В закрытой базе использовали:

• 15 ключевых обзорных статей
• около 3300 научных ссылок
• ~1700 отобранных источников по экспериментам и теории.

Главный вывод исследования:

LLM могут быть полезны как “виртуальный научный ассистент”, который помогает исследователю быстро разобраться в сложной области и увидеть разные научные точки зрения.

Но качество сильно зависит от контролируемых источников знаний, а не просто от доступа к интернету.

https://research.google/blog/testing-llms-on-superconductivity-research-questions/

🎯Полезные Мл-ресурсы 🚀 Max

@machinelearning_interview
3🔥3👍2
Media is too big
VIEW IN TELEGRAM
Базы данных - это не просто SQL.

Есть реляционные базы — PostgreSQL и MySQL.
Они работают с таблицами и строгой схемой.

Есть NoSQL — MongoDB и DynamoDB.
Они гибкие и легко масштабируются.

Нужна максимальная скорость?
Используют Key-Value базы — например Redis.

Для огромных данных — Wide-Column: Cassandra.

Для связей между объектами — графовые базы, например Neo4j.

А для метрик и мониторинга — Time-Series базы.

Главное правило:
выбирай базу под задачу, а не под тренд. 🚀

https://studio.youtube.com/channel/UCEVXZvkwOw0K67FGLqTaatw
👍4
🚀 Qianfan-OCR - end-to-end модель на 4B параметров для работы с документами.

Главная идея - одна модель вместо целого пайплайна.

Что умеет:

📄 Парсинг документов в один проход
Без разбиения на OCR → post-processing → extraction.
Модель сразу выдаёт структурированный результат.

📊 Таблицы
Корректно извлекает структуру таблиц, строки и значения.

🧮 Формулы
Распознаёт математические выражения и приводит их к читаемому виду.

📈 Графики и диаграммы
Понимает визуальные данные и извлекает из них смысл.

🔍 Key information extraction
Автоматически достаёт ключевые поля: суммы, даты, названия и т.д.

Почему это важно:
Раньше для этого требовался сложный стек:
OCR → layout detection → table parser → rule-based extraction.

Теперь всё это заменяется одной моделью, которая делает всё сразу.

Фактически это шаг к системам, которые могут понимать документы так же, как человек.

#AI #OCR #LLM #MachineLearning

🎯Полезные Мл-ресурсы 🚀 Max

@databases_tg
👍31🔥1💊1
🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах!

🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность.

🖥 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
5❤‍🔥1👍1🔥1
Media is too big
VIEW IN TELEGRAM
👊 GAN - это две нейросети, которые соревнуются друг с другом #python #chatgpt #нейросеть

Первая - генератор.
Она создаёт фейковые изображения из случайного шума.

Вторая - дискриминатор.
Она пытается понять: это реальное изображение или подделка.

Если находит ошибку — генератор учится и делает лучше.
Если ошибается — дискриминатор тоже становится умнее.

И так по кругу.

В итоге они доходят до уровня,
где фейк невозможно отличить от реальности.

Именно так создаются реалистичные изображения в AI

https://www.youtube.com/shorts/7dZznnkTNCM
🖥 SQL-концепции, которые реально нужно знать:

• CRUD → SELECT, INSERT, UPDATE, DELETE
• Ключи → PRIMARY KEY, FOREIGN KEY
• Ограничения → NOT NULL, UNIQUE, CHECK, DEFAULT
• JOIN’ы → INNER JOIN, LEFT JOIN, RIGHT JOIN
• Агрегации → COUNT, SUM, AVG, MIN, MAX
• Группировка → GROUP BY, HAVING
• Фильтрация → WHERE, BETWEEN, IN, LIKE
• Сортировка → ORDER BY
• Подзапросы → SELECT (SELECT …)
• Индексы → CREATE INDEX
• Представления → CREATE VIEW
• Транзакции → BEGIN, COMMIT, ROLLBACK
• Пагинация → LIMIT, OFFSET
• Оптимизация → EXPLAIN
Please open Telegram to view this post
VIEW IN TELEGRAM
11👍8🔥2
Почему одного CLAUDE.md недостаточно и что реально дают Hooks в Claude Code

Многие ограничиваются CLAUDE.md и на этом останавливаются. Но это всего лишь рекомендации для модели, а не строгие правила. Claude старается им следовать, но не всегда.

Отсюда и проблемы: может забыть прогнать линтер, выполнить нежелательную команду или «закончить» задачу с падающими тестами.

Hooks решают это иначе. Они не про просьбы, а про контроль. Любое действие проходит через этапы - до выполнения, после и перед завершением. И в каждый из этих моментов можно встроить свои проверки.

Например, перед запуском команды можно отфильтровать опасные действия и просто не дать им выполниться. После - автоматически привести код в порядок. А перед завершением — не выпустить результат, пока тесты не проходят.

Важный момент - коды завершения. Только exit code 2 действительно останавливает выполнение и возвращает ошибку обратно модели. Остальные коды не дают нужного контроля.

В итоге разница простая:
CLAUDE.md - это возможность того, что всё будет сделано правильно
Hooks - это гарантия, что иначе просто не получится.
4👍2🔥2
Forwarded from Big Data AI
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Microsoft Critique: deep research на стероидах, где одна модель генерирует, а вторая её критикует

Microsoft выкатили Critique. Это инструмент для deep research, который одновременно запускает несколько моделей на один запрос.

Работает так: первая модель берёт на себя генерацию, вторая выступает рецензентом и вычищает ошибки и неточности до того, как вы увидите финальный ответ. Какие именно модели работали над ответом, видно в шапке.

По бенчмарку DRACO показывают SOTA, других замеров пока нет. Так что насколько это реально лучше обычного deep research, вопрос открытый.

Отдельно интересен режим Council для обычных запросов. Ваш промпт прогоняется через несколько моделей параллельно, и вы видите все варианты сразу. Плюс краткая выжимка: где модели согласны, а где разошлись во мнениях.

На широкую аудиторию пока не раскатили, можно подать заявку на ранний доступ. Будет ли это в обычной подписке за $20, неизвестно. Хотя, если честно, мультимодельный пайплайн с критиком можно собрать самому за вечер через API. И точно выйдет дешевле.

techcommunity.microsoft.com/blog/microsoft365copilotblog/introducing-multi-model-intelligence-in-researcher/4506011
🤔2
This media is not supported in your browser
VIEW IN TELEGRAM
Claude можно превратить из «чат-бота» в полноценного агента, если правильно организовать проект.

Вся магия - в структуре папки:

your-project/
├── CLAUDE.md → инструкции для команды (сохраняется в репозитории)
├── CLAUDE.local.md → личные настройки (игнорируется git)

├── .claude/ → центр управления
│ ├── settings.json → права доступа и конфигурация (в репозитории)
│ ├── settings.local.json → локальные настройки

│ ├── commands/ → кастомные slash-команды
│ │ ├── review.md → /project:review
│ │ ├── fix-issue.md → /project:fix-issue
│ │ └── deploy.md → /project:deploy

│ ├── rules/ → модульные инструкции
│ │ ├── code-style.md
│ │ ├── testing.md
│ │ └── api-conventions.md

│ ├── skills/ → авто-запускаемые workflow
│ │ ├── security-review/
│ │ │ └── SKILL.md
│ │ └── deploy/
│ │ └── SKILL.md

│ └── agents/ → субагенты (роли)
│ ├── code-reviewer.md
│ └── security-auditor.md



Фактически ты собираешь мини-систему из агентов внутри репозитория.

https://www.youtube.com/shorts/ej5qiDJ0Ibo
🔥5👍31
🚀 Claude Cowork: 90% возможностей, о которых вы не знали

Большинство людей открывают Claude Desktop, задают вопрос, получают ответ и закрывают приложение. На следующий день повторяют то же самое. И так неделями, не понимая, почему ничего толком не меняется в их продуктивности.

Проблема в том, что так используется от силы 10% того, на что способен Claude Cowork. Остальные 90% просто игнорируются. Давайте разберемся, что именно вы упускаете.

Что такое Claude Cowork на самом деле

Это не просто чат-интерфейс. Это десктопный ИИ, который умеет читать ваши файлы, подключаться к приложениям, запоминать ваши рабочие процессы и запускать задачи по расписанию, пока вы спите. Разница между тем, как большинство людей его используют, и тем, как он задуман, колоссальная.

Четыре вещи раскрывают весь потенциал: файл claude.md, навыки (skills), коннекторы и запланированные задачи. Большинство пользователей не трогали ни одну из них.

Шаг ноль: укажите Claude на папку
Без привязки к папке Claude начинает каждый разговор с чистого листа. Никакой памяти, никакого контекста, никакого понятия о том, кто вы и что строите. Он не может получить доступ к вашим файлам и не запускает пользовательские команды.

С папкой все иначе. Claude помнит, кто вы, автоматически загружает навыки, читает файлы и становится умнее после каждой сессии. Думайте о каждой папке как об отдельном телефоне. На рабочем стоит Slack, Gmail и календарь. На личном - планирование питания, бюджет, дневник. Отдельные папки, отдельные идентичности, отдельные рабочие процессы.

Файл claude.md: хватит объяснять одно и то же каждый день
Каждый раз, когда вы открываете Claude, он понятия не имеет, кто вы. Ваш бизнес, ваш тон, ваши правила, чего избегать - все это приходится объяснять заново. Файл claude.md решает эту проблему раз и навсегда. Это обычный текстовый файл, который Claude читает до того, как прочитает хоть слово из вашего сообщения. Настраиваете один раз - и он никогда не забывает.

Skills: научите Claude один раз, он запомнит навсегда
Навыки (skills) - это пользовательские команды, которые запускают целые рабочие процессы одним словом. Вместо того чтобы каждый раз писать длинный промпт, вы пишете его один раз, упаковываете в навык и просто вводите одну команду для запуска. Все, что вы делаете повторно, можно превратить в навык. Генерация счетов, планирование уроков, еженедельные отчеты, черновики предложений. Если делаете что-то больше одного раза - вам нужен навык.

Коннекторы: дайте Claude доступ к вашим приложениям
Навыки мощные, но без коннекторов они живут в песочнице. С коннекторами Claude читает вашу Gmail напрямую, проверяет календарь, обращается к Google Drive и пишет в Slack от вашего имени. Сейчас в Claude от 30 до 50 встроенных коннекторов: Asana, Canva, GitHub, HubSpot, Notion, Slack, Google Calendar. Для всего остального есть Zapier MCP, который подключается к 8000+ приложениям.

Запланированные задачи: сотрудник, который работает 24/7
Здесь все складывается воедино. Навыки определяют "как". Коннекторы определяют "доступ". Запланированные задачи определяют "когда". Вы задаете время, выбираете частоту, и Claude выполняет весь рабочий процесс без вашего участия. Навыки + коннекторы + запланированные задачи = ИИ, который ведет ваш рабочий процесс на автопилоте. Обучаете один раз - работает всегда.

Cowork vs Claude Code: в чем разница
Claude Code и Claude Cowork - это один и тот же ИИ, но совершенно разные инструменты. Claude Code - это кодинг-агент. Он живет в терминале, читает всю кодовую базу, пишет и запускает код, деплоит в продакшен. Создан для разработчиков. Cowork - это золотая середина. Без терминала, без командной строки. Создан для всех, не только для разработчиков. Они не конкурируют, а дополняют друг друга.

https://uproger.com/claude-cowork-90-vozmozhnostej-o-kotoryh-vy-ne-znali/
2🤔2
🔥 Милла Йовович теперь тоже Вайбкодер😱

Актриса выложила на GitHub опенсорс-инструмент MemPalace для работы с памятью ИИ-агентов. Делала его вместе с другом.

Фишка в том, что все данные хранятся локально, а система сама решает, какие факты о пользователе подтягивать под конкретный запрос. По бенчмарку LongMemEval инструмент уже обгоняет и платные, и бесплатные решения.

За сутки репозиторий набрал 2k+ звёзд.

Похоже, границы между индустриями окончательно стерлись 💀

https://x.com/bensig/status/2041229266432733356
11