Анализ данных (Data analysis)
50.4K subscribers
3.38K photos
414 videos
1 file
2.77K links
Data science, наука о данных.

@haarrp - админ

РКН: clck.ru/3FmyAp
Download Telegram
😁46🔥23👍93💯1
Матричная факторизация с планированием на несколько шагов вперед

Исследователи AI VK предложили объединить ALS и Monte Carlo Tree Search.

Обычная матричная факторизация выбирает top-K айтемов по текущей близости эмбеддингов, а новый подход учитывает, как каждая рекомендация изменит профиль пользователя и повлияет на следующие показы.

Процесс представили как RL-среду:

- состояние — эмбеддинг пользователя;
- действие — показ айтема;
- награда — близость к релевантным объектам;
- переход — обновление эмбеддинга по формулам ALS в допущении оптимистичной среды

Эксперименты на MovieLens-1M, KuaiRec, Yambda и VK-LSVD показали прирост относительно статического top-K. На отдельных срезах VK-LSVD Recall@10 вырос ~ в 1,5 раза.

#aivkhub #rl #mcts #als
8👍5🔥5
SpaceXAI строит ещё один гигантский дата-центр

По данным The Information, компания рассматривает несколько площадок в Техасе. Мощность нового комплекса может составить не менее 1 ГВт, то есть быть сопоставимой или даже превосходить инфраструктуру SpaceXAI в Мемфисе. Среди вариантов: строительство с нуля или переоборудование существующего склада. Компания уже нанимает специалистов по дата-центрам в Остине, Бастропе и Конро.

CEO Supermicro Чарльз Лян также заявил, что компания поможет SpaceXAI запустить «ещё один гигаваттный AI-дата-центр» менее чем за год. Место он не раскрыл.

SpaceXAI ускоренно превращается в полноценного AI-гиперскейлера: собственные модели, вычислительные кластеры, энергетическая инфраструктура, спутниковая связь и в перспективе орбитальные дата-центры. Новый проект в Техасе станет ещё одной заявкой на лидерство в гонке вычислительных мощностей.

http://theinformation.com/articles/spacexai-explores-major-data-center-expansion-texas
🔥75👍3🤣1
🏁До старта обработки миллиарда записей 3… 2… 1… клик

Выбирайте не просто СУБД, а гоночный болид для работы с данными.
ClickHouse® в облаке Selectel — машина, адаптированная под предельные нагрузки и сложные трассы. Отлично работает с векторными типами данных, эффективна в запросах для задач поиска семантического сходства, кластеризации или RAG.

Под капотом — SSD-накопители стандарта NVMe, оперативная память DDR5 и процессоры Intel® Xeon®Gold и AMD EPYC. Мощное железо для максимальной производительности вашей баз данных.

Пройдемся по базе. Что вас ждет после запуска кластера ClickHouse в облаке Selectel?

Скорость. Кластеры рассчитаны на хранение и быструю обработку даже петабайтов данных и обработку тяжелых аналитических запросов.

Надежность. В Multi-AZ кластерах ноды размещены в разных дата-центрах, чтобы инфраструктура продолжила работу даже при отключении одного из узлов.

Экономичный расход. Может выполнять запросы к данным, хранящимся в S3 в формате Iceberg, без их копирования. Это позволяет сократить расходы более чем в два раза по сравнению с использованием только локальных дисков.

На вас — пилотирование, а обслуживание кластера забирает на себя Selectel.

Ускорьте работу с базами данных в облаке Selectel: https://slc.tl/x3zec

Реклама. АО "Селектел". erid:2W5zFJJ3EKT
3🔥2💔2😐2
Google Cloud вырос на 82% за год

Выручка облачного подразделения Alphabet достигла $24,8 млрд за квартал. В пересчёте на год это почти $100 млрд. Контрактные обязательства Google Cloud выросли до $514 млрд, превысив прогноз аналитиков в $488 млрд.

Рост всё сильнее связан с ИИ-инфраструктурой: облачными GPU, собственными TPU и доступом к моделям через Vertex AI. Результаты Alphabet стали первой серьёзной проверкой того, окупается ли гонка капитальных затрат на дата-центры. Только в 2026 году крупнейшие технологические компании собираются потратить на инфраструктуру более $700 млрд.

Одним из драйверов Google Cloud, вероятно, стала Anthropic. Компания заказала до миллиона TPU стоимостью в десятки миллиардов долларов, которые должны добавить более 1 ГВт мощности в течение 2026 года. С 2027 года партнёрство с Google и Broadcom расширится ещё на несколько гигаватт вычислений.

Google уже показывает, что огромные расходы на ИИ способны превращаться в реальную облачную выручку. Теперь главный вопрос: хватит ли темпов роста, чтобы оправдать сотни миллиардов новых инвестиций.
👍85🔥3🤣1
Если хочешь развиваться в аналитике — войти в профессию, углубиться в науку о данных или вырасти в карьере — в Центральном университете (ЦУ) есть магистратура под каждый сценарий. И на нее можно получить грант до 75%. Места ограничены, дедлайн подачи заявок — 20 августа.

«Продуктовая аналитика» — это офлайн-программа (пары по вечерам и в выходные в центре Москвы). Студенты учатся превращать данные в продуктовые решения: находить точки роста, проектировать эксперименты и строить системы метрик — с сильной технической базой в Python, SQL, статистике и A/B-тестировании.

После первого семестра можно выбрать траекторию «Наука о данных» × Авито — обучение на реальных данных компании, лекции от специалистов и аналитиков Авито, фокус на машинном обучении и инструментах индустрии. Лучшие студенты получают возможность стажировки или оффера. К выпуску — портфолио аналитических кейсов для резюме.

Магистратура в ЦУ — это 2 года обучения и диплом государственного образца, которую можно совмещать с работой. Преподают индустриальные эксперты и исследователи. Карьерная поддержка начинается еще во время учебы: консультации, тренировочные собеседования и помощь с трудоустройством. Студенты уже в процессе обучения выходят на новые позиции или повышаются в грейде в Яндексе, Авито, Т-Банке и других компаниях.

🏆Поступление проходит через грантовый конкурс — это одновременно способ попасть на программу и возможность выиграть финансовую поддержку на все время обучения: грант покрывает до 75% стоимости. В 2026 году доступно 550 грантов на все программы магистратуры.

Подробнее о программе и условиях участия в конкурсе — по ссылке
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍3🔥2
10 GitHub-репозиториев, которые слишком хороши для бесплатных
1. OmniRoute


Единый OpenAI-совместимый эндпоинт для сотен моделей и провайдеров. Поддерживает Claude Code, Codex, Cursor и Cline, автоматическое переключение между бэкендами и сжатие контекста.

https://github.com/diegosouzapw/OmniRoute

2. OfficeCLI

CLI для создания и редактирования файлов Word, Excel и PowerPoint с помощью ИИ-агентов. Microsoft Office устанавливать не нужно.

https://github.com/iOfficeAI/OfficeCLI

3. System Prompts Leaks

Коллекция системных промптов Claude, ChatGPT, Gemini, Grok, Cursor, Copilot и других продуктов.

https://github.com/asgeirtj/system_prompts_leaks

4. OpenCut

Open-source видеоредактор в браузере, который развивается как альтернатива CapCut.

https://github.com/OpenCut-app/OpenCut

5. AI Job Search

Агент на базе Claude Code, который анализирует вакансии, адаптирует резюме, пишет сопроводительные письма и готовит вопросы для интервью.

https://github.com/MadsLorentzen/ai-job-search

6. Meetily

Локальная расшифровка и суммаризация встреч с Whisper, Parakeet и Ollama. Бэкенд написан на Rust.

https://github.com/Zackriya-Solutions/meetily

7. Vibe-Trading

Платформа для исследования рынков и создания торговых стратегий с помощью естественного языка и ИИ-агентов.

https://github.com/HKUDS/Vibe-Trading

8. Strix

Open-source сканер безопасности, который использует ИИ-агентов для поиска и проверки уязвимостей.

https://github.com/usestrix/strix

9. Superpowers

Набор навыков и рабочих процессов для ИИ-кодеров: планирование, TDD, выполнение задач и проверка результата.

https://github.com/obra/superpowers

10. Firecrawl

Превращает сайты в чистые данные для LLM, RAG и агентных пайплайнов.

https://github.com/firecrawl/firecrawl

Все проекты имеют открытый исходный код и точно заслуживают места в закладках.
15🔥6👍5
Kimi K3 за 27 минут нашла RCE в Redis и собрала рабочий эксплойт 😨

Рой из 32 ИИ-агентов обнаружил уязвимость, которая после авторизации позволяла выполнять произвольный код на сервере.

Через несколько часов система якобы нашла ещё и цепочку атаки на Telegram Desktop и iOS без действий пользователя: через повреждённый видеофайл с автозагрузкой. До полноценного RCE оставался один шаг.

Если результаты подтвердятся, поиск критических уязвимостей ускорился до пугающего уровня.

github.com/berabuddies/redis-poc

@data_analysis_ml
🔥278👍7🐳3
🖥 NVIDIA снизила логические ошибки в квантовых вычислениях более чем в 300 раз

NVIDIA показала Ising Decoder ColorCode 1 Fast для квантовой коррекции ошибок. В тесте с color codes он дал до 347,7× меньший Logical Error Rate и одновременно работал в 7,3× быстрее Chromobius при distance=31 и физической ошибке 0,3%.

В основе подхода небольшая 3D CNN, которая предварительно обрабатывает синдромы ошибок и убирает большую часть локальных ошибок до запуска основного декодера. Это снижает задержку и делает color codes практичнее для коррекции ошибок в реальном времени.

Модель компактная: около 2,9 млн параметров и 17 слоёв. Её можно адаптировать под конкретный QPU, профиль шума и требуемый баланс между скоростью и точностью.

NVIDIA открыла веса, тренировочные рецепты и пайплайн генерации синтетических данных на базе cuQuantum и cuStabilizer. Код обучения опубликован под Apache 2.0.

https://developer.nvidia.com/blog/nvidia-ising-decoding-cuts-color-code-logical-error-rates-by-over-300x/
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥116👍31
Бесплатный вебинар: Как построить современный конвейер данных для BI
Большинство BI-проектов затягиваются не из-за дашбордов, а из-за подготовки данных.

Ручные выгрузки из 1С, сложные SQL-скрипты, доработки и разрозненные источники превращают аналитику в бесконечный процесс.

28 июля команда «Денвик» проведет бесплатный вебинар и расскажет, как автоматизировать весь путь данных: 1С → Экстрактор 1С → Denvic Visual Transformer (DVT) → Хранилище → BI

Вы увидите на практике, как:
🔵 автоматически выгружать данные из 1С без участия пользователей;
🔵 передавать изменения, снижая нагрузку на рабочую базу;
🔵 без усилий очищать, объединять и преобразовывать данные;
🔵 создавать аналитические витрины для BI-платформ;
🔵 сократить сроки запуска BI.

Для кого: IT-директора, аналитики, архитекторы данных, BI-команды и разработчики 1С.

Если вы хотите построить масштабируемую архитектуру данных, отказаться от ручных операций и ускорить внедрение аналитики — вебинар для вас.

Регистрация по ссылке
🔥2👏2
Первый пост Дженсена Хуанга в X - и сразу про открытый ИИ

Дженсен Хуанг наконец завёл X, и свой первый пост посвятил открытым моделям. NVIDIA вместе с Meta, Microsoft, Mistral, Hugging Face, IBM, Mozilla, Palantir и другими компаниями подписала письмо в их поддержку.

Открытые модели позволяют компаниям и государствам скачивать, изучать, изменять и запускать ИИ на собственной инфраструктуре.

Это даёт:
- меньше зависимости от нескольких крупных AI-провайдеров;
- больше контроля над данными и моделями;
- возможность создавать дешёвые специализированные системы;
- больше возможностей для исследователей безопасности;
- технологический суверенитет.

При этом позиция NVIDIA не сводится к войне open source против закрытых моделей. Сам Хуанг ранее говорил, что экосистеме нужны и открытые, и проприетарные frontier-модели.

Хороший первый пост. Особенно на фоне разговоров об ограничениях открытых моделей: один из самых влиятельных людей в AI-индустрии публично встал на их сторону.

https://x.com/Machinelearrn/status/2080653700205318331
21👍11🔥51
Forwarded from Machinelearning
Anthropic выпустила Claude Opus 5

Новая флагманская модель компании уже доступна.

Anthropic позиционирует Opus 5 как модель для сложного кодинга, агентных задач, анализа и длинных рабочих сценариев.

Что заявляют:
• SOTA на Frontier-Bench v0.1 для software engineering
• примерно в 3 раза выше результат на ARC-AGI 3 относительно ближайшего конкурента
• сильные результаты на OSWorld 2.0
• лучше Opus 4.8 в отладке, research и длинных агентных задачах
• модель чаще сама проверяет результат и исправляет ошибки перед финальным ответом

Цена:

$5 / 1M input tokens
$25 / 1M output tokens

Также есть Fast Mode примерно с 2.5× скоростью, но по более высокой цене.

В API модель называется:

claude-opus-5

https://www.anthropic.com/news/claude-opus-5
👍1512🥰4
Machinelearning
Anthropic выпустила Claude Opus 5 Новая флагманская модель компании уже доступна. Anthropic позиционирует Opus 5 как модель для сложного кодинга, агентных задач, анализа и длинных рабочих сценариев. Что заявляют: • SOTA на Frontier-Bench v0.1 для software…
Anthropic пишет, что Opus 5 автоматически переключается на Opus 4.8 для части запросов по offensive cybersecurity, потому что Opus 5 стал заметно сильнее в кибербезопасности и компания усилила ограничения.😂

Например, fallback может сработать на запросах про:

• генерацию эксплойтов;
• некоторые виды поиска уязвимостей;
• offensive pentesting.

То есть ты выбираешь Opus 5 → система считает запрос рискованным → тот же запрос отправляется Opus 4.8 → ответ уже генерирует 4.8. После этого чат даже остаётся на 4.8, пока вручную не переключишь обратно.

При этом обычный defensive security, анализ исходников на уязвимости и secure coding остаются доступны в Opus 5. Anthropic отдельно говорит, что большинство cyber-запросов fallback не вызывают.

https://support.claude.com/en/articles/16049681-why-claude-switched-models-in-your-conversation-with-opus-5
🤣34👍54💔3😁2👏1
🐋 Глава DeepSeek: Nvidia «роет себе могилу» в Китае

Лян Вэньфэн довольно жёстко прошёлся по Nvidia. По его оценке, Huawei 950 SuperNode уже способен заменить GB200/GB300 по рабочим задачам, даже если решение Huawei окажется в 2–3 раза дороже.

Но разрыв в железе остаётся: Лян оценивает соотношение примерно как 4 Huawei 950 = 1 Nvidia GB300, плюс около двух лет технологического отставания.

DeepSeek получила от Huawei около 16 000 карт, то есть примерно 4 000 GB300-эквивалентов по этой оценке. А для обучения модели масштаба крупнейших современных систем, по словам Ляна, потребовалось бы около 50 000 GB300 или 200 000 Huawei 950.

Получается, проблема Китая сейчас уже не только в CUDA и софте. Главный дефицит - физический объём доступных ускорителей.

А Nvidia тем временем получает в Китае конкурента, которого экспортные ограничения только заставляют развиваться быстрее.
👍25🔥75😁2