Машинное обучение digest
49 subscribers
1.42K photos
195 videos
728 links
Download Telegram
🚀 Нативная поддержка Python в CUDA от NVIDIA!

Теперь можно писать CUDA-код напрямую на Python — без C++ и сторонних обёрток.

Новый API от NVIDIA позволяет взять полный контроль над GPU из Python
Поддержка cuNumeric, RAPIDS, Modulus, и др.
Основано на CPython API — без прослоек

🎯 Что это меняет:
- Снижает барьер входа в GPU-разработку
- Упрощает создание ML и Data Science-проектов
- Открывает возможности для оптимизации

🧠 Python на GPU теперь без компромиссов!

🔗 Подробнее
🌟 NVIDIA добавила нативную поддержку Python в CUDA.

Python уже несколько лет уверенно лидирует среди языков программирования, а теперь стал ещё ближе к железу. На GTC 2025 NVIDIA объявила о полноценной интеграции Python в свой CUDA-стек.

Это значит, что писать код для GPU можно будет напрямую на Python — без погружения в C++ или Fortran. Как подчеркнул Стивен Джонс, архитектор CUDA, цель — сделать инструмент естественным для Python-разработчиков: «Это не перевод синтаксиса C на Python. Все должно работать так, как привыкли разработчики».

Раньше CUDA требовала глубокого понимания низкоуровневых языков и это здорово ограничивало аудиторию. Сейчас, когда Python стал стандартом в ML и DS, NVIDIA открывает двери для миллионов программистов. По данным The Futurum Group, в 2023 году CUDA использовали 4 миллиона человек — теперь их число может резко вырасти.

Техническая часть такая же обширная, как и ожидания этого события профессиональным сообществом.

🟢Во-первых, появилась библиотека cuPyNumeric — аналог NumPy, который переносит вычисления с CPU на GPU буквально заменой импорта.

🟢Во-вторых, CUDA Core переосмыслен для Python: здесь сделан упор на JIT-компиляцию и минимизацию зависимостей.

🟢В-третьих, добавлены инструменты для профилирования и анализа кода, а ускоренные C++-библиотеки теперь доступны из Python без потерь в производительности.

Но главное — новый подход к параллельным вычислениям. Вместо ручного управления потоками, как в C++, NVIDIA предлагает модель CuTile, которая оперирует массивами, а не отдельными элементами. Это упрощает отладку и делает код читаемым, не жертвуя скоростью. По сути, разработчики получают высокоуровневую абстракцию, скрывающую сложности железа, но сохраняющую гибкость.

Пока CuTile доступен только для Python, но в планах — расширение для C++. Это часть стратегии NVIDIA по поддержке новых языков: Rust и Julia уже на походе.

Python-сообщество уже может экспериментировать — например, интегрировать CUDA-ядра в PyTorch или вызывать привычные библиотеки. Теперь даже те, кто никогда не писал на C++, смогут использовать всю мощь GPU — осталось проверить, как это скажется на скорости создания прекрасных LLM светлого будущего.

🔜 Посмотреть полную презентацию на GTC 2025


@ai_machinelearning_big_data

#AI #ML #Python #CUDA #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 MineWorld — интерактивная AI-модель мира внутри Minecraft от Microsoft

MineWorld — open-source проект, встраивающий генеративную модель мира прямо в Minecraft. Он создан для тестирования и обучения ИИ в реалистичных виртуальных средах.

🔧 Что умеет:
– Генерация мира в реальном времени
– Обработка Minecraft-данных (блоки, действия, агент)
– Использует токенизированное представление сцен и действий
– Обучается предсказывать будущее состояние мира на основе текущего

⚙️ Используемые технологии:
→ VQ-VAE токенизация визуальных сцен
→ Action tokens (действия игрока)
→ Transformer с автокоррекцией и декодером на несколько кадров вперёд

🧪 Подходит для исследований в области RL, generative world models и интерактивных сред

🔗 Репозиторий: https://github.com/microsoft/MineWorld
🔥 OpenAI представили сразу три новые модели — 4.1, 4.1 mini и 4.1 nano!

📏 Контекст — до миллиона токенов
💡 Обещают значительные Улучшения в коде
Модели уже доступны через API

💬 На презентации одним промптом собрали веб-приложение для изучения языков.

Честно говоря, выглядит не супер. Практически та же цена, что у Gemini 2.5 Pro (у Gemini дешевле входные токены, что важно), и, насколько мне известно, она не превосходит модели Гугла ни на одном бенчмарке.

Попробовать бесплатно можно здесь

Подробнее

@ai_machinelearning_big_data

#openai #chatgpt
🖥 OpenAI опубликовала новое руководство по промптингу для GPT-4.1.

Это полезный ресурс для улучшения работы с моделью.

В руководство включен подробный "агентный промпт" (Agentic Prompt).

Именно этот промпт OpenAI использовала для достижения рекордно высокого балла в сложном бенчмарке по разработке ПО SWE-bench Verified.

Что представляет собой этот агентный промпт?

Это, по сути, детальная инструкция для GPT-4, нацеленная на автономное решение задач по исправлению кода в репозиториях. Ключевые принципы, заложенные в нем:
- Глубокое понимание: Сначала тщательно изучить проблему.
- Исследование: Проанализировать кодовую базу.
- Планирование: Разработать четкий пошаговый план.

- Тестирование: Часто запускать тесты после каждого шага.
- Итерация: Повторять процесс до полного решения проблемы.
- Строгая верификация: Убедиться в корректности и надежности решения
- Автономность: Работать с предоставленными проектами без доступа к интернету и не завершать работу до полного решения.

Этот подход демонстрирует, как структурированные, пошаговые инструкции с акцентом на тестирование и итерацию могут значительно повысить эффективность ИИ в сложных задачах программирования.

📚 Руководство
Please open Telegram to view this post
VIEW IN TELEGRAM
🥇 VL-Rethinker — новую парадигму мультимодального вывода, обучаемую напрямую с помощью Reinforcement Learning.

🌟 Новая SOTA на ключевых бенчмарках по vision + math:

🟢 MathVista: 80.3 → 🥇 (+6.4 vs GPT-o1 73.9)
🟢 MathVerse: 61.7 → 🥇 (+4.7 vs GPT-o1 57.0)
🟢 MathVision: 43.9 → 🥇 (+1.7 vs GPT-o1 42.2)

🔥 В чём секрет? GRPO-алгоритм с двумя ключевыми новшествами:

🟠Этап 1: Улучшение логики, с помощью GRPO + SSR (Selective Sample Replay):

Сохраняются только те последовательности действий модели (rollouts), которые дали ненулевое преимущество (advantage).

При повторном обучении приоритет отдается полезным примерам, что помогает стабилизировать обучение.

Почему это важно?
При обычном GRPO-со временем "advantage" может становиться нулевым → градиенты обнуляются → модель перестаёт учиться. SSR решает эту проблему.

🟠 Этап 2: Вынужденное «переосмысление» (Forced Rethinking)
На этом этапе в каждый rollout добавляется специальный триггер, заставляющий модель заново обдумывать ответ, прежде чем его выдать.

Это развивает способность к саморефлексии, улучшает многошаговое рассуждение и точность ответов.

🔥 Модель вынуждена подумать ещё раз перед финальным ответом.
Результат — у модели появляются признаки метапознания: она сама находит ошибки в начальных размышлениях.

✔️ VL-Rethinker-72B — первый VLM, обгоняющий GPT-o1.

Похоже, что будущее за "медленно думающими" и умеющими рефлексировать агентами.

🔜 Paper
🔜 Code
🔜 Website
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌟 HoloPart: генеративная 3D-сегментация.

3D-сегментация объектов на семантические части — задача не новая, но большинство методов до сих пор работают только с видимыми поверхностями, игнорируя скрытые области. Это ограничивает их применение в задачах анимации и редактирования геометрии, где нужны полные части.

HoloPart — модель, разработанная VastAI, которая решает проблему амодальной сегментации для 3D-объектов, восстанавливая скрытые фрагменты. С HoloPart можно, например, изменить размер колес у машины, добавить детали или перераспределить материалы между частями. Для художников и инженеров это экономит часы ручной работы.

Модель работает в 2 этапа: сначала стандартная сегментация выделяет видимые части, а затем HoloPart достраивает их до полных 3D-форм, используя комбинацию из локального и глобального внимания. Локальные механизмы фокусируются на деталях каждой части, а контекстное внимание следит, чтобы восстановленные элементы не конфликтовали с общей структурой объекта.

Эксперименты на датасетах ABO и PartObjaverse-Tiny показали, что HoloPart обходит конкурентов - PatchComplete и DiffComplete по всем метрикам. Средний Chamfer Distance (показывает точность совпадения форм) у HoloPart — 0.026 против 0.087 у DiffComplete на ABO. А F-Score, оценивающий полноту восстановления, достигает 0.848 против 0.371 у аналогов.

⚠️ Перед тем, как загрузить целевой glb-файл в HoloPart ytj необходимо выполнить сегментацию сторонними средствами. Разработчики рекомендуют SAMPart3D и SAMesh.


▶️Локальный инференс:

# Clone the repo
git clone https://github.com/VAST-AI-Research/HoloPart.git
cd HoloPart

# Create a conda env
conda create -n holopart python=3.10
conda activate holopart

# Install dependencies
pip install torch torchvision --index-url https://download.pytorch.org/whl/{your-cuda-version}
pip install -r requirements.txt

# Step 1: Prepare segmented mesh with a mesh file and mask
import trimesh
import numpy as np
mesh = trimesh.load("mesh.glb", force="mesh")
mask_npy = np.load("mask.npy")
mesh_parts = []
for part_id in np.unique(mask_npy):
mesh_part = mesh.submesh([mask_npy == part_id], append=True)
mesh_parts.append(mesh_part)
mesh_parts = trimesh.Scene(mesh_parts).export("input_mesh.glb")

# Step 2: Decompose the 3D mesh into complete parts:
python -m scripts.inference_holopart --mesh-input assets/example_data/file.glb


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #3D #HoloPart #Segmentation #VastAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ OpenAI разрабатывает собственную соцсеть

По данным нескольких источников, OpenAI работает над собственной социальной платформой.
Внутренний прототип уже существует — он включает социальную ленту с генерацией изображений от ChatGPT. Сэм Альтман также собирает обратную связь от внешних тестировщиков.

Собственная соцсеть даст OpenAI прямой доступ к реальным пользовательским данным — как у X, которые используют их для обучения своих ИИ.
Один из мотиваторов — интеграция Grok в X, с которой пользователи создают вирусный контент прямо в реальном времени.

✔️ Groq запускает ИИ-систему Compound Beta с функциями поиска в Интернете и выполнения кода.

Groq объявила о предварительном запуске Compound Beta, своей первой системы искусственного интеллекта, размещенной на GroqCloud. Она позволяет пользователям осуществлять поиск в Интернете и выполнять программный код. Система предназначена для разработки агентов с расширенным функционалом и ее хвалят бета-тестеры, получившие ранний доступ. Попробовать Compound Beta можно в Groq Console.
Groq в X (ex-Twitter)

✔️ Anthropic анонсировала голосовой режим для Claude и интеграцию с Google Workspace.

Anthropic анонсировала 2 обновления для Claude, ориентированных на корпоративных пользователей. Первое — интеграция с Google Workspace, которая позволяет Claude работать с Gmail, Google Calendar и Google Docs. Функция доступна в бета-режиме для подписчиков планов Max, Team, Enterprise и Pro.

Второе — режим «Исследование», меняющий подход к поиску информации. Вместо стандартных запросов Claude автономно проводит цепочку взаимосвязанных поисков, формируя детальные ответы. Сейчас функция тестируется в США, Японии и Бразилии для планов Max, Team и Enterprise, а вскоре станет доступна и для Pro.

Также Anthropic готовит голосовой режим с 3 вариантами озвучки: Airy, Mellow и Buttery. Он появится для подписчиков премиум-плана Max.
bloomberg.com

✔️ Cohere выпустила Embed 4.

Cohere объявила о релизе Embed 4 — эмбединг-модели, которая упрощает поиск в сложных бизнес-документах. Технология поддерживает мультимодальность: анализирует текст, изображения, графики и рукописные заметки, избавляя компании от ручной обработки данных.

Модель работает с документами до 128 тыс. токенов (это примерно 200 страниц) и понимает 100+ языков. Embed 4 также оптимизирована для регулируемых отраслей: в финансах она анализирует отчеты, в здравоохранении — медицинские карты, а в производстве — спецификации. Embed 4 уже доступна на платформах Cohere, Azure AI Foundry и Amazon SageMaker.
cohere.com

✔️ OpenAI обновила Preparedness Framework и вводит трехкомпонентный режим инцидентов ИИ.

OpenAI внесла существенные изменения в свою систему Preparedness Framework, предназначенную для отслеживания и подготовки к продвинутым возможностям ИИ, которые могут привести к серьезному ущербу.

В результате пересмотра была исключена категория убеждения и введен новый мониторинг рисков, связанных с самовоспроизведением и "sandbagging". Обновленная структура поясняет, как OpenAI классифицирует риски ИИ на основе определенных критериев, подчеркивая, что риски должны быть правдоподобными, измеримыми, серьезными, новыми и либо мгновенными, либо неустранимыми.
openai.com

✔️ Adobe инвестирует в ИИ-стартап Synthesia.

Adobe Ventures сделала стратегическую инвестицию в Synthesia, британский стартап, разрабатывающий ИИ-аватары для корпоративных видео. Решение последовало после того, как компания преодолела отметку в $100 млн годовой выручки.

Synthesia позволяет создавать реалистичные видео с цифровыми персонажами (готовыми или записанными с реальных людей). Платформа уже используется 60 тыс. компаний, включая 70% из Fortune 100, для обучения, маркетинга и коммуникаций.

Synthesia планирует развивать новые продукты — AI-ассистент для видео, мультиязыковой дубляж, кастомизируемые аватары и готовит платформу Synthesia 2.0 для масштабируемых решений. С поддержкой Adobe и растущей клиентской базой стартап намерен перейти от экспериментов с ИИ к устойчивому бизнесу.
maginative.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 Python на скорости Rust

Новый Function (fxn) — фреймворк, который компилирует Python-функции в нативный код с производительностью, сравнимой с Rust.

🧠 Как это работает?
- Использует символическое трассирование на CPython для анализа функций
- Генерирует промежуточное представление (IR)
- Транслирует IR в C++ или Rust, а затем компилирует в бинарный код
- Поддерживает платформы: Linux, Android, WebAssembly и др.

📦 Пример:
@compile
def fma(x: float, y: float, z: float) -> float:
return x * y + z
После компиляции вы получаете нативный бинарник, который можно запускать без интерпретатора Python.

🔗 Подробнее
🔗 Github

@pythonl

#Python #Rust #fxn #Compiler #Performance #AI #ML #Wasm
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 OpenAi представлют новые модели o-серии (o3 и o4-mini)

OpenAI утверждает, что эти модели способны генерировать новые и полезные идеи.

Обе будут добавлены с сегодняшнего дня в ChatGPT и API.

Эти ризонинг модели стали лучше использовать внутренние инструменты для решения сложных задач.

Трансляция: https://www.youtube.com/watch?v=sq8GBPUb3rk

@ai_machinelearning_big_data

#openai
Please open Telegram to view this post
VIEW IN TELEGRAM
🐍 7 “бесполезных” функций Python, которые на самом деле полезны

Инструменты из стандартной библиотеки, которые могут удивить:

1. textwrap.dedent() — удаляет отступы у многострочного текста.

import textwrap
text = textwrap.dedent(\"\"\"
Привет!
Это текст с отступами.
\"\"\").strip()
print(text)


2. difflib.get_close_matches() — находит похожие строки.

import difflib
words = ["python", "java", "javascript"]
print(difflib.get_close_matches("javascrip", words))


3. uuid.uuid4() — генерирует уникальный ID.

import uuid
print(uuid.uuid4())


4. shutil.get_terminal_size() — узнаёт размеры терминала.

import shutil
columns, rows = shutil.get_terminal_size()
print(f"Размер терминала: {columns}x{rows}")


5. functools.lru_cache() — кэширует результаты функции.

from functools import lru_cache
@lru_cache(maxsize=None)
def fib(n):
if n < 2:
return n
return fib(n-1) fib(n-2)
print(fib(100))


6. itertools.groupby() — группирует элементы по ключу.

from itertools import groupby
data = [('fruit', 'apple'), ('fruit', 'banana'), ('veg', 'carrot')]
for key, group in groupby(data, lambda x: x[0]):
print(key, list(group))


7. contextlib.suppress() — элегантная альтернатива try-except.

from contextlib import suppress
with suppress(FileNotFoundError):
open("not_exist.txt")
15 бесплатных книг по Data Science (часть 1)*

1. *Veridical Data Science*
👩‍🔬 Авторы: Bin Yu & Rebecca L. Barter
Описание: Фреймворк PCS для интерпретируемого анализа данных.
🔗 https://vdsbook.com/

2. *Data Science: Theories, Models, Algorithms, and Analytics*
📘 Автор: Sanjiv Ranjan Das
Описание: Учебник по DS с упором на алгоритмы и аналитику.
🔗 https://srdas.github.io/Papers/DSA_Book.pdf

3. *Think Python 3E*
🐍 Автор: Allen B. Downey
Описание: Современное введение в Python с нуля.
🔗 https://greenteapress.com/wp/think-python-3rd-edition/

4. *Python Data Science Handbook*
📊 Автор: Jake VanderPlas

Описание: Практика работы с NumPy, pandas, sklearn и визуализациями.
🔗 https://jakevdp.github.io/PythonDataScienceHandbook/

5. *R for Data Science*
📈 Авторы: Hadley Wickham и др.
Описание: Современный подход к анализу данных в R.
🔗 https://r4ds.hadley.nz/

6. *Think Stats 3E*
📐 Автор: Allen B. Downey
Описание: Статистика через Python и практику.
🔗 https://allendowney.github.io/ThinkStats/

7. *Statistics and Prediction Algorithms Through Case Studies*
📙 Автор: Rafael A. Irizarry
Описание: Кейсы по статистике и прогнозированию с кодом на R.
🔗 https://rafalab.github.io/dsbook/

8. *Bayesian Methods for Hackers*
🧠 Автор: Cameron Davidson-Pilon
Описание: Визуальное введение в байесовский анализ с PyMC.
🔗 https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers

9. *Think Bayes 2E*
🔢 Автор: Allen B. Downey
Описание: Пошаговый байесовский подход на Python.
🔗 https://allendowney.github.io/ThinkBayes2/

10. *Data Science at the Command Line*
💻 Автор: Jeroen Janssens
Описание: Unix-инструменты как основа для анализа данных.
🔗 https://datascienceatthecommandline.com/

Математика и теория вероятностей:
11. Теория вероятностей
👩‍🔬 Автор: Чернова Н. И.
Описание: Понятное введение в теорию вероятностей, основа для изучения математической статистики.
🔗 http://www.nsu.ru/mmf/tvims/chernova/tv/tv_nsu07.pdf

12. * Математическая статистика*
👩‍🔬 Автор: Чернова Н. И.
Описание: Продолжение курса по теории вероятностей (НГУ), покрывающее основы математической статистики: оценки параметров, проверка гипотез, регрессионный анализ.
🔗 http://www.nsu.ru/mmf/tvims/chernova/ms/ms_nsu07.pdf

13. * Курс дифференциального и интегрального исчисления (Том 1)*
👩‍🔬 Автор: Фихтенгольц Г. М.
Описание: Фундаментальный и классический учебник по основам математического анализа.
🔗 http://math.ru/lib/book/djvu/fichtengolz/f_1.djvu

14.*Векторные исчисления для инженеров*
👩‍🔬 Автор:Jeffrey R. Chasnov
🔗 http://math.ru/lib/book/djvu/fichtengolz/f_1.djvu

15 .*Theory—Theoretical & Mathematical Foundations ;
👩‍🔬Daniel A. Roberts, Sho Yaida, Boris Hanin
🔗https://arxiv.org/abs/2106.10165

📘 Еще больше книг здесь

@ai_machinelearning_big_data

#books #opensource #freebooks