PyTorch 2.10 - что нового (коротко и по делу)

PyTorch выпустили версию 2.10 - релиз с упором на ускорение компиляции/инференса и отладку численных расхождений, что особенно полезно в больших distributed-тренировках.

Главное по фичам:

• torch.compile + Python 3.14
Добавили поддержку Python 3.14, включая экспериментальный freethreaded build (3.14t).

• Меньше overhead на GPU (horizontal fusion)
TorchInductor теперь лучше объединяет независимые операции в один GPU kernel, уменьшая kernel launch overhead и ускоряя пайплайны.

• varlen_attn() - attention для variable-length входов
Появилась новая опа в torch.nn.attention для ragged/packed последовательностей:
- работает и на forward, и на backward
- хорошо дружит с torch.compile
- сейчас через FlashAttention2, дальше планируют поддержку через cuDNN/FA4
- CUDA (A100+), dtype BF16/FP16

• Быстрее eigendecomposition на GPU
В torch.linalg ускорили eigen decomposition на NVIDIA за счёт cuSOLVER DnXgeev.

Отладка / детерминизм:

• torch.compile теперь уважает deterministic mode
Если включить torch.use_deterministic_algorithms(True), то torch.compile сохранит детерминированность между запусками - удобно для дебага.

• DebugMode для поиска numerical divergence
Новый режим для диагностики:
- логирование dispatch
- tensor hashing (видно, где именно “поехали” тензоры)
- dispatch hooks для заметок и аннотаций

Ещё важное:

• TorchScript официально deprecated
Рекомендуемый путь вперёд - torch.export.

• tlparse + TORCH_TRACE
Упростили сбор трассировок и артефактов, чтобы легче репортить баги в компиляторе.

• Релизы чаще в 2026
Планируют перейти на релиз раз в 2 месяца (вместо quarterly).


https://pytorch.org/blog/pytorch-2-10-release-blog/

#PyTorch #OpenSourceAI #AIInfrastructure