Китайский ИИ-стартап 4DV AI показал, как работает сплэттинг по Гауссу (метод преображения из 2d в 3d) в видео, сгенерированное нейросетями.

Техника, собственно говоря, не нова и основана на работах Ли Вестовера из 1990-х. В 2023-м году её популяризировали ученые из французского института Inria, а затем подобрали все кому ни лень.

Идея в том, что статическая сцена (например, фотография) обрабатывается как набор точек с указанием положений камеры, выраженный в виде разреженного облака точек (набора вершин в трёхмерной системе координат).

Эти точки преобразуются в сплэтты (splat - всплеск), на это накладываются алгоритмы оптимизации и вот уже двумерное изображение стало трёхмерным (с определенной погрешностью, конечно, потому что точки и цвета пикселей буквально приходится выдумывать). Чем больше 2d-картинок берём, тем лучше получается сплэттинг по Гауссу.

Китайцы же взяли, в качестве референса, видео, созданные их нейросетями (по сути, каждый кадр видео это 2d-картинка, так что картинок получилось много), наложили на это гауссовый сплэттинг и получили такое вот эффектное видео, которое можно вращать, как угодно ставить камеру, приближать-отдалять и так далее.

У художников по трёхмерной анимации немного округлились глаза.

@zavtracast