Tranformer une vidéo à 30 fps en Super Slow Mo grace à l'IA

Une technologie développée par NVIDIA


Research at NVIDIA: Transforming Standard Video Into Slow Motion with AI

À voir ce qui est le moins couteux en énergie:
Filmer direct à un haut framerate
Ou
Transformer un bas framerate en haut framerate

En tout cas c’est bien vu niveau com’ d’utiliser les slow mo guy

Ça rend très bien. L'intérêt étant aussi de pouvoir ralentir n'importe quelle vidéo qui n'a pas été filmée au départ pour du slowmotion.

La limite que je vois, est que pour obtenir un bon résultat, il faut éviter au maximum le flou de mouvement. Donc il faut un temps d'obturation le plus court possible pour que chaque image soit la plus nette possible. Ça veut dire que cette technologie est probablement compliquée à utiliser si l'éclairage n'est pas suffisant.

Je ne vois pas bien la nouveauté par rapport à twixtor qui fait ça depuis de nombreuses années maintenant... http://revisionfx.com/gallery/#twixtor

Citation :

Effectivement y a rien de nouveau par rapport à Twixtor pour Ae notamment. De plus ça ne corrige pas les déformations liés au manque d'images (à 00:25 on voit bien la déformation sur les lames des patins et sur la main du joueur) déjà présentes avec Twixtor, donc effectivement pas grand chose de nouveau. C'est peut être plus accessible par un plus grand nombre.

@Ortoxine ouais pis c'est un nième moyen de marketer de l'"I.A." à tout va...

C'est bien de l'IA, d'ailleurs un article de nextimpact qui en parle

@Ortoxine @sabotage La différence avec Twixtor c'est qu'au lieu de simplement mixer les images ensemble pour remplacer les images manquantes. L’IA les reconstruit complètement, en créant une image cohérente de l'action.

Effectivement Nvidia a un gros intérêt à vendre les réseaux de neurones, ils sont d'ailleurs un des acteurs principaux voire l'acteur principal du domaine côté matériel / proche du matériel.

L'intérêt de ces techniques par rapport aux techniques classiques: potentiellement un peu tout en fait. Tu vas pouvoir "imaginer" des images plus éloignées temporellement, elles seront plus nettes, générées beaucoup, beaucoup plus rapidement.

C'est pas écrit dans le marbre hein, cette vidéo est la première que je vois où le rendu est valable. Y'a encore un an de ça je crois que les meilleurs n'arrivaient pas à dépasser quelques images avant que ça ne parte complètement en couille, et ces quelques images étaient hyper floues. Et ce que j'ai vu permettait d'"imaginer" quelques frames après la fin d'une vidéo, là ça recolle en plus vers la suivante...

J'aimerais bien savoir comment ils ont fait, l'article de nextimpact c'est "ah ben ils ont utilisé un réseau de neurones avec la lib la plus populaire". Merci les gars!!!

edit: mauvaise langue je suis, ils ont link la publication qui va avec

Du coup je cite la conclusion du dit article:

" Experimental results on several datasets, predicting different
numbers of interpolated frames, demonstrate that our ap-
proach performs consistently better than existing methods"

Voilà l'intérêt: c'est mieux. Métriques dans la publi (Peak  Signal-to-Noise  Ratio (PSNR) and Structural Similarity Index (SSIM))

En plus leur truc semble bien s'adapter à différentes vidéos, il "généralise" bien, ce qui est très souvent un écueil majeur quand on joue avec des réseaux de neurones. En gros pour cet exemple précis c'est assez facile (toutes proportions gardées) de se retrouver avec un truc qui marche nickel sur une vidéo et qui s'effondre complètement sur une autre. Là non.

Citation :

Comme je l'ai dit on voit les mêmes problèmes présents chez twixtor, à savoir des déformations grossières liées à un manque d'image. Donc je vois absolument aucune différence entre twixtor et ce truc.

Citation :

Framerate, c'est une sorte de pomme de terre non?

Et je ne vois pas le rapport avec l'énergie. C'est plutôt quand t'as filmé un truc en vitesse normale et que tu aimerais le passer en ralenti sans avoir de grosses saccades.

@Ortoxine Il y a quelques artefacts c'est normal c'est encore nouveau, mais on est quand même bien mieux qu'avec n'importe quelle autre technique.
Observe bien, en particulier les mouvements de tissus, sur le t-shirt du joueur de hockey ou la fille qui dance. On a un vrai mouvement cohérent là où twixtor ou autres ferait un glissement de pixels un peu flou.

Citation :
Hum, j'aimerais bien voir twixtor reconstituer autant d'images avec si peu d'artefacts...

@Ortoxine c'est pas parce que toi, avec tes petits yeux d'être humain et ton écran tu arrives à voir UN défaut commun aux deux méthodes que l'une n'est pas plus performante que l'autre.

Comme @yakow l'a dit, ils ont utilisé des métriques pour comparer la méthodes avec d'autres, en se basant sur les données ! et non sur un avis subjectif d'une personne qui regarde une vidéo en streaming sur son ordi

Certes, on voit des artéfacts, la méthode n'est pas parfaite. Mais c'est une nouvelle approche à ce problème et c'est prometteur.

De manière générale, l'"IA" comme on dit partout mais surtout les réseaux de neurones sont en train de prendre le dessus sur à peu près toutes les méthodes plus classique dans le domaine du traitement d'image/vidéo (et dans de nombreux autres domaines hein).

Voir un réseau de neurone réussir à faire mieux ou même à reproduire un résultat similaire à une approche classique c'est ultra prometteur car la recherche sur les réseaux de neurones avance à une vitesse folles depuis quelques années, ça ne peut que s'améliorer au stade où on en est.

@Detraquey

Merci.

[edit 2 ne servant qu'à retirer l'edit 1]

Alors oui c'est cool, mais l'intérêt de SlomoGuys c'est de voir des ralentis représentant la réalité. Si c'est pour avoir un ralentis avec 50% de fausses images recréées... c'est quoi l'intérêt?

@-Ninja-

Alerte philosophie!
Les fausses images représentent aussi la réalité... probablement.
Ce "probablement" est défini par la performance du machin et est quantifiable.
Les gars fournissent un outil, ni plus, ni moins.
L'intérêt de l'interpolation d'images dans une vidéo, bah là... cinéma? vidéo surveillance? A toi de voir

@yakow je parle des slowmoguys, pour d'autres cas je comprends. Mais mater slowmoguys pour voir de la CGI (littéralement) ça craindrait.

C'est cool,
maintenant pour un time laps, il suffira de prendre 4 photos en 4 heures.

@-Ninja- est-ce que t'as déjà regardé comment fonctionne la compression vidéo ? si je te parle de compression inter-frame ?

en fait la grande majorité des formats vidéo que l'on utilise ne conservent pas toutes les images originales des vidéos. Seules quelques images sont conservées en intégralité (les images clés) toutes les autres images sont calculées en temps réels en appliquant des déplacement de pixels à partir des images clés. Ces déplacements sont précalculés lors de la compression.
Bon c'est une explication assez grossière mais au final, en suivant ton raisonnement, est-ce que les vidéos des slomoguys ne seraient pas déjà en majorité des "fausses images" créées à partir des images clés ?
(je parle bien sûr de la vidéo que tout le monde peut voir en streaming, la version compressée, ils ont eux la version avec toutes les images "réelles" avant d'éditer la vidéo et de l'upload)