Know How

ΕΡΕΥΝΗΤΕΣ ΔΗΜΙΟΥΡΓΟΥΝ VIDEO ΑΠΟ ΣΤΑΤΙΚΗ ΕΙΚΟΝΑ!

Ερευνητές από το Πανεπιστήμιο της Ουάσινγκτον, ανέπτυξαν μια μέθοδο deep learning με την οποία μπορεί να παραχθεί ρεαλιστικό βίντεο με κίνηση αέναης λούπας από μία και μόνο φωτογραφία!

Οι ερευνητές εργάστηκαν πάνω σε μία φωτογραφία ενός καταρράκτη. Το σύστημα τεχνητής νοημοσύνης που δημιούργησαν, κατάφερε να εξάγει ένα βίντεο που δείχνει τη δυναμική ροή του νερού, τόσο ρεαλιστικά που το μόνο που λείπει είναι ο ήχος και η αίσθηση των σταγονιδίων στην ατμόσφαιρα!

«Μια εικόνα καταγράφει μια στιγμή παγωμένη στο χρόνο. Αλλά πολλές πληροφορίες χάνονται <…>  Αυτό που είναι ιδιαίτερο στη μέθοδο μας, είναι ότι δεν απαιτεί καμία επιπλέον εισαγωγή δεδομένων από τον χρήστη. Το μόνο που χρειάζεστε είναι μια εικόνα. Και αυτό που εξάγεται είναι ένα βίντεο υψηλής ανάλυσης, αρμονικής αέναης κίνησης, που μοιάζει πολύ με ένα πραγματικό βίντεο», δήλωσε ο επικεφαλής της έρευνας, Aleksander Holynski, διδακτορικός φοιτητής στο Paul G. Allen School of Computer Science & Engineering.

Και συνέχισε λέγοντας: «Η ανάπτυξη μιας μεθόδου που μετατρέπει μια μόνο φωτογραφία σε ρεαλιστικό βίντεο, ήταν μια πρόκληση. Απαιτεί από εσάς να προβλέψετε αποτελεσματικά το μέλλον. Και στον πραγματικό κόσμο, υπάρχουν σχεδόν άπειρα παραδείγματα όπου μπορεί να προβλεφθεί μια κίνηση».

Το σύστημα που ακολούθησε η ερευνητική ομάδας αποτελείται από δύο μέρη:

  1. Tην πρόβλεψη για το πώς κινούνται ορισμένα πράγματα τη στιγμή της λήψης της φωτογραφίας, και στη συνέχεια -χρησιμοποιώντας αυτές τις πληροφορίες-
  2. Tη δημιουργία μιας κινούμενης εικόνας.

Για το πρώτο στάδιο, η ομάδα “εκπαίδευσε” ένα νευρωνικό δίκτυο στο να προβλέπει φυσικές κινήσεις, μόνο από ένα καρέ, εισάγοντας χιλιάδες βίντεο από καταρράκτες, ποτάμια, ωκεανούς και άλλα ρευστά στοιχεία (σ.σ. φωτιά, καπνός κ.ά.). Στη συνέχεια συνέκρινε την πρόβλεψη του δικτύου με το πραγματικό βίντεο, εντοπίζοντας με αυτόν τον τρόπο ενδείξεις που βοηθούν στην πρόβλεψη, όπως για παράδειγμα τους κυματισμούς του νερού, που υποδηλώνουν την κατεύθυνση και την ορμή του. Συγκεντρώνοντας αυτές τις χρήσιμες πληροφορίες, το σύστημα της ερευνητικής ομάδας μπορούσε να καθορίσει εάν και πώς πρέπει να κινείται κάθε pixel.

Οι ερευνητές προσπάθησαν να χρησιμοποιήσουν μια τεχνική που ονομάζεται “splatting” για να “ζωντανέψουν” τη στατική εικόνα. Βάση αυτής, κάθε pixel μετατοπίζεται σύμφωνα με την προβλεπόμενη κίνηση. Αυτό όμως δημιούργησε ένα πρόβλημα. Όπως εξηγεί ο Holynski: «Σκεφτείτε έναν καταρράκτη. Αν απλά μετακινήσετε τα pixel προς τα κάτω, βάση της κίνησης, μετά από μερικά καρέ, τα pixel στην κορυφή, θα αφήσουν ένα κενό!».

Έτσι η ομάδα δημιούργησε το “συμμετρικό splatting”. Ουσιαστικά, “προβλέπεται” τόσο το μέλλον όσο και το παρελθόν της κίνησης. Στο παράδειγμα του καταρράκτη, τα pixel που αποτελούν το νερό, προέρχονται από την ίδια πηγή και καταλήγουν στο ίδιο σημείο. Αυτό σημαίνει πως υπάρχει μια κοινή αρχή και ένα κοινό τέλος. Το μοναδικό frame της φωτογραφίας, χρησιμοποιείται ως το πρώτο και το (προ)τελευταίο frame για τη δημιουργία του video. Έτσι, παράγεται μια αρμονική αέναη κίνηση.

H ιδέα αλλά και η αρχή στην οποία βασίζεται η μέθοδος που ανέπτυξε η ερευνητική ομάδα του Πανεπιστημίου της Ουάσινγκτον, δεν είναι νέα, και στο επιστημονικό paper, μάλιστα, αυτό επισημαίνεται. Σε προηγούμενο άρθρο, έχουμε αναφέρει το μέσο του cinemagraph που συνδυάζει τη στατική με την κινούμενη εικόνα και τις δυνατότητες που παρέχει στη δημιουργία “ζωντανών” εικόνων. Ένα μέσο το οποίο έγινε viral στο εξωτερικό, ιδιαίτερα μέσω του Facebook. Το διαφορετικό που η ομάδα του Πανεπιστημίου, εισάγει, είναι η αυτοματοποίηση της εύρεσης και της δημιουργίας του κινούμενου στοιχείου, χρησιμοποιώντας εργαλεία τεχνητής νοημοσύνης. Η μέθοδος βέβαια, φαίνεται πως λειτουργεί (προς το παρόν) μονάχα με φυσικά στοιχεία που έχουν την ιδιότητα της ροής. Όπως και να έχει, οι εικόνες που εξάγονται, αποτελούν έξοχα δείγματα cinemagraph. Περισσότερα για την ιστορία και την τεχνική πίσω από τη δημιουργία τέτοιων εντυπωσιακών εικόνων, μπορείτε να αναζητήσετε στο βιβλίο μου “Cinemagraph” που κυκλοφορεί από τις εκδόσεις μας.

Ακολουθεί το video με τις εικόνες που παρήχθησαν από τους ερευνητές του Πανεπιστημίου της Ουάσινγκτον:

  • Φωτό στην κορυφή του άρθρου: Screenshot από το video παρουσίασης της μεθόδου, στο YouTube.

Θέλεις να μαθαίνεις άμεσα όλες τις ειδήσεις του Photonet;
Θέλεις ακόμα περισσότερα νέα για τη φωτογραφία;

 

Κάνε like στη σελίδα μας στο Facebook
Ακολούθησέ μας στο Ιnstagram

Photonet Newsletter
Kάθε Τρίτη & Πέμπτη όλα τα φωτογραφικά νέα δωρεάν!





Aρθρογράφος

Νίκος Κατσουλώτος

Διδάκτορας Ψηφιακών Τεχνών, με ειδίκευση στο cinemagraph (Πανεπιστήμιο του Βελιγραδίου) και κάτοχος μεταπτυχιακού τίτλου σπουδών στις Εφαρμοσμένες Τέχνες, με θέμα την πολιτική αφίσα (Ακαδημία Τεχνών του Νόβι Σαντ). Είναι Πτυχιούχος Γραφιστικής από το Πανεπιστήμιο Δυτικής Αττικής και συνεργάτης της Νexus Publications AE από το 2009, ως graphic designer και αρθρογράφος. Έχει συγγράψει τα βιβλία "Photoshop ...απλά!" και "Cinemagraph" που κυκλοφορούν από τις εκδόσεις μας. Από το 2019 είναι contributing writer στην "ΗuffPost Greece" και συνεργάτης της "Εφημερίδας των Συντακτών". Από το Φεβρουάριο του 2022 είναι Εκπαιδευτής στο Τμήμα «Γραφιστική Εντύπου και Ηλεκτρονικών Μέσων» του Δημοσίου ΙΕΚ Αμπελοκήπων.

Θέλετε να σας ενημερώνουμε προσωπικά;
   

Συνεχίζοντας να χρησιμοποιείτε την ιστοσελίδα, συμφωνείτε με τη χρήση των cookies. Περισσότερες πληροφορίες.

Οι ρυθμίσεις των cookies σε αυτή την ιστοσελίδα έχουν οριστεί σε "αποδοχή cookies" για να σας δώσουμε την καλύτερη δυνατή εμπειρία περιήγησης. Εάν συνεχίσετε να χρησιμοποιείτε αυτή την ιστοσελίδα χωρίς να αλλάξετε τις ρυθμίσεις των cookies σας ή κάνετε κλικ στο κουμπί "Κλείσιμο" παρακάτω τότε συναινείτε σε αυτό.

Κλείσιμο