Οι ερευνητές εργάστηκαν πάνω σε μία φωτογραφία ενός καταρράκτη. Το σύστημα τεχνητής νοημοσύνης που δημιούργησαν, κατάφερε να εξάγει ένα βίντεο που δείχνει τη δυναμική ροή του νερού, τόσο ρεαλιστικά που το μόνο που λείπει είναι ο ήχος και η αίσθηση των σταγονιδίων στην ατμόσφαιρα!
«Μια εικόνα καταγράφει μια στιγμή παγωμένη στο χρόνο. Αλλά πολλές πληροφορίες χάνονται <…> Αυτό που είναι ιδιαίτερο στη μέθοδο μας, είναι ότι δεν απαιτεί καμία επιπλέον εισαγωγή δεδομένων από τον χρήστη. Το μόνο που χρειάζεστε είναι μια εικόνα. Και αυτό που εξάγεται είναι ένα βίντεο υψηλής ανάλυσης, αρμονικής αέναης κίνησης, που μοιάζει πολύ με ένα πραγματικό βίντεο», δήλωσε ο επικεφαλής της έρευνας, Aleksander Holynski, διδακτορικός φοιτητής στο Paul G. Allen School of Computer Science & Engineering.
Και συνέχισε λέγοντας: «Η ανάπτυξη μιας μεθόδου που μετατρέπει μια μόνο φωτογραφία σε ρεαλιστικό βίντεο, ήταν μια πρόκληση. Απαιτεί από εσάς να προβλέψετε αποτελεσματικά το μέλλον. Και στον πραγματικό κόσμο, υπάρχουν σχεδόν άπειρα παραδείγματα όπου μπορεί να προβλεφθεί μια κίνηση».
Το σύστημα που ακολούθησε η ερευνητική ομάδας αποτελείται από δύο μέρη:
- Tην πρόβλεψη για το πώς κινούνται ορισμένα πράγματα τη στιγμή της λήψης της φωτογραφίας, και στη συνέχεια -χρησιμοποιώντας αυτές τις πληροφορίες-
- Tη δημιουργία μιας κινούμενης εικόνας.
Για το πρώτο στάδιο, η ομάδα “εκπαίδευσε” ένα νευρωνικό δίκτυο στο να προβλέπει φυσικές κινήσεις, μόνο από ένα καρέ, εισάγοντας χιλιάδες βίντεο από καταρράκτες, ποτάμια, ωκεανούς και άλλα ρευστά στοιχεία (σ.σ. φωτιά, καπνός κ.ά.). Στη συνέχεια συνέκρινε την πρόβλεψη του δικτύου με το πραγματικό βίντεο, εντοπίζοντας με αυτόν τον τρόπο ενδείξεις που βοηθούν στην πρόβλεψη, όπως για παράδειγμα τους κυματισμούς του νερού, που υποδηλώνουν την κατεύθυνση και την ορμή του. Συγκεντρώνοντας αυτές τις χρήσιμες πληροφορίες, το σύστημα της ερευνητικής ομάδας μπορούσε να καθορίσει εάν και πώς πρέπει να κινείται κάθε pixel.
Οι ερευνητές προσπάθησαν να χρησιμοποιήσουν μια τεχνική που ονομάζεται “splatting” για να “ζωντανέψουν” τη στατική εικόνα. Βάση αυτής, κάθε pixel μετατοπίζεται σύμφωνα με την προβλεπόμενη κίνηση. Αυτό όμως δημιούργησε ένα πρόβλημα. Όπως εξηγεί ο Holynski: «Σκεφτείτε έναν καταρράκτη. Αν απλά μετακινήσετε τα pixel προς τα κάτω, βάση της κίνησης, μετά από μερικά καρέ, τα pixel στην κορυφή, θα αφήσουν ένα κενό!».
Έτσι η ομάδα δημιούργησε το “συμμετρικό splatting”. Ουσιαστικά, “προβλέπεται” τόσο το μέλλον όσο και το παρελθόν της κίνησης. Στο παράδειγμα του καταρράκτη, τα pixel που αποτελούν το νερό, προέρχονται από την ίδια πηγή και καταλήγουν στο ίδιο σημείο. Αυτό σημαίνει πως υπάρχει μια κοινή αρχή και ένα κοινό τέλος. Το μοναδικό frame της φωτογραφίας, χρησιμοποιείται ως το πρώτο και το (προ)τελευταίο frame για τη δημιουργία του video. Έτσι, παράγεται μια αρμονική αέναη κίνηση.
H ιδέα αλλά και η αρχή στην οποία βασίζεται η μέθοδος που ανέπτυξε η ερευνητική ομάδα του Πανεπιστημίου της Ουάσινγκτον, δεν είναι νέα, και στο επιστημονικό paper, μάλιστα, αυτό επισημαίνεται. Σε προηγούμενο άρθρο, έχουμε αναφέρει το μέσο του cinemagraph που συνδυάζει τη στατική με την κινούμενη εικόνα και τις δυνατότητες που παρέχει στη δημιουργία “ζωντανών” εικόνων. Ένα μέσο το οποίο έγινε viral στο εξωτερικό, ιδιαίτερα μέσω του Facebook. Το διαφορετικό που η ομάδα του Πανεπιστημίου, εισάγει, είναι η αυτοματοποίηση της εύρεσης και της δημιουργίας του κινούμενου στοιχείου, χρησιμοποιώντας εργαλεία τεχνητής νοημοσύνης. Η μέθοδος βέβαια, φαίνεται πως λειτουργεί (προς το παρόν) μονάχα με φυσικά στοιχεία που έχουν την ιδιότητα της ροής. Όπως και να έχει, οι εικόνες που εξάγονται, αποτελούν έξοχα δείγματα cinemagraph. Περισσότερα για την ιστορία και την τεχνική πίσω από τη δημιουργία τέτοιων εντυπωσιακών εικόνων, μπορείτε να αναζητήσετε στο βιβλίο μου “Cinemagraph” που κυκλοφορεί από τις εκδόσεις μας.
Ακολουθεί το video με τις εικόνες που παρήχθησαν από τους ερευνητές του Πανεπιστημίου της Ουάσινγκτον:
- Φωτό στην κορυφή του άρθρου: Screenshot από το video παρουσίασης της μεθόδου, στο YouTube.
