Animoji 4D: un iPhone per animare un intero avatar

Gli Animoji di Apple sono faccine animate che rispecchino l’umore dell’utente e la sua personalità, in grado seguirne le espressioni per creare una versione digitale animata di sé. Tuttavia, poiché il campo di visione della fotocamera riprende solo l’area viso, sono limitati alla testa. In futuro però una incredibile tecnologia potrebbe consentire di animare tutto il corpo senza ricorrere a telecamere esterne, sensori o hardware aggiuntivo.

Leggi anche: Animoji: come si fanno? Inviarle animate, fisse e come Adesivo

Pose-on-the-Go

Si chiama Pose-on-the-Go ed è stata messa a punto dalla Carnegie Mellon University. Consiste in una sofisticata tecnologia che permette di muovere l’intero corpo di un avatar virtuale partendo dai dati che provengono dalla fotocamera frontale e dai sensori integrati in tutti gli iPhone.

“Nello specifico” si legge nel paper, i dati provenienti dalla fotocamera frontale e posteriore, dal sensore di profondità frontale (quella che Apple chiama la TrueDepth camera), dall’Unità di Misurazione Inerziale (IMU) e dal touch screen vengono fusi tra loro. Tutti questi sensori forniscono tracce diverse sulla posizione del corpo. Per esempio, ci dicono dove si trovano le braccia, o se l’utente sta camminando.”

Quel che si ottiene dunque non è tanto una ricostruzione fedelissima dei movimenti dell’utente, quanto piuttosto un’approssimazione ragionevolmente convincente. Anche delle parti del corpo che la fotocamera non può inquadrare.

Un’Ottima Approssimazione

“È ancora una stima [dei movimenti], e il software può essere ingannato, ma nel complesso funziona molto bene” spiegano i ricercatori. “Abbiamo messo a confronto la nostra tecnologia con un sistema di cattura del movimento di grado Hollywoodiano, di tutte le articolazioni -testa, braccia, gambe- e l’errore medio era solo si 20,9cm.”

E in effetti, se guardate il video, vi renderete conto che il livello di precisione è davvero notevole; anche perché, la conformazione del corpo e i dati forniti dai sensori circoscrivono moltissimo il campo di potenziali movimenti che l’utente esegue. Il risultato è un avatar che segue i movimento dell’utente con sorprendete fedeltà.

“Credo che ci siano molti usi, dalle app per esercizi che contano le ripetizioni e ti danno un feedback di qualità, alle esperienza di gioco full-body in cui devi correre, saltare o piegarti,” hanno chiosato gli sviluppatori. “Una delle applicazioni che abbiamo creato per noi era un gioco fantasy in cui dovevi usare le mani per lanciare incantesimi. Un’altra animazione molto carina era un Animoji full-body in cui gli utenti potevano danzare, salutare o camminare nei dintorni.”

Il Futuro dei Memoji su iPhone?

Non sappiamo se e quando questa tecnologia debutterà in un prodotto reale, né sappiamo se Apple sia interessata a farla propria. Ma di sicuro, le potenzialità ci sono. Anche perché i ricercatori hanno già promesso di pubblicare con licenza Open Source gran parte del codice.

Voi che ne pensate? Avrebbe senso qualcosa del genere su iPhone? Diteci la vostra opinione nei commenti, su Twitter o sulla nostra pagina Facebook.