Dall'immagine fissa al video: come l'intelligenza artificiale sta cambiando il modo di raccontare la fotografia
Una fotografia ha sempre avuto un confine molto preciso: l'istante.
Può suggerire ciò che è accaduto prima e lasciare immaginare quello che succederà dopo, ma rimane inevitabilmente ferma. È probabilmente anche questo uno degli aspetti che rende la fotografia così potente.
Oggi, però, quel confine sta diventando molto più sottile.
I nuovi modelli di intelligenza artificiale generativa permettono di partire da una singola fotografia e trasformarla in una sequenza video, aggiungendo movimento, profondità, variazioni della luce e movimenti di camera che fino a pochissimo tempo fa avrebbero richiesto riprese reali, attrezzature e un lavoro complesso di post-produzione.
Non significa trasformare una fotografia in un video qualsiasi.
La parte interessante è un'altra: provare a immaginare cosa potrebbe accadere dentro quella fotografia se, improvvisamente, il tempo ricominciasse a scorrere.
Dalla fotografia alla scena
Il principio dell'Image-to-Video è apparentemente semplice.
Si fornisce al modello una fotografia e, attraverso un prompt, gli si indica come interpretarla: quale movimento deve compiere la camera, quali elementi possono muoversi, come deve comportarsi la luce e quale atmosfera deve mantenere.
Una fotografia architettonica di Milano può così trasformarsi in una lenta ripresa cinematografica.
La camera può avanzare verso un edificio, sollevarsi come un drone, attraversare una struttura, effettuare un leggerissimo orbit oppure creare una parallasse tra primo piano e sfondo.
In una fotografia urbana possono muoversi le persone, le automobili, le nuvole, la pioggia o i riflessi sull'asfalto.
Il punto di partenza, però, rimane sempre lo stesso: la fotografia originale.
Ed è proprio qui che, secondo me, sta la differenza tra utilizzare l'intelligenza artificiale come semplice generatore di immagini e utilizzarla invece come nuovo strumento fotografico.
Seedance, Kling e i nuovi modelli video
Negli ultimi mesi ho sperimentato diversi modelli generativi, in particolare Seedance e Kling, cercando soprattutto di capire quanto fossero capaci di rispettare una fotografia reale.
Non mi interessa chiedere all'AI di inventare Milano.
Milano esiste già, e preferisco fotografarla.
Quello che mi interessa è darle movimento.
Seedance è particolarmente interessante quando si cercano movimenti di camera complessi e un linguaggio molto cinematografico. È capace di interpretare una fotografia quasi come se fosse il primo fotogramma di una ripresa e di costruire da lì una sequenza sorprendentemente credibile.
Kling offre a sua volta strumenti molto potenti per l'Image-to-Video e permette di ottenere animazioni estremamente realistiche, soprattutto quando il movimento richiesto è ben definito.
La qualità raggiunta da questi modelli è impressionante.
Ma non sono infallibili.
Ed è forse questa la cosa più importante da capire.
Il problema: quando l'AI decide di fare il regista
Più libertà concediamo al modello, più aumenta la possibilità che inizi a inventare.
Un edificio può cambiare forma.
Una facciata può acquisire finestre che non esistono.
Dietro un palazzo può comparire una torre mai costruita.
Una strada può trasformarsi.
Milano può lentamente diventare una Milano alternativa.
Il risultato magari è spettacolare, ma fotograficamente non è più quello che avevo ripreso.
Per questo nei miei esperimenti cerco di utilizzare prompt molto restrittivi.
Il modello deve comprendere che non deve reinterpretare la fotografia, ma animarla.
È una differenza enorme.
Il prompt diventa una specie di regia
Scrivere il prompt per un modello video assomiglia sempre meno alla semplice descrizione di un'immagine.
Assomiglia piuttosto alle indicazioni date a un operatore.
Occorre specificare il movimento della camera, la velocità, la direzione, ciò che può muoversi e soprattutto ciò che deve rimanere invariato.
Per esempio, partendo dalla fotografia di un grattacielo potrei chiedere un lento movimento ascendente della camera, una parallasse molto contenuta, leggere variazioni atmosferiche e il movimento naturale delle nuvole.
Ma contemporaneamente devo impedire al modello di modificare geometrie, finestre, materiali e strutture dell'edificio.
In altre parole:
Move the camera. Don't redesign the world.
È probabilmente una delle regole più importanti che ho imparato sperimentando con questi strumenti.
Quando una fotografia non basta
La cosa diventa ancora più interessante utilizzando più fotografie.
Immaginiamo una sequenza di fotografie di Milano: una strada, una facciata, un grattacielo, una galleria, un dettaglio architettonico.
Il modello può tentare di costruire un movimento continuo tra queste immagini.
La camera avanza nella prima fotografia, attraversa idealmente un elemento architettonico e riemerge nella fotografia successiva.
Quando funziona, il risultato è straordinario.
Non sembra più una successione di fotografie animate.
Sembra un'unica ripresa impossibile.
Una specie di drone virtuale capace di attraversare spazio, architettura e tempo.
Ed è proprio questo uno degli aspetti che trovo più affascinanti.
PrimaDopo
Non sempre funziona
Bisogna però accettare una buona dose di imprevedibilità.
Lo stesso prompt eseguito due volte può produrre risultati completamente differenti.
Una generazione può essere perfetta e quella successiva completamente sbagliata.
A volte il modello comprende perfettamente la geometria della scena; altre volte decide improvvisamente che Milano avrebbe bisogno di un grattacielo in più.
Si generano quindi molte prove. Si modificano poche parole. Si riduce il movimento. Si cambia modello. Si ricomincia.
È un processo sorprendentemente simile alla post-produzione fotografica: piccoli interventi possono cambiare completamente il risultato.
Con una differenza fondamentale.
Qui esiste una variabile che non possiamo controllare completamente.
La fotografia deve rimanere fotografia
È probabilmente il punto al quale tengo maggiormente.
Utilizzare l'intelligenza artificiale non significa necessariamente sostituire la fotografia.
Nel mio caso significa esattamente il contrario.
La fotografia deve rimanere il documento originale.
La composizione, il momento, la luce, l'architettura e il punto di vista nascono ancora nel momento dello scatto.
L'AI interviene successivamente.
Non per creare quello che non ho fotografato, ma per esplorare quello che quella fotografia potrebbe diventare.
È un approccio molto diverso dal generare un'immagine completamente sintetica scrivendo semplicemente: «Milano di notte sotto la pioggia».
Quella sarebbe l'immagine immaginata da una macchina.
Se invece parto da una fotografia che ho realmente scattato sotto la pioggia a Milano e chiedo al modello di animare le gocce, muovere lentamente la camera e far scorrere i riflessi sull'asfalto, l'origine del racconto rimane fotografica.
PrimaDopo
Un nuovo tipo di post-produzione
Photoshop ci ha permesso di modificare i pixel.
Lightroom ci ha permesso di interpretare luce e colore.
I software di montaggio ci hanno permesso di costruire il tempo attraverso sequenze di immagini.
L'intelligenza artificiale generativa introduce qualcosa di diverso.
Permette di creare tempo all'interno di una fotografia che tempo non ne aveva.
Ed è forse questo il cambiamento più radicale.
Non stiamo semplicemente modificando l'immagine.
Stiamo chiedendo a un algoritmo di immaginare i fotogrammi che non abbiamo mai scattato.
PrimaDopo
Fotografia aumentata
Non so ancora dove porteranno questi strumenti.
La velocità con cui stanno migliorando rende praticamente impossibile fare previsioni.
Quello che oggi richiede diversi tentativi probabilmente tra poco sarà controllabile con precisione quasi cinematografica.
Movimenti di camera, profondità, continuità tra più fotografie, illuminazione e coerenza geometrica diventeranno progressivamente più affidabili.
Ma c'è una cosa che vorrei non cambiasse.
Il punto di partenza. Una macchina fotografica. Una città. Un'inquadratura. Un momento scelto deliberatamente.
Poi possiamo anche chiedere all'intelligenza artificiale di far muovere tutto.
Ma prima bisogna avere qualcosa che valga la pena mettere in movimento.