Il modello AI di DeepMind costruisce giochi 2D simili a Super Mario

Quando OpenAI ha recentemente presentato il suo impressionante modello generativo “Sora”, c’erano dei limiti a ciò che si poteva fare con esso Converti testo in video Possibile, molto ampio. Il prossimo salto nello sviluppo dell'intelligenza artificiale (AI) non si è fatto attendere: ora Google porta con sé DeepMind Testo ai videogiochi. Questo nuovo modello, chiamato Genie, può trasformare una breve descrizione, un'illustrazione disegnata a mano o una foto in un videogioco giocabile nello stile dei classici platform 2D come Super Mario Bros.

annuncio

Finora i giochi non sono particolarmente veloci. Funziona a una velocità di un fotogramma al secondo, rispetto ai tipici 30-60 fotogrammi al secondo della maggior parte dei giochi moderni. Tuttavia, Matthew Guzdial, un ricercatore di intelligenza artificiale presso l’Università di Alberta, ha dichiarato alcuni anni fa: “Questo è un ottimo lavoro”. ha sviluppato un generatore di giochi simile. Impara dai video Giochi di piattaforma astratti Per creare o creare. Nvidia ha utilizzato anche i dati video per addestrare un modello chiamato GameGAN, in grado di creare versioni di giochi come Pac-Man.

Tuttavia, in tutti questi esempi, il modello è stato addestrato non solo con materiale video, ma anche con azioni di input come la pressione di un pulsante sul controller: ad esempio, un'immagine video che mostra Mario che salta è abbinata a un'”azione di salto”. Tuttavia, l'etichettatura delle riprese video con azioni di input richiede molto lavoro, il che limita la quantità di dati di addestramento disponibili perché non sono stati precedentemente taggati.

30.000 ore di gioco platform 2D

Al contrario, Jenny è stata addestrata utilizzando solo riprese video (Il documento corrispondente è stato pubblicato su arXiv e non è stato ancora sottoposto a revisione paritaria) con 30.000 ore di centinaia di giochi platform 2D online. Quindi apprende quale delle otto azioni possibili fa sì che il personaggio cambi posizione nel video. In questo modo, innumerevoli ore di video online diventano potenziali dati di allenamento.

Genie crea ogni nuova immagine di gioco a seconda dell'azione intrapresa dal giocatore. Quando il giocatore fa clic su Salta, Genie aggiorna l'immagine corrente in modo che il personaggio salti; Quando fa clic su “Sinistra”, l'immagine cambia in modo che il personaggio si sposti a sinistra. Il gioco procede attraverso l'azione, con ogni nuova immagine creata da zero mentre il giocatore gioca.

Le future versioni di Genie potrebbero funzionare più velocemente. “Non ci sono vincoli fondamentali che ci impediscano di raggiungere 30 fotogrammi al secondo”, afferma Tim Rocktachel, ricercatore di Google DeepMind e responsabile del team di sviluppo. “Genie utilizza molte delle stesse tecniche degli attuali modelli linguistici di grandi dimensioni, in cui sono stati compiuti progressi significativi nel miglioramento della velocità di inferenza”.

Il genio ha anche imparato e copiato alcune stranezze visive comuni che si trovano nei giochi di piattaforma. Molti giochi di questo tipo utilizzano la cosiddetta parallasse, in cui il primo piano si sposta lateralmente più velocemente dello sfondo. Genie includeva spesso questo effetto anche nei giochi da lui creati.

Sebbene il modello sia un progetto di ricerca interno e non sarà rilasciato al pubblico, Guzdial ha affermato che il team di Google DeepMind ha affermato che un giorno potrebbe essere trasformato in uno strumento per la creazione di giochi. Ci sta lavorando anche lui stesso e dice: “Sono davvero entusiasta di vedere cosa svilupperanno”.

Campi da gioco virtuali

I ricercatori di Google DeepMind non sono interessati solo allo sviluppo di giochi. Il team Genie sta anche lavorando sull’apprendimento aperto, in cui i robot guidati dall’intelligenza artificiale vengono inseriti in un ambiente virtuale e devono risolvere vari compiti attraverso prove ed errori (una tecnica nota come apprendimento per rinforzo).

Nel 2021, un altro team di DeepMind ha sviluppato un parco giochi virtuale chiamato XLand in cui i robot hanno imparato a cooperare su compiti semplici come superare gli ostacoli. Testare ambienti come XLand sarà fondamentale per addestrare i futuri robot alle sfide prima di implementarli in scenari del mondo reale. Esempi tratti dai videogiochi mostrano che è possibile utilizzare il genio per creare tali parchi giochi virtuali.

Altri ricercatori hanno sviluppato strumenti simili per la costruzione del mondo. David Ha di Google Brain e Jürgen Schmidhuber del laboratorio di intelligenza artificiale IDSIA in Svizzera hanno sviluppato nel 2018 uno strumento che consente ai robot… Ambienti virtuali basati sul gioco, chiamati modelli mondialiPuò essere addestrato. Tuttavia, a differenza di Genie, i dati di addestramento dovevano contenere azioni di input.

Il team ha dimostrato quanto sia utile questa capacità nella robotica. Quando a Jenny sono stati mostrati video di veri bracci robotici che manipolavano una varietà di oggetti domestici, il modello ha imparato quali azioni il braccio poteva eseguire e come controllarlo. I futuri robot potrebbero apprendere nuovi compiti guardando lezioni video.

“È difficile prevedere quali casi d'uso saranno possibili”, afferma Rocktachel. “Ci auguriamo che progetti come Genie offrano alle persone nuovi strumenti per esprimere la propria creatività”.

(maggioranza)