Crea un gioco interattivo utilizzando l'intelligenza artificiale

In questa attività imparerai a programmare un gioco interattivo che risponde ai gesti delle mani e applicherai tale conoscenza per sviluppare il tuo gioco interattivo. Quindi ti impegnerai in una sfida di progettazione per creare elementi di gioco unici, esplorare il potenziale dell'intelligenza artificiale nei giochi e acquisire una comprensione più profonda di come funziona l'intelligenza artificiale. Preparati a scoprire le incredibili possibilità dell'intelligenza artificiale!

Il rilevamento delle mani è il processo utilizzato da un computer per identificare una mano da un'immagine. È importante in vari campi, come la robotica, la visione artificiale e l'interazione uomo-computer. Sono necessari modelli accurati di rilevamento delle mani per consentire alle macchine di interagire in modo efficace con gli esseri umani. Con l’avvento dei metodi basati sull’apprendimento, i modelli di rilevamento delle mani sono diventati più robusti e accurati, rendendoli adatti ad applicazioni nella vita reale.

Ad esempio, i modelli di rilevamento delle mani possono essere utilizzati per sistemi di riconoscimento dei gesti come SignAll, che utilizza la visione artificiale per riconoscere e tradurre il linguaggio dei segni americano in testo o parlato. I suoi modelli di apprendimento automatico sono addestrati a riconoscere diversi gesti nella lingua dei segni, il che può aiutare le persone non udenti o con problemi di udito a comunicare con altri che non conoscono la lingua dei segni.

La tecnologia principale di SignAll utilizza informazioni visive, come immagini e video, e converte tali informazioni in dati che possono essere elaborati dal computer.

La lingua dei segni è un linguaggio espressivo e visivo, quindi può essere difficile da interpretare per la tecnologia tradizionale. Con SignAll, la fotocamera di un telefono o di un computer viene utilizzata per acquisire, analizzare e tradurre gli elementi fondamentali del linguaggio dei segni.

Tutti questi elementi vengono catalogati e interpretati dal software del computer, permettendogli di comprendere il linguaggio dei segni dell'utente. Man mano che l'app raccoglie queste informazioni visive, le confronta con un database di migliaia di potenziali gesti nella lingua dei segni. Utilizza l’apprendimento automatico per restringere le possibilità e prevedere le opzioni più probabili. L'app presenta queste opzioni all'utente e questi seleziona l'opzione che corrisponde a ciò che stava cercando di dire.

L’apprendimento automatico può essere uno strumento potente per affrontare le sfide comunicative per le persone non udenti e con problemi di udito. Le persone non udenti o con problemi di udito spesso incontrano barriere comunicative quando firmano con i membri della comunità degli udenti. L’intelligenza artificiale può aiutare a superare queste barriere sviluppando soluzioni tecnologiche che consentono alle persone non udenti e con problemi di udito di comunicare con gli altri in modo spontaneo ed efficace, sempre e ovunque.

Ora che sai come funziona SignAll, pensa a queste domande:

Se potessi portare questa tecnologia un passo avanti, come sarebbe? Scopriamolo!

In questa attività prenderai le idee alla base dell'app SignAll e le semplificherai per creare un gioco interattivo che riconosca i movimenti della mano e reagisca ad essi. Muovi la mano sullo schermo mentre provi a toccare gli oggetti che appaiono casualmente. La fotocamera del tuo computer osserverà i movimenti della tua mano e la sua intelligenza artificiale seguirà e comprenderà i tuoi movimenti.

Potresti voler lavorare con un partner o un gruppo su questo progetto in modo da avere amici che ti aiutino a scambiare idee, offrire feedback ed eseguire il debug del tuo codice. Non è necessaria alcuna conoscenza preliminare di intelligenza artificiale o apprendimento automatico per svolgere questa attività.

Per questo progetto utilizzerai il software PoseBlocks del MIT. Questo toolkit gratuito utilizza blocchi drag-and-drop per creare codice, in modo molto simile al popolare linguaggio di codifica Scratch. La differenza tra loro è che PoseBlocks ha blocchi speciali per utilizzare l'intelligenza artificiale incorporata per il tracciamento del corpo.

Per creare il tuo codice, farai clic sullo sprite dell'affettatrice e trascinerai i blocchi nell'area di lavoro. L'area di lavoro PoseBlock ha diverse sezioni. (Se hai familiarità con Scratch, questo ti sembrerà molto familiare.)

L'area a sinistra ha tre schede denominate "Codice", "Costumi" e "Suoni", ognuna delle quali include una libreria di elementi che puoi utilizzare. Tutti i blocchi di codice si trovano nella libreria dei codici, dove sono raggruppati per funzione e codificati a colori. La libreria dei costumi ti consente di aggiungere, modificare o disegnare sprite. "Sprite" è il nome di un oggetto o personaggio in PoseBlock. Ad ogni sprite può essere assegnato un codice per fare qualcosa nel tuo programma. Quando uno sprite ha più forme, le chiamiamo costumi. Ad esempio, lo sprite degli elementi ha nove costumi. Clicca sulla scheda "Costumi" per vederli. (Puoi usare qualsiasi sprite che ti piace. Puoi anche disegnarne uno tuo.)