La realtà mista per controllare robotAR General 

La realtà mista per controllare i robot

Interazione uomo-macchina attraverso la realtà mista

I robot sono programmati per compiere azioni specifiche. Con il machine learning, o apprendimento automatico, ora i robot riescono a reagire in modo più flessibile agli stimoli ambientali.

Ci sono robot che interagiscono con le persone attraverso il riconoscimento vocale o la realtà virtuale (VR). Ma fino ad ora nessuno aveva pensato alla realtà aumentata (AR) e alla realtà mista (MR) come canale di comunicazione.

È possibile controllare un robot semplicemente attraverso un’app di AR/MR?

Vikram Kapila, professore presso la Tandon School of Engineering della New York University, sta studiando un modo per usare la realtà mista con dispositivi mobili per controllare diversi robot senza aver bisogno di una formazione preliminare.

In un’intervista per Robotics Business Review ha spiegato come ciò potrebbe essere possibile.

 

L’intervista

In che modo la realtà mista è più facile da usare rispetto a un altro metodo di controllo? Come può ridurre i costi?

La realtà mista mobile può essere usata per creare interfacce umano-robot su dispositivi mobili intuitive e naturali per gli operatori umani. Tali interfacce consentono agli operatori umani di lavorare in un ambiente condiviso con i robot. Questo metodo può aiutare gli operatori a vedere direttamente il robot, quando necessario. Quindi, può migliorare la loro comprensione della configurazione del robot e del suo ambiente.

Invece di usare un complesso dispositivo tipo tastiera, i cui controlli possono essere non intuitivi, per controllare un manipolatore industriale per il controllo delle sue articolazioni o dei suoi collegamenti, la realtà mista può essere utilizzata per rappresentare le interfacce umano-robot che consentono all’operatore umano di fornire al robot la direzione del livello di attività.

Nello specifico, in un ambiente di realtà mista, gli oggetti nell’ambiente possono essere rappresentati come componenti manipolabili in realtà aumentata. Mentre l’operatore umano manipola e si muove intorno agli oggetti da una [posizione] casa a una posizione obiettivo nel mondo della realtà mista, il robot fisico esegue lo stesso compito con gli oggetti fisici nel mondo reale.

Un tale approccio può ridurre i costi eliminando l’hardware personalizzato di controllo del robot con dispositivi mobili di livello commerciale. Analogamente, un tale approccio può ridurre i costi di formazione per gli operatori del robot.

Infine, in ambiti educativi, possono essere create strutture di realtà mista per rendere intuitive e naturali le esperienze pratiche di apprendimento nei laboratori di ingegneria.

Quali sono le sfide nello sviluppo della realtà mista per il controllo di più robot mobili? Il tuo video ha menzionato il carico computazionale – esiste un numero ideale di input o di robot di riferimento?

Quando usiamo il nostro approccio di realtà mista per controllare i robot mobili, bisogna essere in grado di selezionare e individuare una struttura di coordinate di riferimento nel mondo rispetto ai quali altri robot devono essere collocati, navigati, guidati, eccetera. Questo problema non è impegnativo se la fotocamera che cattura la scena è stabile nel mondo [reale].

Tuttavia, nel nostro caso, la fotocamera del dispositivo mobile è usata per catturare i robot mobili e gli oggetti nel mondo [reale]. In tal caso, è possibile fissare un sottoinsieme di quattro robot in una squadra di robot e usare la corrispondente area di confini per creare un piano fisso e un quadro di riferimento per determinare la posizione e la posa dei singoli robot e oggetti.

In alternativa, si possono supporre quattro robot fisici fissi – mentre non eseguono un’attività – e usare le misurazioni inerziali dal dispositivo mobile per rappresentare un quadro di riferimento relativo a quello che trova la posizione e la posa dei singoli robot e oggetti.

Quando l’operatore si sposta con il dispositivo mobile, è possibile scambiare il robot di riferimento non in movimento con un altro robot nella scena. La principale sfida di questo approccio è che solo gli oggetti e i robot visibili attraverso la fotocamera del dispositivo mobile sono manipolabili in un determinato caso.

Naturalmente, l’operatore può muoversi nella scena per ottenere il controllo di un diverso sottoinsieme di robot, se necessario. Il nostro attuale approccio richiede almeno un robot mobile che faccia da riferimento, ma il ruolo del robot di riferimento può essere commutato in base al compito in questione.

Una limitazione del nostro approccio viene rivelata quando il robot di riferimento deve essere assegnato per il controllo e non ci sono altri robot in vista disponibili che possano diventare il robot di riferimento.

Un’altra limitazione è che il piano occupato dai robot deve essere considerato orizzontale in quanto l’atteggiamento del dispositivo mobile è stimato rispetto alla direzione della gravità.

Sarebbe possibile manipolare più robot simultaneamente con questo approccio?

Sì, è già possibile. Un operatore interagisce con l’oggetto 1 per spostarlo dalla [posizione] casa alla posizione obiettivo, in modo che l’algoritmo selezioni un robot per eseguire l’attività.

Subito dopo la manipolazione dell’oggetto 1 sul dispositivo mobile, l’operatore interagisce con l’oggetto 2 per spostarlo dalla propria [posizione] casa alla posizione dell’obiettivo. In questo modo l’algoritmo selezionerà un altro robot per eseguire l’attività corrispondente. Ora due robot si muoveranno allo stesso tempo per spostare gli oggetti 1 e 2.

Cosa sarebbe necessario per ridimensionare questa tecnologia per una fabbrica, un magazzino o un ospedale?

Abbiamo fatto un test pilota con utenti alle prime armi per una situazione di magazzino. Qui, invece di utilizzare più robot, abbiamo considerato un singolo robot nella visione dell’operatore. L’operatore comanda al robot di andare verso un oggetto, prenderlo, portarlo in una casella e depositarlo nella casella.

L’uso di un singolo robot complica la situazione poiché ora non esiste un robot fisso che faccia da riferimento. Quindi abbiamo dovuto prendere in considerazione la fusione di metodologie di propriocezione e di immagine.

Le nostre precedenti interfacce di realtà mista per la robotica di sciame usavano piccoli robot in un ambiente non strutturato. Mentre ridimensioniamo il nostro lavoro nelle fabbriche, nei magazzini o negli ospedali, possiamo aver bisogno di considerare la possibilità che gli operatori dei robot non siano in un ambiente condiviso.

Potremmo anche prendere in considerazione la possibilità di condurre studi sugli utenti per apprendere da loro e adattare le nostre interfacce mobili di realtà mista in modo che siano in grado di rispondere agli utenti in diversi domini applicativi.

 

Un nuovo approccio

Fino ad oggi abbiamo visto il binomio realtà virtuale-robotica per diverse applicazioni. L’abbiamo visto con Mind Meld, per esempio. E continuiamo a vederlo in diversi progetti, come quello del MITCSAIL, mostrato di seguito.

Ma sarebbe la prima volta che la realtà mista viene pensata come interfaccia per il controllo di robot. Questo metodo renderebbe più facile e intuitivo il controllo dei robot. Niente più interfacce complesse e comandi incomprensibili.

Però bisogna risolvere le limitazioni descritte dal dottor Kapila. Forse è questione di tempo e prima o poi vedremo una nuova modalità d’uso della realtà mista anche nei depositi e negli ospedali. Un altro punto a favore delle tecnologie AR ed MR.

Danilo Bologna
Seguimi

Danilo Bologna

Cultore della comunicazione digitale, co-founder di Immersive Tech e autore di Controcorrente.
Danilo Bologna
Seguimi

Related posts

Leave a Comment