4.3. Interaccions gestuals
Intuïtivament, si pensem en la interacció amb gestos segurament ens vindran al cap imatges de pel·lícules futuristes, de superherois o d’agents secrets. A Iron man (2008), per exemple, l’actor Robert Downey Jr. fa diversos gestos amb les mans per controlar interfícies flotants. En aquesta pel·lícula, de fet, també hi apareix J.A.R.V.I.S. (Just A Rather Very Intelligent System), que és un assistent de veu basat en la intel·ligència artificial. Més coneguda és la interacció amb gestos que apareix a Minority report (2002), en què el protagonista, amb el moviment dels braços i mans diferents, navega per un entorn tridimensional, arrossegant i movent diferents elements de la interfície.
Tot i que sembla, doncs, que la interacció amb gestos pertany a un terreny amb certs tocs de ciència-ficció, creiem que és important donar a conèixer les possibilitats d’aquesta mena d’interacció.
Primer de tot, encara que sembli obvi, cal fer una definició de gestos en el context del disseny d’interacció. Podem dir que són els moviments del cos que expressen significat, és a dir, normalment no entenem com a gestos el moviment del ulls, per exemple, excepte que hi hagi una intenció.
També podríem considerar un gest aquell moviment d’un instrument o eina unida al cos. Els gestos estan vinculats a la interpretació que en fem, és a dir, el seu significat ha de ser desxifrat, però no tenim un manual o una teoria que serveixi de manera unívoca. Les interpretacions es basen, doncs, en aspectes com el coneixement que tenim del context o en la pròpia intuïció basada en l’experiència. Allò que pot semblar un gest educat en un lloc o una situació determinada, pot semblar agressiu en una altra i, per tant, depèn de moltes variables que fan que tingui un significat simbòlic.
La definició següent de gest de Kurtenbach i Hulteen ens pot ajudar a explicar-ho millor:
«A gesture is a motion of the body that contains information. Waving goodbye is a gesture. Pressing a key on a keyboard is not a gesture because the motion of a finger on its way to hitting a key is neither observed nor significant. All that matters is which key was pressed».
Kurtenbach, Gordon i Hulteen, Eric E. “Gestures in human-computer communication.” The art of human-computer interface design, Laurel, Ed., 309-317. Addison-Wesley, 1990.
Quant a la interacció amb gestos, podem distingir entre dos grans grups: gestos sense tocar directament una superfície i gestos tàctils.
Per la seva utilitat quan fem servir el mòbil i les tauletes, els gestos tàctils són els més habituals, però volem començar amb els gestos sense tocar una superfície directament. Aquests gestos, normalment, els fem amb les mans o braços o bé amb el cap o facialment. També hi pot haver interacció amb el cos sencer, un aspecte de què parlarem a l’apartat següent.
Per al reconeixement de gestos, disposem de diferents tecnologies, algunes més populars que d’altres. Específicament per a les mans, tenim guants capaços de detectar-ne la posició i rotació i també els moviments dels dits, sovint amb alta precisió. Els guants, però, sobretot es fan servir en àmbits especialitzats, com per exemple, sistemes d’entrenament virtual de cirurgia.
El que sí que és més habitual són les càmeres sensibles a la profunditat, com la Kinect. Es tracta d’un camp que continua despertant l’interès de grans empreses com Microsoft, que l’any 2016 va presentar un sistema de control de gestos anomenat Handpose, o també Apple, que té més unes seixanta patents, sobretot orientades a controlar interfícies emprant un casc de realitat virtual o mixta.
Una aplicació comercial de reconeixement de gestos la trobem a partir del 2018 en alguns cotxes de la marca Volkswagen i també de la marca BMW. Aquests incorporen un sistema de control de pantalla basat en gestos que permeten respondre a trucades, ajustar el volum o ajustar la visualització del mapa.
Una mica abans, el 2015, i amb un esperit molt més DIY, els artistes Mushon Zer-Aviv i Dan Phiffe van crear Atlas gloves. Es tracta d’una interfície física que permetia controlar amb gestos aplicacions com Google Earth. Amb unes senzilles pilotes de ping-pong il·luminades, la càmera de l’ordinador reconeix la nostra posició i moviments i permet agafar, empènyer o rotar objectes de la interfície gràfica.
L’altre gran tipus de gestos serien els que fem amb la cara i el cap. Hi ha un ventall ampli de possibilitats en aquest camp, especialment amb allò que té a veure amb el reconeixement facial, cosa que podem definir com «el procés computacional que permet identificar si quelcom és una cara o no i quines característiques té si ho és». Normalment, associem directament el reconeixement facial amb el control i la vigilància a les fronteres o durant controls policials, però també alguns governs, com el xinès o el rus, han implantat aquesta tecnologia a les càmeres de videovigilància del carrer. Tot i així, també trobem que s’està estenent a usos més quotidians, com ara desbloquejar un mòbil. I no només això, sinó que en combinació amb l’aprenentatge profund (Deep learning), un dels camps que s’estan expandint és el de la previsió de comportaments a partir del reconeixement de gestos i cares.
Actualment, no és especialment difícil aplicar el reconeixement facial, tot i que les llibreries i aplicacions que tenim a l’abast no sempre són gaire precises. De les diverses possibilitats que hi ha, moltes de privatives, un projecte de codi obert és Open face, de la Universitat Carnegie Mellon. És una eina capaç de detectar punts de referència facials, la posició del cap, les unitats d’expressió facial i la direcció de la mirada que funciona fent servir una càmera web.
Tot i que pot ser molt útil, el seu ús també suscita debat. Una de les preocupacions principals se centra en els biaixos que contenen les bases de dades amb cares i que, per tant, els sistemes de reconeixement facial acaben reproduint perquè se n’alimenten.
Quant al segon gran gruix de gestos que plantejàvem al principi, els gestos tàctils (també anomenats multi-touch gestures), aquests sí que van associats a algun tipus de pantalla. Els més habituals són els que fem amb el mòbil, per exemple, fer pinch amb dos dits per ampliar una foto, fer scroll per navegar cap amunt o cap avall els continguts d’un web o lliscar cap a la dreta per passar una foto o per dir que algú ens agrada a Tinder.
Una altra tipologia de gestos tàctils són els que engloba la interacció tangible, que es basa en la relació física amb representacions materials que tenen característiques tàctils. Aquest context d’interacció té a veure tant amb interaccions que impliquen tot el cos com amb objectes que toquem directament, tal com trobem, per exemple, a la Reactable. Es tracta d’un instrument musical desenvolupat per la Universitat Pompeu Fabra que consta d’un tauler en què físicament es van situant objectes que, depenent de la seva posició i moviment, generen diversos sons.
A continuació, ampliarem informació sobre el paper del cos en la interacció i la idea de corporeïtat, que pot ser d’utilitat a l’hora de dissenyar qualsevol estil d’interacció. Un altre element amb què enllaça la interacció gestual és la d’hibridació, que també veurem una mica més endavant. A diferència de les interfícies gràfiques d’usuari, la interacció amb gestos implica la combinació entre el món dels àtoms i el món dels bits, és a dir, entre una dimensió física i una de virtual.