El futuro de la interacción gestual según Microsoft Research

A través de una noticia de TicBeat, descubro un espectacular vídeo de un dispositivo vestible (por “wearable”) que posibilita una interacción ambiental ubicua y que ha sido desarrollado en colaboración por Microsoft Research y las universidades de Cambridge, Newcastle y Creta:

 

Como comentan en el artículo de la BBC de donde toman su fuente, los investigadores están trabajando para reducirlo al tamaño de un reloj.

Sus potencialidades creo que son grandes. Entre otras, un dispositivo de este tipo abre la puerta a poder interactuar en cualquier espacio y con cualquier superficie del entorno, sea o no digital, en el que nos encontremos.

Uno de los principales interrogantes que abría el vídeo de prospectiva de productividad de Microsoft es que en él, el modelo de interacción que se presentaba se daba en un entorno de dispositivos con superficies interactivas digitales que estaban en el ambiente (ya fuera el hogar, ya el metro).

Panel interactivo en aeropuerto - Concepto de productividad futura de MicrosoftLa ejecutiva llega de un viaje al aeropuerto y va a la parada de taxis. Un panel digital muestra información y proyecta en el suelo el nombre de su hotel de destino. Mientras, se pone sus gafas de Realidad Aumentada para averiguar mediante traducción en tiempo real qué ha de decir al conductor del taxi

Panel interactivo, televisión y mesa digitales con proyección 3D sobre la mesa - Concepto de productividad futura de MicrosoftAl entrar en la habitación la TV interactiva muestra la hora y otro tipo de información. Sobre la mesa digital se presenta en 3D la notificación de un mensaje.

 

¿Llegarán estos paneles digitales y productos del hogar tales como mesas digitales, a estar de aquí a 7 años de forma masiva en el hogar, en las calles de las ciudades y en las oficinas?

Pared digital interactiva en una oficina - Concepto de productividad de MicrosoftPared digital interactiva en una oficina (obsérvese el hombre de la izquierda).

 

A día de hoy parece un poco complicado asegurar un escenario así en siete años aun cuando sí es una tendencia que se está produciendo (y sobre la que hay que reflexionar con carácter crítico).

La realidad siempre supera la ficción y cuando en el vídeo se presentan pantallas imposibles por flexibles:

 

Pantallas de dispositivos flexibles. El gráfeno es el futuro hacia el desarrollo de este tipo de dispositivosPantallas de dispositivos flexibles. El gráfeno es el futuro hacia el desarrollo de este tipo de dispositivos

 

o que permiten la visualización de imágenes en 3D:

Imágenes 3D en un monitor - Concepto de productividad futura de Microsoft

Imágenes 3D en un monitor. Serie estadística - Concepto de productividad futura de Microsoft

 

es que en ello se está trabajando y que en cualquier momento se nos puede sorprender con productos revolucionarios por lo delgados que son, y que parecen flotar en el aire:

Nuevo iMac de Apple

Nuevos iMac de Apple

 

Lo interesante del brazalete de interacción gestual presentado por Microsoft Research es que la interacción se puede dar en cualquier lugar si se llevan unas gafas de realidad aumentada. Aunque en el vídeo no se muestra -porque no se enfoca su cabeza en ningún momento- parece que el usuario que porta el brazalete las lleva.

Su uso conjunto haría posible que pudiéramos crear e interactuar con nuestro propio mundo virtual sobreimpreso al real, en cualquier lugar y espacio en el que nos encontrásemos:

¡¡!!

Si no contamos con ellas, deberíamos tener un panel digital cercano o un dispositivo equivalente con el que interactuar y que pudiera proyectar las imágenes:

 

Niña consultando una receta para hacer una tarta. Concepto de productividad futura de Microsoft

Imagenes en 3D. Mano de niña proyectando objetos de su tablet al aire. Concepto de productividad futura de MicrosoftEn el vídeo de productividad de Microsoft (minuto 5.30 y en adelante) se observa como la madre y la hija hablan sobre unas recetas de tartas. En un momento dado la niña “saca” del tablet los componentes de la receta que está viendo con la palma de la mano y los deja flotando sobre la mesa. Un detalle a observar es que no lleva reloj ni gafas pero sí pulseras. El brazalete de Microsoft Research podría adoptar perfectamente la forma de una de ellas en cuyo caso no serían necesarias las gafas de Realidad Aumentada para ver dichos componentes dado que el dispositivo cercano (la tablet) las proyectaría.

 

Los tres grandes reyes del software y del hardware -Apple, Google y Microsoft- se han embarcado en una auténtica carrera tecnológica por hacer realidad su propia propuesta de realidad aumentada y de mundo virtual que comienza en un dispositivo como las gafas.

Hoy Microsoft nos presenta un ladrillo más de ese mural que están construyendo, un brazalete que convierte nuestras manos y brazos en perifericos virtuales aportando toda su flexibilidad y superando por fin al ratón.

Estoy deseando ver las gafas y esos brazaletes algún día no muy lejano :)

–0–

Y un artículo más de Genbeta relacionado con el tema. Microsoft está invirtiendo fuerte en el campo:

SmartGlass, la multipantalla de verdad para Windows 8, Windows Phone 8 y XBox

--

 

Interfaces digitales flexibles para mejorar la interacción con los dispositivos

De sorpresa en sorpresa es lo que se puede decir al ver los conceptos de diseño y prototipos tecnológicos de múltiples compañías y grupos de investigación japoneses que se pueden ver recopilados en las galerías temáticas de Diginfo TV.

Concretamente os recomiendo echarle un vistazo a las galerías de Interfaces y Móviles.

Aunque son muchos los vídeos, destacar dos que me han llamado la atención:

En el concepto de interfaz flexible investigadores de la universidad de Osaka conceptualizan la misma como un material flexible que se estira o contrae cuando el usuario presiona sobre un punto de la pantalla y arrastra el dedo en una dirección. De esta forma pueden conseguir ver el punto de partida desde el cual se ha arrancado, el punto final al que se llega y el contenido intermedio (aunque sea con un cierto grado de distorsión). El usuario puede además decidir si desea hacer efectivamente el scroll, hacer una suerte de zoom interactivo -apoyándose en un dedo adicional extra para abarcar el área desde el punto de toque de inicio al punto de toque final- o recuperar la forma inicial de la interfaz después de haber examinado el contenido circundante en una dirección.

Desde un punto de vista de interacción humana esté “comportamiento” de la interfaz es mucho más cercano al de los materiales físicos con los que interactuamos cotidianamente tales como el papel, y tiene la particularidad de que aporta una affordance extra que mejora el modelo de interacción que mantenemos con las interfaces a través de pantallas táctiles y gestos de la mano.

El vídeo viene al caso para reflexionar sobre la problemática que Donald Norman exponía recientemente en su artículo la “Guerra de gestos” (enlace vía: @Usolab) acerca de la convivencia del actual modelo de interacción mediante el ratón y el cambio de paradigma que está imponiendo la introducción de los nuevos periféricos como el Trackpad de Apple o el Magic Mouse junto al nuevo conjunto de gestos para interaccionar con pantallas táctiles. A saber:

Cualquier interfaz física como por ejemplo el papel impone unas limitaciones espaciales a la representación de la información: en ella no se puede representar o contener más información de la que puede inscribirse en su superficie.

En los dispositivos digitales esta limitación está igualmente vigente pero presentan la gran diferencia de que al ser la pantalla digital (ya sea de un ordenador ya de un móvil) y al ser la información digital y líquida podemos presentar y “desplegar” información más allá de los límites físicos de la pantalla -de sus bordes-.

Desde las primeras interfaces gráficas de usuario de los ordenadores, el control por excelencia que se ha utilizado para indicar que existía más lienzo con más información que desbordaba la pantalla, ha sido el ascensor que aparecía en el lado derecho de la misma. Cuando el usuario interactuaba sobre dicho control el efecto que percibía era el de un marco estático -la pantalla del dispositivo- a través del cual visualizaba el contenido en un lienzo que se iba moviendo.

Con la introducción de la rueda del ratón, el estándar que se adoptó como modelo de interacción era:

  • Al desplazar la rueda del ratón hacia arriba, el ascensor vertical sube y el contenido baja.
  • Al desplazar la rueda del ratón hacia abajo, el ascensor vertical baja y el contenido sube.

Un posible modelo mental del usuario para describir este funcionamiento podría equivaler al de una persona que está parada y que acciona una polea:

  • La vista del usuario -el marco o pantalla- permanece estático.
  • La parte interior de la cuerda -el lienzo- asciende cuando el usuario tira de la cuerda exterior hacia abajo (con lo cual el control del ascensor desciende) y viceversa.

Con la llegada de las pantallas táctiles y de nuevos periféricos de entrada del ordenador tales como el Magic Mouse o el Trackpad de Apple se está consolidando un modelo de interacción basado en gestos que al ejecutarse tienen una respuesta directa y equivalente a la interacción que tenemos con los materiales físicos.

Así, Apple ha decidido cambiar el funcionamiento por defecto de la rueda del ratón invirtiendo el patrón al que estamos acostumbrados.

La confusión desde un punto de vista cognitivo se produce cuando el usuario se encuentra con un control físico -una rueda- y unos controles digitales -un lienzo con el contenido- y una cuerda exterior -el control del ascensor- cuyo funcionamiento debería corresponderse con los de un modelo físico, el del hombre que acciona una polea, pero que sin embargo no se corresponde.

Rueda del ratón - Modelo mental del usuario - Ratón en horizontal

En la figura (a) se puede observar una representación esquemática del funcionamiento actual de la rueda del ratón en un plano horizontal. Al accionar la rueda ésta ejerce tracción sobre el lienzo (contenido) y lo desplaza hacia atrás.

En la figura (b) se observa el cambio de funcionamiento que ha aplicado Apple y la ruptura del modelo físico. La rueda del ratón ya no funciona como una polea sino que el movimiento de la  mano es como si se deslizara desde la rueda al lienzo (contenido) para  empujarlo hacia adelante, de ahí deriva la confusión cognitiva.

 

Rueda del ratón, marco y ojo humano - Modelo mental del usuario - Vertical

En la figura (c) se complementa el modelo mental del funcionamiento actual de la rueda del ratón. El gráfico se gira 90º a la derecha para ponerlo en vertical (al igual que el monitor de un ordenador) y se añade en color naranja, el marco o ventana a través del cual el ojo observa el contenido o lienzo.

En la figura (d) se expone el cambio de modelo que ha aplicado Apple.

 

¿Por qué ha tomado Apple esta decisión entonces?

La respuesta puede ser porque esté pensando prescindir de ahora en adelante de la rueda del ratón (y quizá del ratón mismo) en favor de un modelo de interacción que se ejecute directamente con los dedos sobre una superficie plana como la del Trackpad.

En esta superficie no existen ruedas para desplazar el contenido con lo que no hay confusión posible. La respuesta a la acción que ejecuta la mano es directa: Si los dedos se desplazan sobre la superficie del Trackpad hacia arriba el lienzo con el contenido se desplaza hacia arriba. Igual que en el mundo físico donde si los dedos presionan sobre un folio y ejercen presión hacia el lado de la mesa más alejado del usuario- el folio se desplaza en dicha dirección.

¿Qué es lo que llama la atención y lo que me gusta del vídeo de las interfaces flexibles?

Pues que añaden una affordance extra que hasta ahora no se ha considerado en el mundo digital aportando un indicio cognitivo adicional para mejorar la interacción con las interfaces digitales:

Hasta ahora el lienzo siempre se ha considerado como una superficie rígida. Sin embargo los investigadores del proyecto consideran el lienzo del contenido cómo una superficie flexible que se puede doblar y distorsionar. Justo igual que sucede en el mundo físico dado que en función de la rugosidad de la superficie por la que se desplace el material (por ejemplo un folio), de su adherencia o de cómo lo cojamos, ésta puede presentar mayor o menor resistencia lo que puede suponer que el material se arrugue más o menos.

Esta affordance junto a la supresión del actual modelo de funcionamiento de la rueda del ratón en favor de una interacción a través de una superficie plana como la del Trackpad de Apple, ofrece una respuesta más cercana y consistente a la interacción física que mantenemos con los objetos que nos rodean.

Un pequeño paso más en la evolución hacia una interacción más humana con los ordenadores personales y dispositivos móviles.

En cuanto al otro vídeo, hace alusión a la concepción del teléfono móvil como un dispositivo extensible al que se le pueden añadir todo tipo de complementos para dotarlo de funcionalidades adicionales y a cómo se puede combinar con el software para, literalmente, aumentar nuestra percepción de la realidad: tanto visual, como háptica o sonora.

–O–

NOTA ADICIONAL

Las metáforas y los posibles modelos mentales de usuario que se pueden concebir para describir el funcionamiento de la rueda del ratón y su respuesta en el desplazamiento del contenido de la pantalla son múltiples dado que dependen de diversos factores entre los que se encuentra el punto de referencia que se tome por parte del observador, el movimiento del mismo (si se encuentra parado o no)  si la percepción del objeto que se mueve viene dada por el ojo que sigue con la mirada al objeto, etc. Al respecto, un par de documentos introductorios sobre la percepción psicológica del movimiento:

 

--

 

Paperphone y Snaplet: móviles, ordenadores y dispositivos flexibles

De momento no son más que prototipos pero abren todo un amplio abanico de posibilidades en cuanto a interacción y usabilidad se refiere. Investigadores del Human Media Lab de la Queen’s University de Ontario, Canadá, van a presentar mañana en CHI2011 un prototipo de teléfono móvil flexible al que llaman Paperphone basado en tecnología de tinta electrónica y sensores que detectan la curvatura y presión que se está aplicando sobre un punto de una superficie flexible. Gracias a ello se puede interactuar con el dispositivo mediante dobleces, presión y tacto:

Paperphone - Interacción a través de gestos y curvatura de la superficie flexible

Asimismo han desarrollado un prototipo de ordenador flexible:

Aunque en el artículo del paperphone que van a presentar reconocen que todavía queda mucho trabajo por hacer para alcanzar el grado de usabilidad con el que cuentan actualmente las pantallas rígidas, manifiestan que el futuro pasa por interficies flexibles que nos permitan interactuar de una manera más próxima a la interacción que mantenemos con los documentos de papel (p. 2 del artículo) y que tienen entre otras ventajas el:

  1. Ser muy delgadas y ligeras pero resistentes, lo que permite una portabilidad superior frente a la forma de cualquier ordenador móvil actual.
  2. Tener múltiples formas. Esto facilita diferentes affordances físicos que se relacionan con funcionalidades específicas: leer un periódico responde a un propósito diferente que leer la etiqueta de un producto, e implica un estado físico o forma distinto.
  3. Proporcionar un espacio de pantalla variable real en el que se enmarca el contexto actual de uso.
  4. Tener muchas páginas físicas, cada una de ellas pertenece sólo a una tarea y a un contexto físico delimitado.
  5. Usar gestos físicos con una gran respuesta cinestésica y táctil para una navegación eficiente.

Estos aspectos son algunos de los críticos (además de muchos otros) de los que adolecen los actuales libros electrónicos para su adopción y popularización masivas y esta investigación abre la vía comercial al desarrollo de dispositivos que permitan una interacción háptica más natural con nuestros objetos cotidianos.

Combinando estas investigaciones con las que parece que se están llevando a cabo en otros laboratorios como los de Nokia sobre el desarrollo de superficies capaces de adoptar texturas y formas de acuerdo a la interacción háptica que se mantenga con las mismas, se plantea un futuro de dispositivos ciertamente espectaculares:



Concepto de móvil - reloj de muñeca flexible - Vista del reloj

Concepto de móvil - reloj de muñeca flexible - Vista de funcionalidades

Concepto de móvil - reloj de muñeca flexible - Vista del teclado del móvil

 

¿Tendremos que comenzar a adoptar un enfoque más integral para el Diseño de Interacción e Información y la Experiencia de Usuario?

La respuesta es sí

Podéis descargaros los artículos del Paperphone y del Snaplet y ver la información original de la noticia en la nota de prensa publicada por el Human Media Lab de la Universidad de Queen o de los siguientes enlaces:

--

 

Switch to our mobile site