+ All Categories
Home > Mobile > Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Date post: 28-Nov-2014
Category:
Upload: ivan-pretel
View: 1,564 times
Download: 0 times
Share this document with a friend
Description:
Dentro del campo de la investigación en usabilidad, los dispositivos móviles han cobrado especial fuerza. Este tipo de dispositivos han mejorado sus propiedades exponencialmente dotándose de capacidades de trabajo dignas de un ordenador personal y de pequeños sensores que enriquecen las aplicaciones. Por el contrario, el desarrollo del campo de usabilidad para este tipo de aplicaciones y dispositivos no ha avanzado a un nivel acorde. Aunque existen varios estándares y metodologías de evaluación, no existe una herramienta de evaluación remota específica para entornos de contextos dinámicos, muy característicos de este tipo de dispositivos. Por ello, se expone mediante este trabajo una plataforma de evaluación remota que registra las propiedades del contexto en uso mediante el mismo dispositivo. Asimismo se presenta una evaluación preliminar realizada con una aplicación móvil híbrida real donde se estudia el bajo nivel de influencia de la plataforma dentro de la interacción.
35
1/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales DeustoTech - Deusto Institute of Technology, University of Deusto http://www.morelab.deusto.es 18 de junio de 2014 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales Ivan Pretel, Ana B. Lago
Transcript
Page 1: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

1/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

DeustoTech - Deusto Institute of Technology, University of Deusto

http://www.morelab.deusto.es

18 de junio de 2014

Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Ivan Pretel, Ana B. Lago

Page 2: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

2/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Motivación

Aplicaciones móviles y su evaluación

Plataforma de evaluación remota de aplicaciones híbridas

Validación

Conclusión

Page 3: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

3/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Motivación

Aplicaciones móviles y su evaluación

Plataforma de evaluación remota de aplicaciones híbridas

Validación

Conclusión

Page 4: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

4/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Page 5: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

5/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Motivación (I)

► Gran demanda en el desarrollo de aplicaciones de movilidad

► Heterogeneidad dentro de las plataformas existentes

► Nuevos lenguajes y estándares

► Cambio en el desarrollo de aplicaciones móviles

► Aparición de la aplicación web móvil e híbrida

Motivación

Page 6: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

6/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Motivación (II)

► Usabilidad móvil

► Gran salto del contexto típico de escritorio a cualquier tipo de entorno

► Limitaciones

►Aunque existan varios estándares relacionados como ISO 9241-11 o ISO 9126-4 no ofrecen pautas específicas para el contexto dinámico, característico de las aplicaciones móviles

►Las herramientas existentes capturan propiedades estáticas del contexto en uso como las tareas a realizar, propiedades del usuario y la aplicación…

Motivación

Page 7: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

7/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Page 8: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

8/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Motivación

Aplicaciones móviles y su evaluación

Plataforma de evaluación remota de aplicaciones híbridas

Validación

Conclusión

Page 9: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

9/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Aplicaciones móviles y su evaluación – Tipos (I)

► Aplicaciones nativas ►Residen en el dispositivo

►Acceso mediante invocación dentro del terminal

►El acceso al hardware (altavoces, acelerómetro, GPS, llamadas,…) del dispositivo es posible

►Portabilidad:

– Se desarrollan íntegramente en un entorno de desarrollo específico

– Son desarrolladas para una plataforma concreta

… …

Page 10: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

10/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Aplicaciones móviles y su evaluación - Tipos (II)

► Aplicaciones web móviles ►Sitios web con “Look and Feel” nativo

►Acceso mediante navegador web móvil

►El acceso al hardware muy limitado.

►Portabilidad:

– Son desarrolladas en HTML y JavaScript

– Son desarrolladas para cualquier plataforma

Page 11: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

11/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Aplicaciones móviles y su evaluación - Tipos (III)

► Aplicaciones híbridas ►Diseñadas para abarcar la portabilidad de las aplicaciones

web y el amplio acceso de las nativas

►Reduce el coste y soporta múltiples plataformas

►Aplicaciones ricas

Page 12: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

12/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Aplicaciones móviles y su evaluación - Evaluación(I)

► Evaluación con usuarios (Clasificación de método en función del contexto)

► Laboratorio

►Se recopila información de la interacción con entornos controlados, con usuarios específicos y dispositivos concretos

►Variables de contexto limitadas

►Alto control sobre las variables

►Objetividad muy baja ya que el usuario es consciente de que está siendo grabado

Page 13: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

13/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Aplicaciones móviles y su evaluación - Evaluación(II)

► Evaluación con usuarios (Clasificación de método en función del contexto)

► Entornos reales

►Se recopila información de la interacción con agentes de captura y utilizando métodos invasivos

►Variables ilimitadas

►No hay casi control sobre las variables de contexto

►Objetividad dependiendo del método y los agentes de captura añadidos

– Observadores que siguen al usuario

– Cámaras añadidas al dispositivo o al usuario

Page 14: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

14/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Aplicaciones móviles y su evaluación - Evaluación(III)

► Evaluación remota en entornos reales

► Factores de contexto según Maguire*

►Usuario

– Conocimiento, la habilidad, la experiencia, la educación, la formación, los atributos físicos y las capacidades sensoriales.

►Tarea

– Las actividades realizadas para lograr el objetivo que se busca al utilizar el software.

►Entorno

– Tres subtipos

» El entorno físico

» El entorno técnico

» El entorno social

* www.usertesting.com * www.userlytics.com * www.loop11.com * www.whatusersdo.com * M. Maguire, “Context of use within usability activities”, International Journal of Human-Computer Studies, vol. 55, no 4, 2001, pp. 453–48

Herramientas Usuario Tarea Entorno

UserTesting* Sí Sí Pocos parám.

Userlytics* Sí Sí Pocos parám.

Loop11* Sí Sí Pocos parám.

WhatUsersDo* Sí Sí Pocos parám.

Page 15: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

15/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Page 16: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

16/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Motivación

Aplicaciones móviles y su evaluación

Plataforma de evaluación remota de aplicaciones híbridas

Validación

Conclusión

Page 17: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

17/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Plataforma de evaluación remota de aplicaciones híbridas - Diseño

► Diseño

► Se toma como base el modelo mostrado por las herramientas de evaluación remota existentes:

►Plataforma web donde se registran los usuarios y realizar las pruebas

► Extensión de la captura de elementos añadiendo variables del entorno

► Tecnologías

►Android

►PhoneGap

– Gran popularidad

– Arquitectura basada en plugins

Page 18: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

18/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Plataforma de evaluación remota de aplicaciones híbridas – Arquitectura (I)

► Aplicación móvil híbrida ► Dentro del código Javascript se ha

creado un fichero remotetooleval.js con el que se hacen llamadas a CordovaPlugin.

► Éste a su vez llama a las funciones de captura del Proxy de captura que genera mensajes de sistema y los envía al servicio de captura

Page 19: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

19/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Plataforma de evaluación remota de aplicaciones híbridas – Arquitectura (II)

► Servicio de captura ► Recibe los mensajes generados

por el plugin de PhoneGap.

► En función del mensaje recibido se pone en funcionamiento, se para o registra los diferentes eventos de interacción.

► Captura, almacena y envía al servidor las variables dinámicas que conforman el factor entorno dentro del contexto en uso (nivel de ruido, luminosidad, nivel de carga de la batería, cobertura…) junto con la interacción.

Page 20: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

20/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Plataforma de evaluación remota de aplicaciones híbridas – Arquitectura (III)

► Servidor ► Los usuarios de prueba pueden

descargarse el servicio de captura y darse de alta.

► Los desarrolladores pueden registrarse, subir aplicaciones y descargar los datos de las pruebas generadas por los usuarios.

Page 21: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

21/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Plataforma de evaluación remota de aplicaciones híbridas - Metodología

► Metodología de evaluación

► Dos roles: desarrollador y usuario de pruebas

Desarrollo Aplicación Híbrida

Adición de plugin

Definición de tareas

Registro de Aplicación Híbrida en la plataforma

Visualización Resultados

Descarga e Instalación servicio de

captura

Registro en la plataforma

Descarga de Aplicación

Híbrida

Ejecución de las tareas

Subida de información

Usuario

Entorno técnico

Entorno social

Tareas

Entorno físico

Entorno técnico

Page 22: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

22/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Motivación

Aplicaciones móviles y su evaluación

Plataforma de evaluación remota de aplicaciones híbridas

Validación

Conclusión

Page 23: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

23/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Page 24: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

24/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Validación

► Hipótesis ► Mediante la plataforma de evaluación remota de aplicaciones

híbridas expuesta en este trabajo se puede obtener factores de contexto en uso dinámicos con un sesgo mínimo en la interacción

► ¿Qué elementos del contexto pueden ser afectados y sesgar la interacción? ► Usuario: es consciente de que se le está monitorizando

► Dispositivo: se limitan sus recursos al ejecutar el código de captura de interacción

► ¿En qué medida?

Page 25: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

25/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Validación – Experimento (I)

► Diseño

► Aplicación real open source

►Fresh Food Finder

►Modificación de su código fuente para añadir el plugin

►2 versiones (una monitoriza y otra no)

► Aplicación lanzadera

►Lanza las dos versiones de un modo que el usuario no sabe cuál de las dos está ejecutándose

► Medición

►Diferencia de tiempos entre tareas con y sin interacción monitorizada(TA – TB ≈ 0)

►Si el sujeto puede ser consciente de que está siendo monitorizado

* http://www.tricedesigns.com/fresh-food-finder/

Page 26: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

26/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Validación – Experimento (II)

► Protocolo ► 1. Se explica a los participantes el

funcionamiento de la aplicación y se deja que realicen las tareas 3 veces con el objetivo de eliminar el efecto aprendizaje

► 2. Los usuarios realizan las 3 tareas en 2 bloques y se repite con un segundo dispositivo

► 3. Al finalizar las pruebas se explica al usuario que uno de los bloques disponía de un servicio que capturaba la interacción

► 4. Se pregunta al usuario si es capaz de deducir qué bloque de tareas estaba monitorizando la interacción y el grado de seguridad de la respuesta

► 5. Se pide permiso para utilizar los datos capturados sin mostrar ningún dato personal

* http://www.tricedesigns.com/fresh-food-finder/

Page 27: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

27/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Page 28: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

28/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Validación – Resultados (I)

► Influencia subjetiva

► El 100% de los sujetos del experimento no han notado influencia

►Han respondido a la pregunta de “¿Con qué grado de seguridad dirías que el bloque de tareas A ha monitorizado tu interacción?” con menos de un 30%

► Dentro de los comentarios hechos por los sujetos destaca la apreciación de una ligera ralentización a la hora de arrancar las aplicaciones.

►Este hecho no era originado por la plataforma de captura ya que se manifestaba en ambas versiones.

Page 29: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

29/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Validación – Resultados (II)

► Medidas objetivas ► La diferencia de tiempos entre las versiones a la hora de realizar

las tareas. – Tiempo de versión con captura - Tiempo de versión sin captura

– TA – TB ≈ 0

► Smartphone: + 0,22 segundos

► Tablet: + 0,8 segundos

► Siendo las medias positivas en ambos casos se distingue ralentización pero no apreciable por el sujeto

Page 30: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

30/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Motivación

Aplicaciones móviles y su evaluación

Plataforma de evaluación remota de aplicaciones híbridas

Validación

Conclusión

Page 31: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

31/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Conclusiones

► Es posible complementar la captura de los factores dinámicos del contexto utilizando el propio terminal móvil.

► Se ha demostrado mediante la evaluación de una aplicación real la viabilidad de dicha aproximación

► Habiendo medido el nivel en el que la misma puede afectar

►Nivel objetivo (los sujetos no han sido capaces de percibir la plataforma)

►Nivel subjetivo (midiendo el desvío en tiempos de tarea)

Page 32: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

32/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Trabajo futuro

► Expandir el cálculo de métricas a las relacionadas con la satisfacción mediante cuestionarios remotos

► También se propone la realización de un nuevo experimento mucho más exhaustivo y estadísticamente significativo (aumentado el número de sujetos)

► Estudiar las correlaciones entre las propiedades del entorno y las métricas de evaluación

Page 33: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

33/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Muchas gracias por su atención

Page 34: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

34/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

DeustoTech - Deusto Institute of Technology, University of Deusto

http://www.morelab.deusto.es

Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Iván Pretel

{[email protected]}

Page 35: Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

35/35 Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

All rights of images are reserved by the original owners*, the rest of the content is licensed under a

Creative Commons by-sa 3.0 license.

* • https://www.flickr.com/photos/jasonahowie/7910370882 • https://www.flickr.com/photos/osamukaneko/9142476993 • https://www.iconfinder.com/iconsets/rcons-social • https://www.flickr.com/photos/kwl/4247555680 • https://www.flickr.com/photos/yparis/5494795444 • https://www.flickr.com/photos/halfrain/5690273284


Recommended