Actividad 8: Evaluando Sistemas Ubicuos

Laboratorio de Cómputo Ubicuo
Actividad 8

Nombre del documento:
Evaluating Ubiquitous Systems with Users

Autores:
Christian Kray, Lars Bo Larsen, Patrick Olivier, Margit Biemans, Mirko Fetter, Tim Jay, Vassilis-Javed Khan, Gerhard Leitner, Ingrid, Thomas Plotz, and Irene Lopez de Vallejo

Enlace:
http://patrec.cs.tu-dortmund.de/pubs/papers/Kray2008-EUS

Introducción

Un número significativo de sistemas ubicuos se han construido para soportar las tareas de la vida diaria de los usuarios. Estas aplicaciones cubren una amplia gama de escenarios, incluidas las aplicaciones para la seguridad, el apoyo personalizado en el lugar de trabajo y las aplicaciones relacionadas con el ocio. Los usuarios interactúan con estos sistemas a través de los medios implícitas o explícitas, por ejemplo el uso de un dispositivo con pantalla táctil o el puro movimiento del cuerpo. Al mismo tiempo, muchas aplicaciones ambientales hacen uso de sensores para recopilar información sobre el contexto en el que estas interacciones tienen lugar, y el comportamiento del sistema puede cambiar dependiendo de factores contextuales. Todo esto se suma a una situación bastante compleja, que plantea nuevos retos para la evaluación, lo que podría empujar los límites de los métodos de evaluación tradicionales y la apertura de oportunidades para nuevos enfoques.

http://ciudadesinteligentes.smartmatic.com/wp-content/uploads/2012/06/sistemas-domoticos.jpg

El objetivo es discutir el estado actual de las técnicas de evaluación de los sistemas ubicuos con usuarios reales, para identificar deficiencias y beneficios de los métodos de evaluación tradicionales y explorar nuevos enfoques.

En este documento, en primer lugar se tiene un breve resumen de los enfoques existentes para la evaluación antes de discutir varios temas y preguntas de investigación que surgen de la evaluación de la computación ubicua y después se tratan pruebas actuales para aplicar los diferentes métodos en el contexto de computación ubicua.

Enfoques actuales para la evaluación

En principio, casi cualquier técnica de evaluación utilizado en la Interacción Humano-Computadora (IHC) también se puede aplicar para evaluar los sistemas ubicuos. Sin embargo, una parte significativa de la tecnología ubicua está destinado a tejerse invisible en la vida de los usuarios, por lo tanto las tareas de los usuarios y sus interacciones con un sistema son definidas menos claramente que en la configuración tradicional. Por esta razón, no siempre es sencillo de aplicar las técnicas que son ampliamente utilizados en IHC (por ejemplo, los métodos basados ​​en la ejecución de tareas). Lo mismo puede decirse de algunos parámetros utilizados en IHC, tales como el tiempo de finalización de la tarea y la tasa de error.

https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjO8Mb_PNl0ew3kyypg71BDlzzk-S3_j4uSJPW7SHtWIXlXXsEmSWpvLEwyE6eBlniyyLJs4TGBf7Lnr5IgqQXbS7z62yRLKTmPStFjNOR4DFQbNMyagxmGAe3TDOkBJEYJHGCNYL4m_fI/s1600/Interacci%C3%B3n-persona-computador.png

Preece identifica cuatro paradigmas principales en los sistemas con los usuarios de la evaluación. Evaluaciones rápidas y sucias (Quick and Dirty) tienen el beneficio de entregar resultados rápidos y baratos, y son utilizados por muchos de los proyectos en la fase de análisis de requisitos. Las pruebas de usabilidad suelen tener lugar en un laboratorio, donde los puntajes de desempeño del usuario, tales como el tiempo de finalización de la tarea o las tasas de error se pueden medir fácilmente. Los estudios de campo tienen como objetivo la recopilación de datos en un entorno natural. Se ha producido un intenso debate sobre el valor de estudios en campo en comparación con los estudios de laboratorio. Técnicas predictivas utilizan expertos, heurística y modelos para evaluar los sistemas de usuario sin incorporar usuarios.

Algunos autores consideran que es necesario recabar información sobre cómo se utilizan los sistemas ubicuos en el mundo real. Otros creen que en muchos casos el esfuerzo asociado no está justificando las ideas adicionales adquiridas. Los estudios de campo pueden variar considerablemente en cuanto a su duración. Mientras que algunos estudios se llevan a cabo en un solo día o una semana, algunos proyectos van tan lejos como permitiendo a los usuarios viven con la tecnología durante meses o incluso años para obtener información sobre los efectos a largo plazo de la tecnología. Técnicas predictivas utilizan expertos y modelos para evaluar los sistemas de usuario sin incorporar usuarios.

Las evaluaciones formativas se emplean durante las iteraciones de diseño para conformar el diseño. Evaluaciones sumativas se utilizan después de la fase de diseño tiene y sirven para comparar el sistema con otros sistemas o un conjunto de objetivos predeterminados. Técnicas introspectivas piden al usuario pensar, mientras que las técnicas de observación se encargan de mirar el comportamiento real de los usuarios.

Las técnicas cualitativas recogen datos para describir el comportamiento, establecer escenarios de uso o construir categorías, mientras que las técnicas cuantitativas se reúnen datos para el análisis de datos estadísticos. En estudios a corto plazo se ven los efectos inmediatos que tiene un sistema sobre sus usuarios, mientras que los estudios a largo plazo apuntan a identificar los efectos que sólo se producen después de meses o incluso años de uso. En la aplicación de cualquiera de estas técnicas, el grado de sofisticación o fidelidad del sistema puede variar ampliamente. A veces, sólo se evalúa el comportamiento del usuario sin ningún prototipo. La mayoría de las veces, una creación de instancias de un sistema omnipresente es parte de la evaluación, y puede tomar la forma de un prototipo basado en papel, maquetas de interfaz, o parcialmente prototipos funcionales.

Otra forma de clasificar las técnicas de evaluación es de acuerdo a la manera en la que los usuarios participan, por ejemplo si están siendo observados, si los usuarios y expertos se están entrevistando directamente, si se ponen en un laboratorio de usabilidad, o son creados usando un modelo de usuario. La observación directa a menudo emplea técnicas de la etnografía. La información puede ser mantenida con un cuaderno y una cámara fotográfica, con la grabación de audio y una cámara de fotos, o el uso de vídeo. Observaciones indirectas pueden utilizar diarios, libros de visitas, los registros de interacción o en los registros de diversos sensores. Los sistemas que tienen la intención de cambiar el comportamiento del usuario se puede evaluar midiendo el comportamiento del usuario antes y después de usar el sistema. Del mismo modo, se puede observar el cambio del medio ambiente en todo el sistema.

Las formas más comunes para reunir directamente retroalimentación de los usuarios son los cuestionarios y entrevistas. Las entrevistas pueden ser estructuradas (es decir, que siguen un rígido procedimiento), o no estructuradas. Las entrevistas semiestructuradas a menudo comienzan con preguntas preplaneadas, para luego sondear el entrevistado para más información. Los grupos focales se usan ampliamente para permitir a los usuarios de diferentes grupos para ver la interacción de uno al otro. Los cuestionarios en línea tienen el potencial de llegar a un gran número de usuarios, pero es más difícil de controlar la muestra.

http://labolsadetrabajo.com.mx/wp-content/blogs.dir/5/files/2011/09/Tipos-de-entrevista.jpg

Problemas y preguntas de investigación

Ciertamente hay un gran número de opciones disponibles para evaluar un sistema ubicuo, no es necesariamente claro qué técnica es la más adecuada para un sistema o contexto de uso particular. Además, no es obvio si un técnica se puede aplicar de inmediato o si necesita ser adaptado para dar cabida a las propiedades específicas de computación ubicua.

Fuentes de datos para la evaluación

En términos generales, la evaluación de los sistemas ubicuos requiere a menudo el análisis de múltiples fuentes de datos. Los resultados individuales deben integrarse para incluir tanto los aspectos técnicos y los factores sociopsicológicos. El objetivo fundamental de este proceso de integración es evaluar plenamente el rendimiento de un sistema en todas partes con respecto a la satisfacción general del usuario y el rendimiento "técnico" del sistema.

Mientras que la gran cantidad de datos que se reunieron puede ser beneficioso en términos de obtener una imagen más clara del contexto y en relación con la evaluación detallada de un sistema, también hay algunas desventajas y otras repercusiones. Los datos obtenidos pueden incluir datos potencialmente sensibles con respecto a la seguridad y la privacidad de las personas o lugares. Es por lo tanto responsabilidad de los investigadores recoger la información para asegurarse de que los datos se manipulan de forma adecuada. Por otra parte, existe el peligro de que el volumen de datos es tan grande que la extracción de información significativa puede llegar a ser muy lento.

Comparabilidad

La comparabilidad de las evaluaciones es muy importante, sin embargo algo problemático. El propósito de la evaluación es informar el desarrollo de aplicaciones y sistemas en el futuro. Sistemas posteriores deben ser mejores que los que sustituyen. Ese término "mejor" causa problemas porque implica mensurabilidad. La evaluación de los dos sistemas debe permitirnos decir que un sistema sea mejor que otro, de acuerdo con un conjunto de objetivos.

El problema de comparar dos sistemas de computación ubicua puede ser significativamente más difícil que en otros dominios. Esto es en parte debido al carácter imprevisible de los factores contextuales y su impacto en la repetición, que es un requisito previo para la investigación rigurosa y la comparación de los sistemas entre sí. Por ejemplo, si bien puede ser bastante fácil de medir si la compra de un libro con un sitio web es más rápido que con cualquier otro sitio web, pero la comparación de dos sistemas ubicuos que prestan apoyo a la navegación adaptativa según el contexto puede ser más difícil.

La combinación de métodos cuantitativos y cualitativos

Para entender mejor el uso de sistemas ubicuos y evaluar rigurosamente su beneficios y costos propuestos, es necesaria una combinación de métodos cualitativos y cuantitativos. Dado que estos sistemas están todavía en el desarrollo de métodos cualitativos se deben implementar primero para evaluar la forma en que las personas interactúan y se adaptan a sus vidas tales sistemas. Entonces, cuando se establece una idea más clara del contexto y el beneficio propuesto, se requieren métodos cuantitativos para evaluar rigurosamente ese beneficio propuesto. De esta manera su potencial puede ser generalizada.

http://sphotos-b.ak.fbcdn.net/hphotos-ak-snc6/202482_395768260485412_1227728129_o.jpg

Conclusión

EL desarrollo de sistemas ubicuos es una tendencia muy reciente por lo que no existen muchas pruebas de usabilidad creadas específicamente para este tipo de ambientes donde el usuario no tiene una intervención directa con el sistema, pero se ha logrado adecuar pruebas de usabilidad que normalmente se usan en la evaluación de otro tipo de software.

Muchas de las pruebas suelen ser de alguna forma "genéricas" como en el caso de las encuestas y entrevistas, donde lo importante en realidad es en que forma se realizan las preguntas ya que deben estar orientadas para que el usuario que las conteste provea de información relevante a los desarrolladores para que ellos puedan tomar decisiones conforme a los resultados obtenidos.

Y como se mencionó entre las nuevas metodologías de evaluación existen aquellas donde la intervención directa de un usuario con el prototipo o producto final no es necesaria, como en la llamada "hombre detrás del telón" y aquella donde se requiere de algo de experiencia por parte del evaluador como en la evaluación heurística.