Medir la eficiencia

Según la definición de la ISO/IEC 9241(*), la usabilidad es la eficacia, eficiencia y satisfacción con la que un producto permite alcanzar objetivos específicos a usuarios específicos en un contexto de uso específico.

Ahora bien, ¿qué es eso de la eficiencia y cómo se mide? Por partes. Por un lado tenemos que entender qué es la “eficiencia”, un palabro técnico que ni siquiera la RAE nos ayuda mucho:

Capacidad de disponer de alguien o de algo para conseguir un efecto determinado.

En el Maria Moliner que nos remiten al concepto de “eficiente”, tampoco muy revelador:

lo que realiza cumplidamente la función a que está destinado: “Una organización eficiente”. Eficaz. Coeficiente, conficiente. (más frec. que “eficaz”) Aplicado a personas, muy *útil en el cargo que desempeña: “Un secretario eficiente”. *Apto, capaz, competente.

El propio estándar ISO 9241 lo define como recursos utilizados en relación a la exactitud y completitud con la cual los usuarios consiguen sus metas.

Para profundizar en el concepto de “eficiencia”, echaremos mano de un artículo de Francisco Parra Luna, “La medida de la eficiencia organizacional y empresarial: un caso de desaprendizaje“, dentro del libro “Desaprendizaje organizativo”.

Un sistema social, en general, será eficiente si -y solo si- cumple con las siguientes condiciones:

  1. Si es eficaz (consigue lo previsto)
  2. Si es ecológico (obtiene una deseable relación insumo/consumo)
  3. Si es efectivo (es aceptado por sus ámbitos sociales como empleados, accionistas, clientes, etc.)
  4. Si está adaptado (presenta al menos parecidos grados de eficiencia, ecología y efectividad que el promedio de los sistemas comparables del entorno).
  5. Si está axiológicamente equilibrado (si la variación entre los niveles alcanzados en los valores es significativamente pequeña).

¿Y esto cómo lo trasladamos esto a nuestro trabajo de usabilistas? El software o el hardware no son más que sistemas sociales y técnicos, por lo que esta serie de requisitos nos va a permitir realizar mediciones cuantitativas:

  1. Eficacia: si el usuario consigue o no realizar la tarea.
  2. Ecología: si el usuario tiene que realizar un millón de clicks para realizar una tarea (en teoría sencilla), no será ecológico.
  3. Efectividad: no vale que el usuario haya realizado la tarea “por casualidad”, tiene que haber sido consciente en todo momento de cómo se hace
  4. Adaptada: si estamos creando un sistema peor que los que ya existen en el mercado, mejor dejarlo.
  5. Equilibrado: si tuviéramos que reflejar las características anteriores en un gráfico de Kiviat, que la figura creada tenga forma circular, no de estrella.

Las puntuaciones que se pueden otorgar a cada factor y el peso final de cada una es una decisión subjetiva: por ejemplo, para la eficacia, tenemos la posibilidad de diseñar la evaluación de varias formas:

  • Binaria: lo consigue (1 punto) o no lo consigue (0 puntos)
  • Flexible: lo consigue él solo (4 puntos); lo consigue consultando la ayuda del programa (3 puntos); lo consigue consultando foros especializados de internet (2 puntos); lo consigue preguntando por messenger a un amigo (1 punto); no lo consigue (0 puntos)

Del mismo modo que el usabilista diseña la evaluación, puede decidir qué peso tiene cada requisito en la ecuación final. En un ejemplo inventado de ecuación de medición de la eficiencia, el usabilista puede considerar más importante la eficacia de un sistema que otros requisitos:

        Eficiencia de un sistema =
                       (Puntos de Eficacia x 3) x
                     [ (Puntos de Ecología) +
                       (Puntos de Efectividad) +
                       (Puntos de Adaptación) +
                       (Puntos de Equilibrio) ]

En la ecuación anterior, no importará tanto ‘matar moscas a cañonazos’, si el usuario consigue finalizar correctamente la tarea. Evidentemente esta ecuación puede cambiar según el diseño de la investigación que hagamos, y ahí es donde tiene que pensar el usabilista qué factores hay que dar más protagonismo o si hay que igualarlos. Lo importante es que, se escoja la ecuación que se escoja, sea razonada, razonable e igual para la evaluación de los diferentes sistemas, lo cual nos permitirá ser objetivos (hasta cierto punto) y, sobre todo, nos permitirá comparar cuantitativamente sistemas.


(*) La otra definición de la ISO para usabilidad es la 9126 “La usabilidad se refiere a la capacidad de un software de ser comprendido, aprendido, usado y ser atractivo para el usuario, en condiciones específicas de uso”

jordisan
4/07/2008

Olga,
quizás habría que dejar claro que este tipo de medidas numéricas hay que ponerlas entre muchas comillas cuando se trata de TESTS DE USABILIDAD, en los que las muestras son muy pequeñas (¿5-10 usuarios?) como para que tengan verdadero valor estadístico.

De todas formas, me parece excelente tu propuesta para asignar un valor numérico y “objetivizar” la medida de eficiencia del sistema.