João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 1
Testes de Usabilidade
“Não é o que considera sobre o seu sítio que conta, mas sim o que os utilizadores pensam dele.”
— Jakob Nielsen (adaptado)
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 2
O que são?
• São testes que avaliam o desempenho de um produto quando utilizado pelos utilizadores ao qual este se destina.
• São testes laboratoriais realizados em condições controladas similares àquelas nas quais o produto se irá utilizar.
• Testam a primeira utilização de uma nova funcionalidade do produto.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 3
Para que servem?
• Permitem obter uma avaliação quantitiva do desempenho do sistema. Conhecer:– O tempo de execução médio de cada tarefa.– A percentagem de utilizadores que completaram, com
sucesso, cada tarefa.– O número de vezes que o utilizador recorreu à
documentação para cada tarefa.– O número e tipo (observações e comentários, não-
críticos e críticos) de erros.(...)
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 4
Para que servem?
• Permitem obter uma avaliação qualitativa do sistema – opinião dos utilizadores sobre:– Informação dos ecrãs.– Terminologia e informação do sistema.– Aprendizagem.– Capacidades do sistema.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 5
Quando se fazem?[Rubin, 1994]
• Na fase inicial de projecto: para estabelecer a intuitividade da implementação – teste exploratório.
• Na fase inicial e durante a fase de desenvolvimento: para medir a efectividade da implementação – teste de avaliação.
• Na fase próxima do lançamento: para verificar que o produto corresponde ou excede as expectativas e como é que o produto se comporta como um todo – teste de validação.
• A qualquer instante: para comparar o desempenho do sistema antes e depois de determinada alteração – teste comparativo.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 6
Como proceder?
• Definir o público-alvo e os seus objectivos.– Quem vai utilizar o produto e o que pretende do mesmo?
• Definir tarefas com base nesses objectivos.– As tarefas são cenários típicos de utilização do produto pelo
público-alvo.
• Encontrar as pessoas adequadas.– Devem corresponder ao perfil do público-alvo ou aproximar-se o
mais possível.
• Observá-las a executar as tarefas.– Tentar compreender o modelo mental dos utilizadores para que
o produto os satisfaça. Deve-se pedir ao utilizador que vá dizendo o que pensa à medida que utiliza o produto.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 7
Um caso prático
• Avaliar a usabilidade de um sistema de Banca na Internet. Realizar um pré-teste para melhorar o teste real.
• Será que as pessoas com mais receptividade para a tecnologia têm mais facilidade em utilizar a Banca na Internet?
• Quais são os melhoramentos a introduzir na Banca na Internet para que esta possa ser utilizada por pessoas com menos aptidão tecnológica?
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 8
Público-alvo e objectivos
• Constituído por alunos universitários que tenham ingressado este ano no ensino superior.
• Devem fazer algum uso da Internet.• Não devem conhecer a Banca na Internet do
banco em questão.
• Os utilizadores pretendem consultar informações sobre o banco e produtos disponibilizados.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 9
Tarefas
• Obtenção de informações sobre empréstimo para suportar os custos da educação.
• Saber qual a taxa de câmbio para uma moeda estrangeira.
• Determinar as condições para a aquisição de habitação própria.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 10
Selecção de utilizadores (1ª fase)
• Encontrar um grupo numeroso de pessoas que se encaixem no perfil demográfico. Neste caso são alunos universitários que ingressaram este ano no ensino superior.
• Distribuir um questionário a estes utilizadores para determinar:– Receptividade a novas tecnologias.
• Uso de uma escala já testada (Technology Readiness Index —TRI, [Parasuraman, 2000]) que avalia 4 dimensões: Optimismo, Capacidade de inovação, Desconforto e Insegurança.
– Utilização de novas tecnologias (Internet e Banca na Internet).– Informações demográficas detalhadas.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 11
Selecção de utilizadores (2ª fase)
• Ordenar os utilizadores pelo seu índice de receptividade a novas tecnologias (TRI).
• Eliminar outlyers.• Definir três grupos de alguns candidatos com índices
baixos, médios e altos.• De cada grupo escolher dois utilizadores (um
participante e outro suplente) cujo índice reflicta a utilização que faz das novas tecnologias.
• Para o pré-teste escolher dois utilizadores (um participante e um suplente) do grupo com índices médios.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 12
TRI dos candidatos
-19 -18 -17 -16 -16 -15 -14-11
-3 -3 -3-1
24 5
7
11 12 1315
21
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 13
Reunião com os utilizadores
• Depois de escolhidos convocam-se telefonicamente os utilizadores para uma reunião onde se irá explicar:– Os documentos que irão assinar no dia do teste.– Que as acções que executam sobre o produto irão
ser registadas e observadas por um painel de observadores.
– Quais as regras de funcionamento do teste.
• Deve também informar os utilizadores da data e hora de realização do teste.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 14
O teste (para o utilizador)
• Autorização de participação• Acordo de confidencialidade (preenchido por todos os
intervenientes no teste)
• Execução das tarefas
• Entrevista final (foca pontos dúbios da utilização que fez do produto)
• Questionário para avaliação de satisfação ([Chin et al, 1988]) onde o utilizador pode descrever até três aspectos negativos e três positivos.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 15
Cenário físico
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 16
O teste (para o monitor)
• O monitor permanece com o utilizador numa sala e observa o seu comportamento. Deve pedir ao utilizador para verbalizar os seus pensamentos sobre o produto.
• Deve dialogar com o utilizador sem lhe colocar perguntas fechadas (“Considera (in)seguro?” vs “O que pensa da segurança?”).
• Não deve mostrar muito conhecimento sobre o produto.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 17
O teste (para o observador)
• O observador permanece noutra sala que deve estar isolada visual e acusticamente da sala onde decorre o teste.
• O observador regista os dados objectivos da utilização, permitindo assim que o monitor se concentre no diálogo com o utilizador.
• Vários observadores e um monitor.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade 18
Resultados
• Análise demográfica dos participantes• Análise da execução das tarefas• Análise dos questionários de avaliação de
satisfação• Comentários relevantes dos utilizadores durante
o teste
• Recomendações baseadas nos pontos anteriores