A Model for Usability
Evaluation
Web Interfaces
• Teste de usabilidade (envolvem profissionais de
Resumo — A investigação aqui descrita explora a avaliação da usabilidade e utilizadores), e.g., teste ou observação directa,
usabilidade de interfaces de sítios Web sustentada nos inquérito, entrevistas, entre outros.
fundamentos da IHC e apresenta um novo metamodelo universal
de avaliação da usabilidade, designado por UsaWeb, aplicável a Os métodos de inspecção avaliam o código fonte ou o
qualquer interface Web, sendo uma proposta completa e desenho da interface o que não garante a usabilidade do sistema.
coerente que representa um novo paradigma de avaliação da Os métodos de teste ao utilizador procuram compreender o
usabilidade de interfaces Web. comportamento do utilizador face à interface, mas não garantem
que o desenho corresponda a regras de usabilidade há muito
Palavras Chave - Interfaces; Sítios Web Dinâmicos; Usabilidade; estabelecidas.
IHC; métodos de avaliação de usabilidade; testes com usuários,
questionários, Avaliação Heurística. Naturalmente surgiu a questão da aplicabilidade dos
métodos: existirá algum método de avaliação, ou combinação de
Abstract — This research project describes the usability métodos, que avalie a usabilidade de qualquer interface Web?
evaluation of Website interfaces based on the foundations of Não encontrámos, na literatura, nenhum método ou combinação
HCI, and presents a new universal metamodel for usability de métodos aplicável a qualquer caso sem que fosse necessário
assessment called UsaWeb applicable to any Web Interface.
Being a complete and coherent proposal this represents a new
algum tipo de adaptação.
paradigm in the usability field. Nesta investigação procurámos equilibrar os diferentes
métodos e criar uma nova metodologia, genérica, que garanta
Keywords - Interfaces; Dynamic WebSites; Usability; IHCI, eficácia na sua aplicação e adequação ao diagnóstico de
Usability Assessment Methods; Users Tests, Questionnaires, problemas de usabilidade com o modelo UsaWeb.
Heuristic Assessment.
A análise realizada da história da usabilidade [5, 6, 7, 8, 9,
I. INTRODUÇÃO 10, 5] levou a concluir ser necessário, oportuno e pertinente a
A questão-chave em Interacção Humano-Computador criação de um modelo, com base numa nova metodologia capaz
(IHC) é melhorar a usabilidade de sistemas interactivos para de sintetizar os métodos e técnicas mais relevantes existentes na
que sejam eficazes, eficientes e de fácil utilização [1]). literatura desta área científica da IHC.
A avaliação da usabilidade (AU) mede aspectos de Na validação deste modelo adoptou-se o estudo de caso de
usabilidade na interface de um sistema, identificando um sítio Web de uma secretaria em uso numa instituição de
problemas específicos na interface [2,3]. A AU é uma ensino superior numa comunidade de cerca de 4000 pessoas.
actividade importante no processo de desenho global de uma Como a secretaria e o sítio Web se encontravam em pleno
interface, que consiste em ciclos de desenho, prototipagem e funcionamento, inspirados na tabela de Dubey, S. (c.f. [12]) que
avaliação. Além disso a AU é em si um processo que requer estabelece uma comparação dos métodos de avaliação de
várias actividades. usabilidade mais comuns e a sua aplicabilidade, considerou-se a
A avaliação da usabilidade (AU) de interfaces Web é uma utilização quer dos métodos de inspecção quer dos métodos de
área que começou a dar os primeiros passos há cerca de duas teste de usabilidade. Os estudos de Andrews, K. (c.f. [4]) foram
décadas e meia e que conduz a sistemas interactivos mais também uma fonte importante na escolha dos métodos e técnicas
usáveis. mais adequadas a esta metodologia.
Os métodos de avaliação da usabilidade são Os métodos foram seleccionados de acordo com os
consensualmente divididos em dois grupos [4]: objectivos do projecto: detectar problemas de usabilidade e
apresentar propostas de soluções.
• Métodos de inspecção (envolvem profissionais de
usabilidade), e.g., inspecção, modelação analítica, Nas próximas secções é descrita a metodologia geral de
simulação, entre outros. avaliação de interfaces, que inclui a descrição de cada uma das
técnicas e métodos de avaliação considerados e que foram
posteriormente validados num estudo de caso.
, II. METODOLOGIA GERAL DE AVALIAÇÃO DE INTERFACES. De um modo esquemático a arquitectura do UsaWeb
USAWEB apresenta-se no diagrama descrito na figura 1. Verifica-se que o
UsaWeb se estrutura em etapas e progride no tempo até à
apreciação ou relatório final da usabilidade do sítio Web em
Os gestores de sítios Web têm a preocupação de obter um estudo. Há um conjunto de cinco fases (avaliação preliminar,
grau de usabilidade que fidelize os utilizadores e nesse sentido entrevistas, teste de usabilidade, questionário e a avaliação
os trabalhos científicos nesta área concentram-se em heurística), descritas na secção anterior, que tipicamente
desenvolver metodologias dirigidas especificamente às evoluem de uma análise, passando pelo desenho,
interfaces Web. desenvolvimento, avaliação e síntese ou conclusões que
O grau de usabilidade de uma aplicação Web é crucial. Um culminam na apreciação ou relatório final
elevado grau de usabilidade transmite a ideia de que os B. A Estrutura do Modelo UsaWeb
utilizadores realizam as suas tarefas com facilidade, rapidez e A figura 1 apresenta a arquitectura do Modelo UsaWeb.
satisfação. Um estudo que avalie a usabilidade conseguirá assim Desde logo é evidente que se trata de uma metodologia muito
resultados mais sólidos se, entre outras técnicas, incluir a completa e aplicável a qualquer caso. Os seus resultados são
avaliação do desempenho (e.g., teste de usabilidade), do mais evidentes em casos muito complexos ou “críticos” i.e., que
conforto (e.g., questionário ou entrevistas) e da facilidade de não podem falhar.
acesso à informação (e.g., teste de acessibilidade) pelos seus
utilizadores durante a interacção com a interface Web. Para melhor se entender o que envolve a aplicação do
UsaWeb, pormenorizam-se a seguir os diferentes passos da sua
Por outro lado, a avaliação do desenho da interface, através aplicação ao estudo de usabilidade de um sítio Web.
da verificação do grau de conformidade com directivas
reconhecidas pela comunidade científica, é um complemento de A metodologia geral de avaliação de interfaces, UsaWeb,
grande importância na detecção de áreas menos usáveis. Esta envolve a aplicação das fases esquematizadas no diagrama
técnica tem a grande vantagem de não necessitar de utilizadores, ilustrado pela figura 1 e adiante descritas.
podendo ser feita unicamente por especialistas na área.
É grande a variedade de métodos e técnicas de avaliação de UsaWeb. Um Estudo da Usabilidade de Um Sítio Web
usabilidade. Decidiu-se, por isso, criar um metamodelo que 1. Avaliação preliminar
tivesse sem repetição as principais características dos métodos 1.1 Avaliação da acessibilidade do sítio Web
em uso, isto é, criar o UsaWeb. 1.2 Relatório preliminar 2.
Em que consiste de facto o UsaWeb? Entrevistas informais
2.1 Análise das respostas
É uma metodologia de avaliação da usabilidade aplicável a 2.1.1 Selecção de tarefas
qualquer interface Web, é universal É constituída por um 2.1.2 Definição de Perfis
conjunto de métodos e técnicas. Inclui a avaliação preliminar da 2.1.3 Selecção Perfis
acessibilidade do sítio Web, a entrevista a utilizadores reais, o 2.2 Resultados das entrevistas
teste de usabilidade, o questionário (SUS) e a avaliação 3. Teste de usabilidade
heurística (UserFocus). 3.1 Selecção de participantes
A avaliação preliminar do grau de acessibilidade do sítio 3.1.1 Agrupar participantes por perfil
Web permite detectar e eliminar os problemas mais óbvios. O 3.2 Execução de tarefas
teste de usabilidade consiste na execução de um conjunto das 3.2.1 Análise dos tempos de execução
tarefas mais frequentemente executadas, por um grupo de 3.2.2 Análise do grau de dependência entre perfis e tarefas
participantes representativos de cada perfil de utilizador, e um 3.3 Registo de comentários dos participantes
grupo de questões abertas. O objectivo é avaliar a facilidade de 3.3.1 Análise de comentários dos participantes 3.4 Respostas
utilização do sítio Web e determinar as principais dificuldades às questões abertas
encontradas pelos utilizadores na interface. 3.4.1 Análise das respostas às questões abertas
As entrevistas originam posteriormente o teste de 3.5 Resultados do teste de usabilidade 4.
usabilidade e complementam o questionário com questões Questionário Pós-Teste (SUS)
relevantes na investigação. 4.1 Preenchimento do questionário
4.1.1 Cálculo e análise das pontuações
O questionário não só mede o grau de satisfação dos 4.1.2 Análise das respostas às questões abertas
utilizadores mas também indica a existência de problemas. 4.2 Resultados do questionário
Sugere a revisão dos resultados para identificar os pontos fracos 5. Avaliação Heurística (UserFocus)
da interface. 5.1 Selecção dos ecrãs
A avaliação heurística avalia o grau de conformidade de um 5.1.1 Análise de tarefas frequentes
conjunto de ecrãs seleccionados com directrizes de usabilidade 5.2 Aplicação das heurísticas aos ecrãs
estabelecidas e aceites. A análise dos resultados permite 5.2.1 Análise das pontuações obtidas
identificar áreas chave ou funções a melhorar. 5.2.2 Análise de comentários dos avaliadores
5.3 Resultados da avaliação heurística
A. A Arquitectura do Modelo UsaWeb
Evaluation
Web Interfaces
• Teste de usabilidade (envolvem profissionais de
Resumo — A investigação aqui descrita explora a avaliação da usabilidade e utilizadores), e.g., teste ou observação directa,
usabilidade de interfaces de sítios Web sustentada nos inquérito, entrevistas, entre outros.
fundamentos da IHC e apresenta um novo metamodelo universal
de avaliação da usabilidade, designado por UsaWeb, aplicável a Os métodos de inspecção avaliam o código fonte ou o
qualquer interface Web, sendo uma proposta completa e desenho da interface o que não garante a usabilidade do sistema.
coerente que representa um novo paradigma de avaliação da Os métodos de teste ao utilizador procuram compreender o
usabilidade de interfaces Web. comportamento do utilizador face à interface, mas não garantem
que o desenho corresponda a regras de usabilidade há muito
Palavras Chave - Interfaces; Sítios Web Dinâmicos; Usabilidade; estabelecidas.
IHC; métodos de avaliação de usabilidade; testes com usuários,
questionários, Avaliação Heurística. Naturalmente surgiu a questão da aplicabilidade dos
métodos: existirá algum método de avaliação, ou combinação de
Abstract — This research project describes the usability métodos, que avalie a usabilidade de qualquer interface Web?
evaluation of Website interfaces based on the foundations of Não encontrámos, na literatura, nenhum método ou combinação
HCI, and presents a new universal metamodel for usability de métodos aplicável a qualquer caso sem que fosse necessário
assessment called UsaWeb applicable to any Web Interface.
Being a complete and coherent proposal this represents a new
algum tipo de adaptação.
paradigm in the usability field. Nesta investigação procurámos equilibrar os diferentes
métodos e criar uma nova metodologia, genérica, que garanta
Keywords - Interfaces; Dynamic WebSites; Usability; IHCI, eficácia na sua aplicação e adequação ao diagnóstico de
Usability Assessment Methods; Users Tests, Questionnaires, problemas de usabilidade com o modelo UsaWeb.
Heuristic Assessment.
A análise realizada da história da usabilidade [5, 6, 7, 8, 9,
I. INTRODUÇÃO 10, 5] levou a concluir ser necessário, oportuno e pertinente a
A questão-chave em Interacção Humano-Computador criação de um modelo, com base numa nova metodologia capaz
(IHC) é melhorar a usabilidade de sistemas interactivos para de sintetizar os métodos e técnicas mais relevantes existentes na
que sejam eficazes, eficientes e de fácil utilização [1]). literatura desta área científica da IHC.
A avaliação da usabilidade (AU) mede aspectos de Na validação deste modelo adoptou-se o estudo de caso de
usabilidade na interface de um sistema, identificando um sítio Web de uma secretaria em uso numa instituição de
problemas específicos na interface [2,3]. A AU é uma ensino superior numa comunidade de cerca de 4000 pessoas.
actividade importante no processo de desenho global de uma Como a secretaria e o sítio Web se encontravam em pleno
interface, que consiste em ciclos de desenho, prototipagem e funcionamento, inspirados na tabela de Dubey, S. (c.f. [12]) que
avaliação. Além disso a AU é em si um processo que requer estabelece uma comparação dos métodos de avaliação de
várias actividades. usabilidade mais comuns e a sua aplicabilidade, considerou-se a
A avaliação da usabilidade (AU) de interfaces Web é uma utilização quer dos métodos de inspecção quer dos métodos de
área que começou a dar os primeiros passos há cerca de duas teste de usabilidade. Os estudos de Andrews, K. (c.f. [4]) foram
décadas e meia e que conduz a sistemas interactivos mais também uma fonte importante na escolha dos métodos e técnicas
usáveis. mais adequadas a esta metodologia.
Os métodos de avaliação da usabilidade são Os métodos foram seleccionados de acordo com os
consensualmente divididos em dois grupos [4]: objectivos do projecto: detectar problemas de usabilidade e
apresentar propostas de soluções.
• Métodos de inspecção (envolvem profissionais de
usabilidade), e.g., inspecção, modelação analítica, Nas próximas secções é descrita a metodologia geral de
simulação, entre outros. avaliação de interfaces, que inclui a descrição de cada uma das
técnicas e métodos de avaliação considerados e que foram
posteriormente validados num estudo de caso.
, II. METODOLOGIA GERAL DE AVALIAÇÃO DE INTERFACES. De um modo esquemático a arquitectura do UsaWeb
USAWEB apresenta-se no diagrama descrito na figura 1. Verifica-se que o
UsaWeb se estrutura em etapas e progride no tempo até à
apreciação ou relatório final da usabilidade do sítio Web em
Os gestores de sítios Web têm a preocupação de obter um estudo. Há um conjunto de cinco fases (avaliação preliminar,
grau de usabilidade que fidelize os utilizadores e nesse sentido entrevistas, teste de usabilidade, questionário e a avaliação
os trabalhos científicos nesta área concentram-se em heurística), descritas na secção anterior, que tipicamente
desenvolver metodologias dirigidas especificamente às evoluem de uma análise, passando pelo desenho,
interfaces Web. desenvolvimento, avaliação e síntese ou conclusões que
O grau de usabilidade de uma aplicação Web é crucial. Um culminam na apreciação ou relatório final
elevado grau de usabilidade transmite a ideia de que os B. A Estrutura do Modelo UsaWeb
utilizadores realizam as suas tarefas com facilidade, rapidez e A figura 1 apresenta a arquitectura do Modelo UsaWeb.
satisfação. Um estudo que avalie a usabilidade conseguirá assim Desde logo é evidente que se trata de uma metodologia muito
resultados mais sólidos se, entre outras técnicas, incluir a completa e aplicável a qualquer caso. Os seus resultados são
avaliação do desempenho (e.g., teste de usabilidade), do mais evidentes em casos muito complexos ou “críticos” i.e., que
conforto (e.g., questionário ou entrevistas) e da facilidade de não podem falhar.
acesso à informação (e.g., teste de acessibilidade) pelos seus
utilizadores durante a interacção com a interface Web. Para melhor se entender o que envolve a aplicação do
UsaWeb, pormenorizam-se a seguir os diferentes passos da sua
Por outro lado, a avaliação do desenho da interface, através aplicação ao estudo de usabilidade de um sítio Web.
da verificação do grau de conformidade com directivas
reconhecidas pela comunidade científica, é um complemento de A metodologia geral de avaliação de interfaces, UsaWeb,
grande importância na detecção de áreas menos usáveis. Esta envolve a aplicação das fases esquematizadas no diagrama
técnica tem a grande vantagem de não necessitar de utilizadores, ilustrado pela figura 1 e adiante descritas.
podendo ser feita unicamente por especialistas na área.
É grande a variedade de métodos e técnicas de avaliação de UsaWeb. Um Estudo da Usabilidade de Um Sítio Web
usabilidade. Decidiu-se, por isso, criar um metamodelo que 1. Avaliação preliminar
tivesse sem repetição as principais características dos métodos 1.1 Avaliação da acessibilidade do sítio Web
em uso, isto é, criar o UsaWeb. 1.2 Relatório preliminar 2.
Em que consiste de facto o UsaWeb? Entrevistas informais
2.1 Análise das respostas
É uma metodologia de avaliação da usabilidade aplicável a 2.1.1 Selecção de tarefas
qualquer interface Web, é universal É constituída por um 2.1.2 Definição de Perfis
conjunto de métodos e técnicas. Inclui a avaliação preliminar da 2.1.3 Selecção Perfis
acessibilidade do sítio Web, a entrevista a utilizadores reais, o 2.2 Resultados das entrevistas
teste de usabilidade, o questionário (SUS) e a avaliação 3. Teste de usabilidade
heurística (UserFocus). 3.1 Selecção de participantes
A avaliação preliminar do grau de acessibilidade do sítio 3.1.1 Agrupar participantes por perfil
Web permite detectar e eliminar os problemas mais óbvios. O 3.2 Execução de tarefas
teste de usabilidade consiste na execução de um conjunto das 3.2.1 Análise dos tempos de execução
tarefas mais frequentemente executadas, por um grupo de 3.2.2 Análise do grau de dependência entre perfis e tarefas
participantes representativos de cada perfil de utilizador, e um 3.3 Registo de comentários dos participantes
grupo de questões abertas. O objectivo é avaliar a facilidade de 3.3.1 Análise de comentários dos participantes 3.4 Respostas
utilização do sítio Web e determinar as principais dificuldades às questões abertas
encontradas pelos utilizadores na interface. 3.4.1 Análise das respostas às questões abertas
As entrevistas originam posteriormente o teste de 3.5 Resultados do teste de usabilidade 4.
usabilidade e complementam o questionário com questões Questionário Pós-Teste (SUS)
relevantes na investigação. 4.1 Preenchimento do questionário
4.1.1 Cálculo e análise das pontuações
O questionário não só mede o grau de satisfação dos 4.1.2 Análise das respostas às questões abertas
utilizadores mas também indica a existência de problemas. 4.2 Resultados do questionário
Sugere a revisão dos resultados para identificar os pontos fracos 5. Avaliação Heurística (UserFocus)
da interface. 5.1 Selecção dos ecrãs
A avaliação heurística avalia o grau de conformidade de um 5.1.1 Análise de tarefas frequentes
conjunto de ecrãs seleccionados com directrizes de usabilidade 5.2 Aplicação das heurísticas aos ecrãs
estabelecidas e aceites. A análise dos resultados permite 5.2.1 Análise das pontuações obtidas
identificar áreas chave ou funções a melhorar. 5.2.2 Análise de comentários dos avaliadores
5.3 Resultados da avaliação heurística
A. A Arquitectura do Modelo UsaWeb
