1. O que é uma avaliação heurística
Na avaliação heurística, um pequeno grupo de avaliadores usa o sistema e confere se ele respeita um conjunto de princípios, as heurísticas. Cada problema encontrado é ligado à heurística que ele viola e recebe um grau de severidade. No fim, o coordenador junta as respostas de todos numa única análise.
É um método rápido e barato, que pode ser aplicado em qualquer fase do desenvolvimento. Nielsen recomenda de três a cinco avaliadores: com menos, poucos problemas aparecem; com mais, o custo cresce mais que o ganho.
2. O que é a HEDEG
A HEDEG (Heuristic Evaluation for Digital Educational Games) foi proposta por Valle et al. (2013) para avaliar jogos educacionais digitais. Ela parte do conjunto PHEG, de Mohamed e Jaafar, de três formas: heurísticas traduzidas (já eram claras), heurísticas adaptadas (reescritas de forma mais objetiva) e heurísticas novas, criadas a partir dos elementos que, segundo Annetta (2010), todo bom jogo educacional deve ter.
Por serem escritas de forma objetiva, as heurísticas podem ser aplicadas também por avaliadores que não são especialistas em todas as áreas. No estudo original, com o jogo Carmen Sandiego, os graus dados por não especialistas com a HEDEG ficaram mais próximos dos graus dos especialistas (eficiência média de 71,24%) do que com o PHEG (41,95%).
São 36 heurísticas em cinco categorias: Interface (IN), Elementos Educacionais (ED), Conteúdo (CN), Jogabilidade (JG) e Multimídia (MM).
3. Os elementos de qualidade de Annetta
As heurísticas novas da HEDEG vêm destes elementos. Eles ajudam a entender o que cada uma está perguntando.
| Elemento | O que significa | Heurísticas |
|---|---|---|
| Identidade | O jogador se sente parte do jogo e se reconhece nele, normalmente por meio de um avatar. | JG6 |
| Imersão | O jogador fica envolvido com o ambiente e o conteúdo e quer seguir superando os obstáculos. | JG7 |
| Interatividade | O jogador se comunica com outros jogadores ou com personagens do jogo (NPCs). | JG8 |
| Níveis de complexidade | O jogo tem níveis que mudam ao longo do caminho, de acordo com o ambiente e com o jogador. | ED3 |
| Análise de desempenho | O jogo dá ao professor informações sobre o aluno (tempo, progresso, onde está). | - |
| Instrutivo | O jogo percebe pontos fortes e fracos do aluno e se adapta; o aprendizado acontece de forma implícita, enquanto se joga. | ED6, CN5, JG9 |
4. Escala de severidade
Em cada heurística, marque o grau do problema mais grave que encontrou. Para decidir o grau, pense em três coisas: com que frequência o problema aparece, quanto ele atrapalha o jogador e se ele volta a atrapalhar mesmo depois que o jogador já o conhece.
| Grau | Significado | Exemplo de situação |
|---|---|---|
| 0 | Nenhum problema encontrado | A heurística é atendida. |
| 1 | Problema estético | Um texto levemente desalinhado; uma cor que destoa. |
| 2 | Problema de baixa prioridade | Algo confunde no começo, mas o jogador contorna sozinho. |
| 3 | Problema de alta prioridade | O jogador não entende o que fazer para avançar, ou uma questão fica ambígua. |
| 4 | Problema catastrófico | O jogo trava ou não deixa continuar; uma questão com gabarito errado bloqueia o nível. |
5. As heurísticas e onde observar
"Onde observar" lista as partes do CombineQuests ligadas a cada categoria, para ajudar a lembrar de tudo o que vale olhar. Não é um gabarito: o julgamento é seu.
6. Como os resultados são calculados
Para cada heurística, calcula-se a média dos graus dados pelos avaliadores. Depois, a média das heurísticas de uma mesma categoria dá o grau médio da categoria (o mesmo cálculo usado por Valle et al.). Os problemas descritos e as sugestões entram na análise qualitativa do TCC.
Referências
- VALLE, P. H. D.; VILELA, R. F.; PARREIRA JÚNIOR, P. A.; INOCÊNCIO, A. C. G. HEDEG - Heurísticas para Avaliação de Jogos Educacionais Digitais. Nuevas Ideas en Informática Educativa TISE, p. 247-256, 2013. Artigo completo (PDF)
- MOHAMED, H.; JAAFAR, A. Analyzing Critical Usability Problems in Educational Computer Game (UsaECG). Proceedings of the IASTED International Conference on Human-Computer Interaction, 2012.
- ANNETTA, L. The "I's" have it: A framework for serious educational game design. Review of General Psychology, v. 14, n. 2, p. 105-112, 2010.
- NIELSEN, J. Usability Inspection Methods. Conference Companion on Human Factors in Computing Systems, ACM, p. 413-414, 1994.