Nesta etapa, realizamos 10 testes de usabilidade com usuários iniciantes em laboratório para cumprir dois objetivos definidos no DECIDE:

(1) Avaliar a qualidade da interação dos usuários iniciantes com a Alexa em automação residencial, ponderando a temporalidade da UX.

Nesse caso, avaliando a UX Antecipada e UX Episódica [7]:

UX Antecipada: Se refere à experiência do usuário antes do primeiro uso da Alexa e dispositivos IoT.

UX Episódica: Se refere à experiência do usuário após um episódios de uso da Alexa e dispositivos IoT.

(2) Identificar problemas que afetam a qualidade da comunicação no primeiro contato dos iniciantes.

Para identificar problemas de comunicabilidade no aplicativo Amazon Alexa, aplicamos o Método de Avaliação de Comunicabilidade (MAC), em que analisamos as gravações de tela e gravação de vídeo do usuário, incluindo suas expressões faciais ao interagir com o aplicativo e o dispositivo Alexa. A explicação detalhada desse método será apresentada na seção a seguir.

🧠Lembrando que: Em nossa avaliação, consideramos como usuários iniciantes aqueles que não possuem experiência anterior no uso da Alexa e dispositivos IoT para automação residencial.

Os testes foram realizados no Laboratório de Usabilidade do Bloco Didático do Curso de Sistemas e Mídias Digitais. Os usuários foram convidados a comparecer ao laboratório com dia e horário marcado. Durante os testes, um avaliador conduziu a sessão e um anotador/observador acompanhou o processo e registrou as observações.

📝 TEMPLATE_DE_ANOTAO_E_OBSERVACAO.pdf Segue em anexo o template de anotação utilizado pelo observador durante o teste de usabilidade.

📝Assim, foi aprensentado os objetivos da pesquisa e a explicação dos termos éticos por meio do Termo de Consentimento, explicamos a cada usuário as etapas e os procedimentos da avaliação. Sendo todo o teste gravado com a permissão do usuário.

Os testes com usuários iniciantes consistiram em:

• Questionário de perfil – os usuários preencheram as questões demográficas. Além disso, coletamos os conhecimentos prévios dos respondentes e se já conheciam ou presenciaram a Alexa em funcionamento com dispositivos inteligentes.

A partir do questionário e das entrevistas, foi possível traçar o perfil dos usuários iniciantes descritos na seguinte tabela:

• Entrevista pré-teste - Coletamos as expectativas dos usuários relacionadas à facilidade e utilidade, explorando suas percepções sobre o uso antecipado da Alexa e dispositivos inteligentes (UX Antecipada). Para isso, o usuário era instigado a imaginar, caso não soubesse, o funcionamento e as possibilidades de uso desses dispositivos e de como poderiam impactar sua rotina diária ao serem inseridos em seu cotidiano. Isso proporcionou uma base de comparação com as percepções após o teste, permitindo-nos compreender se as expectativas relatadas antes da interação foram cumpridas ou quebradas.
• PANAS (pré-interação) [3] - Antes de iniciar o teste, aplicamos o PANAS, um questionário que mede o estado afetivo do participante, composto por 20 escalas de diferencial semântico. O usuário marcava a escala com uma pontuação de 1 a 5, indicando como estava se sentindo no momento.
• Teste de Usabilidade - nessa técnica, para avaliar a usabilidade da lâmpada inteligente, do aplicativo Amazon Alexa e do dispositivo Echo Dot, foram elaborados três cenários com objetivos específicos. O avaliador conduziu o teste, instruindo o usuário nas tarefas e destacando que o estudo é uma avaliação da experiência dele ao utilizar os dispositivos, não do seu nível de conhecimento tecnológico.

• Método de Avaliação de Comunicabilidade (MAC) [5]: Nas tarefas, além da gravação de voz, foram realizadas a gravação de tela do aplicativo Amazon Alexa e a gravação de vídeo do usuário interagindo. Os materiais coletados também foram analisados com foco na comunicabilidade, utilizando o MAC. Por meio da análise das expressões faciais, voz e interação, foi realizada a etiquetagem e a construção do perfil semiótico.

• Emocards [2] - Esse método consiste em um conjunto de cartas, cada uma representa uma emoção diferente. Assim, ao final de cada tarefa, o avaliador solicitava que o o usuário selecionasse o emocard que melhor representa seu estado emocional. Esse modelo pictórico é baseado em duas dimensões: calma/excitada e agradável/desagradável.

• PANAS (pós-interação) - Ao final de todas as tarefas, o usuário respondia novamente às escalas para capturar seu estado afetivo após a interação. Com base nas respostas pré e pós-interação, comparamos se o estado afetivo do usuário foi impactado pelo uso.
• User Experience Questionnaire (UEQ) [3] - O questionário foi respondido logo após o PANAS para compreender as impressões do primeiro contato do iniciante, trazendo uma medida de sua experiência geral, abordando atratividade, eficiência, clareza, dependência, estímulo e novidade.
• Entrevista pós-teste - Durante a entrevista pós-teste, exploramos as percepções e experiências dos usuários após interagirem com a Alexa e os dispositivos inteligentes. Coletamos questões sobre a facilidade de uso, utilidade e eventuais desafios enfrentados durante a interação. Na entrevista, foi levantado questões que foram observadas no teste, como desistências e evidências de frustrações, com o intuito de compreender se ocorreu mudanças nas percepções dos participantes após a experiência.
• Net Promoter Score (NPS) - Esse método consiste em uma escala de 0 a 10 para avaliar o grau de adoção e fidelidade do usuário. Essa escala foi aplicada ao final e ajudou a entender o nível de satisfação e lealdade dos usuários. Além disso para a interpretação dos seus resultados, foi solicitado que o usuário justificasse a nota dada.

🔎Após a finalização de todas os teste: partiu-se para a Análise de Dados. A partir das gravações feitas, todas as entrevistas foram transcritas e as anotações foram expandidas com base na análise das gravações de vídeo e áudio.

Para análise dos dados qualitativos, uma análise temática [6, 8] seguindo o Guia Elliot [1] - um guia de avaliação da experiência do usuário em IoT- foi a base para o agrupamento dos achados em 10 categorias , concentrando-se em dois pontos de vista da interação relevantes nesse contexto:

Comportamento ótimo: Tem como objeto entender se as necessidades dos usuários foram atendidas pelo sistema, mesmo com as restrições impostas por ele que podem ser superadas ao longo do tempo.

Avaliação da Qualidade hedônica e eudaimônica: Seu objetivo não é apenas medir quão funcional ou útil o sistema é para a realização de tarefas práticas, mas sim compreender como os usuários percebem, atribuem valor e experimentam a interação com o sistema. Considerando, assim, como aspectos subjetivos dos usuários sobre o sistema mudam ao longo do tempo e podem impactar o uso do sistema.

Além disso, as pontuações dos instrumentos quantitativos usados- o UEQ, Emocards, NPS e o PANAS - foram calculadas, realizando-se as estatísticas descritivas para que os dados fossem analisados.

📝 ANALISE_TEMATICA_INICIANTES.pdf Para mais informações sobre a análise temática, incluindo as subdivisões e detalhamento das categorias, com exemplos de unidades, consulte a planilha anexa.

Referências:

[1] Coelho, B. (2023). Eliot: Um guia para dar suporte à avaliação longitudinal da experiência do usuário em sistemas de internet das coisas. Master’s thesis, Programa de Pós-Graduação em Ciência da Computação, Universidade Federal do Ceára.

[2] Desmet, P. M.A., O. K. J. e. S. J. (2001). Designing products with added emotional value: Development and application of an approach for research through design. The Design Journal, 4(1):32–47.

[3] Galinha, I. e P.R., J. (2005). Contribuição para o estudo da versão portuguesa da positive and negative affect schedule (panas): Ii–estudo psicométrico. Análise psicológica, pages 219–227.

[4] Laugwitz, B., H. T. e. S. M. (2008). Construction and evaluation of a user experience questionnaire. Springer, pages 63–76.

[5] Prates, R. O. e B, S. (2007). Introdução à teoria e prática da interação humano-computador fundamentada na engenharia semiótica. Atualizações em Informática, pages 263–326.

[6] Preece, J.; Rogers, Y.; Sharp, H. (2013). Design de Interação: além da interação humano-computador. Bookman.

[7] Roto, V., L. E. V. A. e. H. J. (2011). User Experience White Paper: Bringing Clarity tothe Concept of User Experience. s.n. geen ISBN Result from Dagstuhl seminar ondemarcating user experience, sepember 15-18, 2010

[8] Clarke, V.; Braun, V. (2021). Thematic analysis: a practical guide. Thematic Analysis, p. 1-100.