Buscando cumprir o primeiro objetivo do DECIDE de “Avaliar a qualidade da interação dos usuários habituais com a Alexa em automação residencial, ponderando a temporalidade da UX”, realizamos entrevistas remotas com 15 usuários habituais para compreender a trajetória da experiência dos habituais, abordando a UX Antecipada e Acumulada [5], e identificar desafios de usabilidade na adoção da Alexa e dispositivos inteligentes.

UX Antecipada: Se refere à experiência do usuário antes do primeiro uso da Alexa e dispositivos IoT.

UX Acumulada: Se refere à experiência do usuário após sucessivos episódios de uso da Alexa e dispositivos IoT.

🧠Lembrando que: Em nossa avaliação, consideramos como usuários habituais aqueles que usam regularmente a assistente virtual Alexa e dispositivos IoT conectados há pelo menos 3 meses para automatizar tarefas.

Nessa fase, convidamos 15 usuários que se encaixavam nos perfis de estudo e realizamos entrevistas semi-estruturadas.

Para esse método, definimos um roteiro semi-estruturado de 17 perguntas de perguntas e de como o procedimento iria ser conduzido de modo a preparar os entrevistadores. Cada entrevista com usuário, durou, em média, 30 minutos e teve a participação de um entrevistador e anotador.

📝Após a apresentação da pesquisa e a explicação dos termos éticos por meio do Termo de Consentimento, explicamos a cada usuário as etapas e os procedimentos da avaliação. Toda a entrevista foi gravada com a permissão do usuário.

Depois disso, iniciamos as técnicas de coleta. Sendo elas:

• Questionário pré-entrevista – na qual os usuários preencheram um questionário com questões demográficas, com suas respostas verificamos seu nível de experiência com o uso da Alexa e dispositivos inteligentes e suas experiências gerais com os dispositivos e o aplicativo Amazon Alexa.

📝 https://bit.ly/cenarios-e-persona-mis Faça o download para visualizar o Questionário de perfil + o Termo de consentimento utilizado.

A partir do questionário, foi possível traçar o perfil dos usuários habituais descritos na seguinte tabela:

• Entrevista – nessa técnica, buscamos comprender como era a rotina de uso da Alexa e dos dispositivos inteligentes. Assim, fizemos perguntas seguindo um roteiro semi-estruturado abordando as expectativas dos usuários antes de adquirirem a Alexa (UX Antecipada), impactos nas rotinas e mudanças no uso da Alexa e dispositivos (UX Acumulada).

📝 Roteiros_habituais.pdf Faça o download para visualizar o roteiro da entrevista

• User Experience Questionnaire (UEQ) [3] – O questionário foi respondido logo após a entrevista em um formulário online enviado ao usuário de modo a compreender episódios e impressões de seu uso cotidiano, trazendo uma medida de sua experiência geral (UX Acumulada), abordando atratividade, eficiência, clareza, dependência, estímulo e novidade.
• Escalas de Afeto Positivo e Negativo (PANAS) [2] – O questionário foi respondido logo após o UEQ em um formulário online enviado ao usuário de modo a identificar a valência dos afetos evocados durante o uso da assistente Alexa e dos dispositivos inteligentes.

As entrevistas foram feitas remotamente. Cada uma teve a participação de dois integrantes da equipe (além do usuário habitual) sendo um responsável por conduzir (condutor) a entrevista e outro por observar e anotar (observador).

🔎Após a finalização de todas as entrevistas: partiu-se para a Análise de Dados. A partir das gravações feitas, todas as entrevistas foram transcritas e as anotações foram expandidas com base na análise das gravações de vídeo e áudio.

Para análise dos dados qualitativos, uma análise temática [4, 6] seguindo o Guia Elliot [1] - um guia de avaliação da experiência do usuário em IoT- foi a base para o agrupamento dos achados em 10 categorias , concentrando-se em dois pontos de vista da interação relevantes nesse contexto:

Comportamento ótimo: Tem como objeto entender se as necessidades dos usuários foram atendidas pelo sistema, mesmo com as restrições impostas por ele que podem ser superadas ao longo do tempo.

Avaliação da Qualidade hedônica e eudaimônica: Seu objetivo não é apenas medir quão funcional ou útil o sistema é para a realização de tarefas práticas, mas sim compreender como os usuários percebem, atribuem valor e experimentam a interação com o sistema. Considerando, assim, como aspectos subjetivos dos usuários sobre o sistema mudam ao longo do tempo e podem impactar o uso do sistema.

Além disso, as pontuações dos instrumentos quantitativos usados- o UEQ e o PANAS- foram calculadas, realizando-se as estatísticas descritivas para que os dados fossem analisados.

📝 ANALISE_TEMATICA_HABITUAIS.pdf Para mais informações sobre a análise temática, incluindo as subdivisões e detalhamento das categorias, com exemplos de unidades, consulte a planilha anexa.

Referências:

[1] Coelho, B. (2023). Eliot: Um guia para dar suporte à avaliação longitudinal da experiência do usuário em sistemas de internet das coisas. Master’s thesis, Programa de Pós-Graduação em Ciência da Computação, Universidade Federal do Ceára.

[2] Galinha, I. e P.R., J. (2005). Contribuição para o estudo da versão portuguesa da positive and negative affect schedule (panas): Ii–estudo psicométrico. Análise psicológica, pages 219–227.

[3] Laugwitz, B., H. T. e. S. M. (2008). Construction and evaluation of a user experience questionnaire. Springer, pages 63–76.

[4] Preece, J.; Rogers, Y.; Sharp, H. (2013). Design de Interação: além da interação humano-computador. Bookman.

[5] Roto, V., L. E. V. A. e. H. J. (2011). User Experience White Paper: Bringing Clarity tothe Concept of User Experience. s.n. geen ISBN Result from Dagstuhl seminar ondemarcating user experience, sepember 15-18, 2010

[6] Clarke, V.; Braun, V. (2021). Thematic analysis: a practical guide. Thematic Analysis, p. 1-100.