A análise dos dados foi a etapa mais desafiadora da Avaliação de IHC. Foram coletados muitos dados, tanto quantitativos quanto qualitativos, que precisavam ser analisados e interpretados com cuidado. Era importante evitar qualquer viés nos resultados, pois isso poderia levar a conclusões equivocadas. Por isso, as análises foram realizadas de forma metódica e minuciosa, o que levou algum tempo.
Usuários Iniciantes
Entrevista pré-teste:
Os iniciantes tinham um entendimento superficial das formas de uso da Alexa, associando dispositivos inteligentes a comandos de voz e conversação. Tanto que, no primeiro contato, diversas vezes os usuários tentaram concluir as tarefas somente por comando de voz, sem realizar as configurações inicias dos dispositivos no aplicativo.
Teste de usabilidade e Emocards:
Na primeira tarefa de “Acender Lampada”, metade dos participantes não conseguiram concluir o objetivo proposto. Isso aconteceu por um problema de mapeamento na interface, que afetou 80% dos usuários ao procurarem o botão de adicionar dispositivos. O que ocasionou a desistência de dois usuários e aumentou o tempo médio da tarefa, deixando os participantes mais frustrados.
Nessa tarefa, ao analisar os emocards - que são as respostas dos usuários após realizar a tarefa - 50% das reações foram negativas, sendo 10% negativa intensa, o que demonstra raiva e 40% negativa calma, mostrando a frustração dos participantes em não conseguir concluir a tarefa de acender a lâmpada.
Na segunda tarefa, de reproduzir playlist no Spotify, 40% dos usuários não conseguiram concluir o objetivo proposto. Isso resultou em 20% dos emocards com reações negativas intensas, que se relacionam a 2 usuários que não compreenderam a utilização da interface e insistiram na conexão por comando de voz com o Spotify, na tentativa de realizar funções simples sem a necessidade de utilizar o aplicativo..
Na última tarefa, para criar uma rotina de trabalho, 50% dos usuários apresentaram dificuldades na configuração e 40% não conseguiram concluir corretamente. Isso resultou em reações negativas, que demonstram a frustração dos participantes.
Método de Inspeção Semiótica:
No MIS, foram encontrados problemas na interface dos aplicativos Amazon Alexa e Tuya Smart, em geral as rupturas de comunicabilidade ocorreram por conta da dificuldade na localização de informações, na compreensão de funcionalidades e uma sobrecarga de opções, na relação signo e significante.
Método de Avaliação de Comunicabilidade:
A partir do MAC, os principais problemas encontrados foram os seguintes:
- O aplicativo Alexa apresenta termos técnicos como skills e provedor que dificultaram a execução das tarefas.
- Para as duas primeiras tarefas, as etiquetas “Cadê?”, “Porque não funciona?” e “e agora?” ocorreram por causa das dificuldades em localizar as informações desejadas. Isso ocorre porque existem conexões confusas entre as informações e os elementos visuais da interface.
- Já na tarefa 3, os usuários ficaram confusos sobre os passos necessários para configurar uma rotina, o que gerou alta ocorrência de “Porque não funciona?”, “Cadê?” e “Epa!”. Isso ocorre porque a oferta de múltiplos caminhos para a mesma ação sobrecarrega a carga cognitiva dos usuários ao tentar memorizá-los. O que é uma contradição com a metamensagem do MIS, pois os inspetores avaliaram esses diversos caminhos como maneiras de dar mais liberdade ao usuário. Enquanto a avaliação do MAC indicou que essa situação causava confusão nos usuários e desistência de suas atividades.
Frequência de etiquetas por tarefa:
Diante dos desafios de usabilidade e comunicabilidade, como os iniciantes avaliaram a facilidade?
Antes do teste, 40% consideravam fácil e 10% difícil. Após o primeiro contato, essa percepção ficou dividida entre 30% fácil e 30% difícil.
Os Iniciantes adotariam a Alexa?
O NPS revela uma pontuação negativa. Por meio das entrevistas, foi identificado que a resistência à adoção advém da percepção de que a Alexa não oferece um bom custo-benefício, que não vale a pena o investimento e que a utilidade proporcionada não é tão alta assim.
Usuários Habituais
Entrevista:
Ao analisar a UX antecipada, foi percebido que os usuários tinham a motivação inicial para adquirir a Alexa, com a expectativa de usá-la para a automatização de tarefas diárias. Reforçando principalmente uma funcionalidade mais básica, como escutar música, por exemplo.
Ao longo do tempo, a percepção de uso alterou. O Perfil A mudou de um uso generalizado para um uso mais específico de automação residencial, com o pico inicial de empolgação (ao explorar a interface) que diminui ao transitar de um uso exploratório para uma tecnologia que já está inserida no cotidiano. O Perfil B, por outro lado, tinha um preconceito, mas compreendeu as vantagens e os benefícios do uso da Alexa em suas rotinas ao longo de contínuas interações.
Não só os iniciantes, mas também os habituais passam por problemas no uso da Alexa. Cerca de um terço dos usuários habituais enfrentam frustrações com comandos de voz, além de problemas na organização da interface do aplicativo, dificuldades de conexão à internet e mau funcionamento dos dispositivos.
E o que os habituais dizem?
Os benefícios destacados são a praticidade, economia de tempo e facilidade de usar comandos para automatizar hábitos diários. As desvantagens reforçam o alto custo, também levantado pelos iniciantes, e o consumo de energia.
Comparação da avaliação da experiência
UEQ:
No UEQ, os iniciantes avaliam a Alexa como atrativa, mas obtiveram um resultado mais baixo nas dimensões pragmáticas devido à percepção de que a Alexa não é útil, e aos problemas de usabilidade identificados.
Em comparação, os habituais já valorizam a praticidade e eficiência da Alexa em suas rotinas e se adaptaram às limitações e problemas, que também foram identificados pelos iniciantes, ao longo do tempo. Tendo os habituais um resultado positivo principalmente na atratividade, seguido da dimensão pragmática e hedônica.
PANAS:
Ao comparar a valência dos afetos no PANAS, nota-se que tanto os iniciantes quanto os habituais retêm afetos positivos, como interesse e entusiasmo. Iniciantes se expressam surpreendidos e encantados pelo uso, e os afetos negativos pouco se manifestaram neles, apenas um pouco de irritação e nervosismo, justificado pelos desafios na conclusão dos objetivos propostos. Tendo os iniciantes, após o teste, e os habituais, ao rememorar suas contínuas interações ao longo do tempo, um estado afetivo positivo.
Resumindo…
A qualidade da comunicação afeta os iniciantes no primeiro contato?
Sim, os problemas de comunicabilidade identificados afetam a forma como os usuários compreendem e interpretam a interface:
Como é a experiência dos iniciantes no primeiro contato com a Alexa?
Os problemas de usabilidade e comunicabilidade não afetam diretamente o estado afetivo dos iniciantes, já que se mantém um efeito novidade apesar das dificuldades de uso ocasionadas pelos problemas na qualidade da interação.
A experiência dos usuários habituais mudou com o tempo utilizando a Alexa?
As expectativas são superadas ao longo do tempo, fazendo com que mude a percepção, a opinião e a experiência.
Há diferença na opinião e na percepção da experiência entre iniciantes e habituais?
Sim, os usuários habituais ao longo do tempo se adaptam às dificuldades e limitações do uso. Além disso, os iniciantes possuem um entendimento superficial, enquanto os habituais já usufruem do impacto da automação na rotina e no ambiente físico.
Os problemas de usabilidade impactam na experiência e na adoção da Alexa e dispositivos inteligentes para automação residencial?
Parcialmente. A questão da resistência à adoção se dá pelo fato de que mesmo que os iniciantes percebam a Alexa interessante e estimulante, destacam o baixo custo-benefício, uma percepção também compartilhada pelos habituais.
Contribuições da Avaliação
- Por fim, o nosso estudo contribui ao identificar problemas que necessitam de aspectos de melhoria para o aplicativo e assistente Amazon Alexa. Alguns desses são o uso de feedbacks mais visíveis e um melhor mapeamento da informação.
- Além disso, fizemos um panorama sobre a adoção da Alexa, o que nos oferece informações de como os usuários se comportam ao longo do tempo e de como as empresas podem trabalhar com esses usuários em diferentes períodos do uso.
- Entendemos as opiniões e percepções dos usuários sobre o impacto da Alexa no ambiente residencial.
Obrigado!
