Estudo de Caso
Vamos apresentar um estudo de caso de avaliação que foi premiado em 1° lugar na Competição de Avaliação do IHC 2023. A seguir, você irá acompanhar o processo de avaliação da assistente virtual Alexa e aplicativos Amazon Alexa e Tuya Smart.
Competição de Avaliação IHC 2023
A competição realizada durante o XXII Simpósio Brasileiro sobre Fatores Humanos em Sistemas Computacionais teve como tema, “Tecendo as interfaces entre o físico e o virtual”, guiando os participantes da Avaliação de Competição de 2023 sobre o tema:
A Avaliação
Contextualizando o tema, as Internet of Things (IoTs) têm um grande potencial para transformar a forma como as pessoas interagem com o mundo e entre si. Há uma relevância do estudo de IoT e experiência do usuário com smart homes pois neste domínio, os usuários estão conectados enviando e recebendo dados através de uma rede de internet [1]. Assim, é ofertado conforto, conveniência, facilidade e praticidade aos moradores que desejam realizar suas atividades através de um smartfones e dispositivos que estejam conectados na mesma rede [2].
Assim, é importante ressaltar que a Experiência do Usuário (UX) desempenha um papel crucial na motivação e retenção dessas tecnologias a longo prazo [3]. Uma vez que a UX pode evoluir ao longo do tempo. Tendo isso em mente, ao iniciar o processo de avaliação decidimos que iríamos realizar a avaliação levando em consideração três temporalidades da UX [4]:
UX Antecipada: antes do uso.
UX Episódica: após um episódio de uso.
UX Acumulada: após sucessivos usos.
Pesquisas Iniciais
Levantamento bibliográfico
Para a realização do estudo, foi feito um levantamento bibliográfico com o objetivo de compreender quais os principais desafios, domínios e tipos de sistemas IoT relatados pelos pesquisadores nos últimos anos.
Foram revisados 7 estudos sobre o domínio IoT em smart homes. Com isso, realizamos um fichamento dos artigos, foram geradas perguntas específicas, tais como: "Quantos estudos foram analisados nos trabalhos?", "Quais são os domínios IoT citados?", "Que tipos de sistemas IoT foram identificados?" e "Foi relatado avaliações de IHC?". Em casos em que o artigo reportava avaliações, foram estipuladas as seguintes perguntas: "Quais métodos utilizados para a avaliação?", "Quais procedimentos?" e "Quais construtos foram analisados?". Além disso, foram levantados desafios ao realizar avaliações no ponto de vista da qualidade e de que formas podem mitigá-los.
Desde já cabe destacar que esta etapa de pesquisa foi essencial para compreender como as pesquisas em IoT têm evoluído ao longo do tempo, quais são as tendências emergentes na área e quais são as lacunas a serem preenchidas. Através da análise dos dados coletados, foi possível identificar os principais domínios e tipos de sistemas de interesse dos pesquisadores em IoT.
Seleção dos aplicativos e dispositivos
Com o intuito de definir um objeto de estudo para a avaliação realizamos pesquisas de aplicativos de automação residencial na Google Play, utilizando a consulta "[dispositivo que tínhamos diponíveis] (por exemplo, controle, lâmpada) + inteligente + IoT", o que resultou em 470 aplicativos analisados. Dentre esses, foram escolhidos os aplicativos Amazon Alexa e Tuya Smart, com base em critérios como número mínimo de 500 mil downloads, avaliação mínima de 4 estrelas, suporte a dispositivos inteligentes e disponibilidade do idioma português. Segue o detalhamento da seleção:
Os dispositivos físicos para automação residencial foram selecionados de acordo com sua disponibilidade no grupo de pesquisa e sua capacidade de conectividade. Dispositivos e aplicativos avaliados:
Framework DECIDE
Para planejar a avaliação do uso de dispositivos inteligentes para automação residencial utilizamos o framework DECIDE para selecionar os métodos que responderiam às questões levantadas para cada objetivo do estudo.
Os objetivos gerais traçados no DECIDE foram:
(1) Avaliar como usuários iniciantes e habituais interagem com a Alexa para automação residencial inteligente.
(2) Avaliar a qualidade da comunicação durante a interação dos usuários iniciantes e habituais com os aplicativos de automação residencial inteligente.
Para compreender a UX por temporalidade decidimos incluir dois públicos-alvo: os usuários iniciantes, que nunca tinham usado a Alexa e os habituais, que já tinham dispositivos inteligentes totalmente integrados na sua rotina. Com isso, o primeiro objetivo está relacionado com a qualidade da interação e da experiência do usuário desses dois grupos e o segundo relacionado a comunicabilidade com os iniciantes.
Para isso, a partir do planejamento com o DECIDE, aprovamos o projeto no comitê de ética e combinamos métodos quantitativos e qualitativos, em três etapas.
Referências
[1] Reggio, G., Leotta, M., Cerioli, M., Spalazzese, R., & Alkhabbas, F. (2020). What are IoT systems for real? An experts’ survey on software engineering aspects. Internet of Things, 12, 100313. Elsevier.
[2] Strengers, Y., Hazas, M., Nicholls, L., Kjeldskov, J., & Skov, M. B. (2020). Pursuing pleasance: Interrogating energy-intensive visions for the smart home. International Journal of Human-Computer Studies, 136, 102379. Elsevier.
[3] Melo, B.; Andrade, R.; Darin, T. (2022). Longitudinal user experience studies in the IoT domain: a brief panorama and challenges to overcome. In: Proceedings of the 21st Brazilian Symposium on Human Factors in Computing Systems, p. 1-13.
[4] Roto, V.; Law, E.; Vermeeren, A.; Hoonhout, J. (2011). User Experience White Paper: Bringing Clarity to the Concept of User Experience. s.n. 2011. Result from Dagstuhl seminar on demarcating user experience, September 15-18, 2010.
