Based on “Enhancing UX Evaluation Through Collaboration with Conversational AI Assistants: Effects of Proactive Dialogue and Timing” (2024) by Emily Kuang, Kristen Shinohara, Minghao Li, Mingming Fan in Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems, Article No. 3, Pages 1-16.
무엇을, 왜 연구했나?
현대사회에서 사용자경험(UX)은 디지털 제품과 서비스의 성공을 결정짓는 핵심 요소로 자리 잡았다. 더 나은 UX를 만들기 위해서는 사용자가 제품이나 서비스를 사용할 때 겪는 문제점을 발견하고 개선하는 UX 평가가 필수적이다. 하지만 평가 과정은 매우 복잡하고 특히 테스트 영상을 분석하는 데 많은 시간과 자원이 필요하다. 여러 평가자가 협력해 문제를 분석할 수 있지만 실제로는 시간과 비용의 제약으로 인해 대부분의 UX 평가가 개별적으로 이뤄진다.
이런 상황에서 최근 인공지능(AI) 기술의 발전은 UX 평가의 새로운 길을 제시하고 있다. 특히 대화형 AI 도우미는 사용자와 자연스러운 언어로 상호작용할 수 있어 UX 평가자들에게 필요한 정보를 제공하거나 문제를 자동으로 감지하는 데 도움을 줄 수 있다. 하지만 이런 AI 도우미가 평가자에게 언제, 어떻게 정보를 제공하는 것이 가장 효과적인지는 아직 명확히 밝혀지지 않았다.
로체스터공과대, 난양기술대, 홍콩과기대 공동 연구진은 대화형 AI 도우미가 UX 평가에 미치는 영향을 조사했다. 특히 AI 도우미가 자동으로 제공하는 사용성 문제 제안 시점이 평가자들의 분석 성과와 신뢰도에 어떤 영향을 미치는지를 집중적으로 탐구했다. 이를 통해 더 나은 UX 평가 도구를 개발하고 평가자들의 업무 효율성을 높일 방법을 찾고자 했다.
연구는 혼합된 ‘오즈의 마법사’11사용자에게 실제로 작동하는 것처럼 보이게 하되 실제로는 인간이 시스템을 조작하는 방식. 이 접근법은 초기 프로토타입이나 개념 검증 단계에서 기술적인 제약을 극복하고 사용자 반응을 평가하는 데 유용함.닫기 접근법을 사용해 진행됐다. 챗GPT를 이용해 자동으로 사용성 문제 제안을 생성하고, 실제 사용자와의 상호작용은 인간 행위자가 수행하는 방식이다. 연구는 24명의 UX 평가자를 대상으로 진행됐고 이들은 세 가지 조건, 즉 문제 발생 시와 전후에 따라 자동화된 사용성 문제 제안을 받으면서 UX 평가를 진행했다. 각 조건에서 제공된 문제 제안 시점이 평가자들의 분석 성과와 주관적인 인식에 어떤 영향을 미치는지를 측정하기 위해 연구진은 다양한 평가 지표를 사용했다. 평가자들은 각 조건에서 제안된 사용성 문제를 확인하고 자신의 분석 결과와 비교하며 평가를 기록했다.
고민삼 교수는 한국과학기술원(KAIST) 지식서비스공학과에서 박사학위를 취득하고 인공지능연구원, 삼성전자에서 근무했다. 2022년부터 딜라이트룸의 연구책임자를 겸직하고 있다. HCI 분야 국제 저명 학술대회에 논문을 다수 게재했고 세계컴퓨터연합회(ACM)가 주최한 ‘컴퓨터 지원 공동 작업 및 소셜 컴퓨팅(CSCW)’ ‘인간-컴퓨터 상호작용 학회(CHI)’에서 우수 논문상을 수상하기도 했다. 인간-인공지능 상호작용 연구실을 이끌며 HCI 분야에 AI 기술을 응용하기 위한 다양한 연구를 수행하고 있다.
닫기
