해당 업데이트를 통해 개발자들은 더 정확한 A/B 테스트를 실행해 KPI(핵심평가지표) 성능을 향상할 수 있으며, 데이터에 대한 즉각적 시각화를 제공받음으로써 실행에 옮기기에 앞서 한층 정교한 정보를 기반으로 게임 성장과 관련된 큰 그림을 예단할 수 있게 됐다.
주요 업데이트 내용으로는 A/B 테스트에 대한 새로운 접근법을 도입시켜 모든 프로세스를 혁신적으로 변화시킨 A/B 테스트 페이지가 새롭게 추가된 점이 핵심이다. 테스트를 진행하는 과정에서 이상값과 소규모 대상 그룹으로 인해 테스트가 부정확할 수 있음을 인식해 결과치를 분석 및 표시할 때 더욱 광범위한 테스트 상태를 고려한다. 즉, 개발자에게 평균 결과가 아닌 전체 테스트 결과와 통계적 중요성을 보여줌으로써 데이터에 기반한 보다 정확한 의사 결정을 내릴 수 있다.
A/B 테스트 계산기를 활용할 경우, 개발자들은 목표 KPI와 필요한 오류율 및 변형 양 등을 고려해 특정 테스트에 필요한 대상 오디언스 규모를 이해할 수 있게 됐다. 이는 테스트가 통계적으로 중요한 수준까지 도달하는 데 필요한 날짜와 사전에 정해둔 목표를 달성한 이용자 수에 대한 인사이트와 결합되는 부분이며, 슈퍼소닉의 계산기는 이를 게임 및 테스트 유형별로 해결할 수 있도록 새롭게 설계했다.
게임 개발자들에게 필요한 테스트 결과의 통계치도 표시된다. 특히, 평균 결과 대신 전체 결과 범위가 표시되며, 이를 통해 주요 결과에 대한 명확한 가시성을 확보할 수 있을 뿐만 아니라 이상치를 제거함으로써 보다 정확한 의사 결정을 내릴 수 있도록 데이터 지표를 지원한다.
또한 새롭게 개편된 슈퍼소닉의 '모든 게임 페이지'에서 채널 및 코호트 기간별로 나누어진 CPI, 게임 플레이 시간, 잔존율, ARPU 등 기타 30개의 지표 중에서 개발자가 원하는 KPI를 선택할 수 있다.
개발자는 원하는 대로 사용자 정의 보기를 생성하고, 전체 게임을 한 곳에서 관리할 수 있다. 특정 테스트 단계(초기 혹은 반복 테스트)에 있는 게임을 확인할 수 있으며, KPI의 중요성에 따라 KPI 보기를 사용자에 맞춰 설정할 수도 있다.
업데이트와 관련한 자세한 내용은 슈퍼소닉 공식 홈페이지를 통해 확인할 수 있다.
이원희 기자 (cleanrap@dailygame.co.kr)
