테스트로 완성도를 더한 인기 시리즈의 신작

선데이토즈는 애니팡 4에서 귀여운 동물, 캐주얼 소셜 플레이, 매치3 퍼즐 등 수백만 명의 팬들이 좋아하는 요소는 유지하면서, 20인 실시간 배틀, 팸(길드 형식의 소셜 기능), 스토리텔링 등 최신 트렌드에 어울리는 콘텐츠를 추가해 출시로부터 10년이 지난 게임을 다시 한번 새롭게 주목시키려 했습니다. 다만 변화가 많다는 것은 곧 작업량이 많아진다는 의미이며, 선데이토즈 팀은 이렇게 많은 신규 콘텐츠를 더 효과적으로 개발하고 테스트할 툴이 필요했습니다.

김동건 TD는 "퍼즐 게임에서는 무엇보다 레벨 제작이 가장 중요합니다. 보통 매주 업데이트가 있는데, 그때마다 약 20개의 맵이 추가됩니다. 내부에서 맵을 30개쯤 만든 다음 그중 60% 정도를 선별해 업데이트하는 거죠"라고 밝혔습니다.

이렇게 많은 콘텐츠를 선보이는 것은 제작진에 큰 부담이 되었습니다. 우선 플레이어들을 사로잡을 혁신적인 방법을 찾아내고, 빠르게 플레이 테스트를 진행하며 출시 전까지 신규 레벨을 전부 점검해야 했습니다. 

이현우 PD는 "개발팀 내에서도 게임에 대한 생각이 제각각이었기 때문에 콘텐츠를 빠르게 구현하여 테스트하고, 테스트 결과를 확인하여 수정하는 과정이 매우 중요했습니다"라고 했습니다.

김동건 TD는 이렇게 말했습니다. "한정된 시간과 인력은 퍼즐 게임의 품질을 높이는 데 가장 어려운 부분입니다." 개발팀은 정식 발매와 정기 업데이트에 필요한 콘텐츠를 개발하려면 레벨 난이도 및 오류 검사 테스트에 드는 시간을 줄여야 한다는 사실을 깨달았습니다. 

그래서 직접 테스트 시스템을 개발하기 시작했지만, 곧 그 프로젝트에 개발 리소스가 너무 쏠린다는 점을 알게 되었습니다. 그래서 개발팀은 기존의 시뮬레이션 솔루션을 물색하기 시작했고, 다행스럽게도 금세 Unity Game Simulation을 찾을 수 있었습니다. 이는 두 가지 작업 시간 문제를 한 번에 해결해주었습니다. 김동건 TD는 Game Simulation에 QA 및 난이도 테스트를 일임함으로써 "시뮬레이션 인프라보다는 본업에 집중"할 수 있었다고 밝혔습니다.

김동건 TD는 "Game Simulation은 개발 과정에서 개발자와 레벨 디자이너가 직접 테스트하는 부분을 대신합니다"라고 설명했습니다. 이처럼 퍼즐 난이도 예측과 데이터 오류 검사는 시뮬레이션에 맡기고, 개발팀은 그 시간을 콘텐츠 개발과 재미있는 요소에 집중할 수 있습니다. 

"난이도 예측의 정밀도를 높이고 오류 검사에 드는 시간을 단축하여 비용을 절감할 수 있으리라 기대합니다. 통상적으로 스테이지를 1개 제작할 때마다 10번 정도 테스트를 진행해 오류를 검사하고 난이도가 적절한지 파악하죠. Auto Play를 사용하여 한 번 테스트하는 데 소요되는 시간을 1분 이하로 단축하고, Game Simulation으로 테스트를 수백 번 반복할 수 있기를 기대하고 있습니다." - 김동건 TD
 

우선, 선데이토즈는 Game Simulation으로 Auto Play 봇을 설정합니다. 이 봇으로 시뮬레이션을 실행해 실제 플레이어 데이터와 대조한 후, 봇의 파라미터를 조정해 가며 플레이어와 유사하게 작동하도록 만듭니다. 봇 조정이 끝나면, 신규 레벨의 시뮬레이션을 실행하여 레벨의 난이도를 판별하고 오류를 찾습니다.

선데이토즈는 지정된 턴 수, 블록 종류, 미션 개수 등의 파라미터를 이용해 각 레벨을 테스트합니다. 이 테스트를 통해 산출하는 지표는 레벨별 실패율입니다. 시뮬레이션이 끝나면, 선데이토즈는 산출 지표가 적절한 범위에 있는지 확인합니다. 만약 그렇지 않다면, 턴 수를 줄이는 등 파라미터를 조정하고 다시 시뮬레이션을 실행합니다. 실패율이 적정선에 들어간 레벨은 난이도가 적당한 것으로 간주합니다.

그 다음, 개발팀은 새 레벨에 오류가 있는지 테스트를 통해 확인합니다. 선데이토즈는 Auto Play가 주어진 턴을 전부 사용하기 전에 플레이를 중단하는 시뮬레이션 사례를 플래깅합니다. 이런 경우에는 미션 수가 잘못되었거나, 오브젝트가 잘못 배치되었거나, 크래시가 발생하지는 않았는지 등 오류의 원인을 파악합니다. 오류의 원인을 수정한 다음 다시 시뮬레이션을 진행해 올바르게 고쳐졌는지 확인합니다.

김동건 TD는 선데이토즈의 솔루션을 사용한 난이도 분석에 대해 이렇게 설명했습니다. "Game Simulation의 결과값을 보고 난이도를 추측할 수 있습니다. 이미 출시된 게임의 사용자 데이터를 보고 사용자 행동에 영향을 끼치는 입력값의 범위를 추정한 다음, Unity Simulation으로 검증하는 식이죠." 

김동건 TD는 이렇게 말합니다. "퍼즐 게임 특성상 랜덤성이 있기 때문에, 10명이 같은 레벨을 플레이하여 7명이 클리어해도 나머지 3명은 오류 때문에 아무것도 할 수 없을 수도 있습니다." Game Simulation은 특정 레벨의 플레이 횟수를 크게 늘려줍니다. 그리고 플레이 횟수가 많아질수록 평균값이 더 정확해지며, 일반적인 최종 사용자 경험에 더 좋은 결과로 나타납니다.  

"Game Simulation 도입 이전에는 새로운 레벨을 한 사람당 10번씩 플레이하는 식으로 밸런스를 테스트했습니다. 하지만 이제는 레벨이 하나 제작될 때마다 1,000번이 넘게 테스트를 진행하며 오류를 검사하거나 적정 난이도를 측정할 수 있습니다"라고 김동건 TD는 설명합니다. 그 결과, 최종 출시 전까지 더 많은 문제를 해결할 수 있으며, 플레이어에게 훨씬 나은 경험을 제공하고, 동시에 개발 인원의 시간도 절약할 수 있게 됩니다.  

김동건 TD는 이렇게 전했습니다. "퍼즐 게임의 레벨을 개발하는 데 소요되는 시간을 이전보다 효율적으로 사용할 수 있게 되었습니다. 기존에는 퍼즐의 재미 검증과 난이도 분석, 오류 검사에 각각 할당하는 시간이 비슷했습니다. 하지만 지금은 Game Simulation이 난이도 분석과 오류 검사를 대신 해 주기 때문에, 게임을 재미있게 만드는 데 시간을 더 할애할 수 있게 되었습니다."

"현재는 퍼즐의 난이도 예측과 데이터 오류 검사에 집중하고 있지만, 퍼즐 게임 이외의 영역까지 확장할 계획입니다. 인적 자원은 신규 기능과 주요 기능을 테스트하는 데 집중하고, 전반적인 기능 테스트는 Game Simulation에 맡기는 것이 다음 목표입니다."