A/B 테스트는 앱의 장기적 성장과 매출 지속 가능성을 개선하기 위해 매우 중요한 역할을 합니다. A/B 테스트는 사용자가 어떻게 전환하는지에 관해 이해할 수 있도록 해주며, 다음과 같은 핵심 정보에 관한 인사이트를 제공합니다.
● 사용자를 앱으로 유도하는 것.
● 사용자가 앱을 사용하는 방식.
● 사용자가 계속 앱에 몰입할 수 있도록 해주는 것.
그렇다면 A/B 테스트를 어떻게 도입하여 최적화에 활용할 수 있을까요? 성장과 유지율 가속화를 도와줄 검증된 A/B 테스트 팁과 전략을 확인하고, AppLovin MAX에서 A/B 테스트를 만드는 방법을 확인해보세요.
A/B 테스트란?
A/B 테스트는 오디언스를 2개(또는 2개 이상) 그룹으로 나눈 뒤, 변수를 도입하여 해당 변수가 두 테스트 그룹에 어떠한 영향을 주는지 확인할 수 있도록 하는 방법입니다.
A/B 테스트를 통해 얻은 데이터를 바탕으로 사용자 경험을 개선하면, 신규 사용자 획득과 수익화에 도움이 될 수 있습니다.
A/B 테스트 유형
A/B 테스트는 크게 두 가지 유형으로 나뉩니다.
● 마케팅 캠페인 테스트: ASO(앱 스토어 최적화)와 사용자 획득 전략 포함.
● 인앱 테스트: UX/UI, 온보딩 및 기타 요소들을 테스트하여 세션 시간, 유지율, 인게이지먼트 및 기타 확인하고자 하는 앱에 특화된 사용자 행동을 모니터링.
MAX는 광고 매출을 최적화할 수 있도록 인앱 테스트에 관한 툴을 제공하여, 다음을 테스트할 수 있도록 지원합니다.
● ARPDAU 증가 (빈도수 상한선, 리프레시율, 입찰 하한선 등).
● 워터폴 최적화
● 네트워크 추가/삭제
초 보를 위한 A/B 테스트 예시
사용자 획득/ 앱 스토어 최적화(ASO) 테스트
A/B 테스트는 여러 앱 스토어 전략을 테스트하여 기존 사용자 경험 개선과 수익화를 도와줄 뿐만 아니라, 새로운 사용자를 획득할 수 있는 방법을 찾을 수 있도록 해줍니다. 앱 스토어에서의 이미지나 스크린샷, 설명 글 등 앱 페이지에 나오는 모든 요소를 테스트해볼 수 있습니다. 앱 스토어 앱 페이지의 여러 요소를 테스트하면 사용자의 앱 설치를 유도하는 것이 무엇인지 파악할 수 있습니다.
● 인앱 테스트 – A/B 테스트를 통해 다양한 인앱 요소를 테스트해볼 수 있습니다.
● 디자인 – CTA 버튼이 현재 최적의 위치에 놓여 있나요? A/B 테스트를 통해 왼쪽, 오른쪽 중 어느 곳에서 더 많이 버튼이 클릭되는지, 클릭 유도에 더 효과적인 색상이 있는지 확인할 수 있습니다.
● 플레이어 인게이지먼트 – 플레이어의 게임 순위 리더보드를 도입하면 정말 인게이지먼트에 도움이 될까요? A/B 테스트를 사용하면 인사이트를 직접 검증해볼 수 있습니다.
● 수익화 – 여러 배너와 인앱 결제 유형을 테스트하면 가장 클릭을 많이 유도하는 것이 무엇인지 알아낼 수 있습니다.
A/B 테스트에서 무엇에 집중해야 하나요?
테스트 요소는 무궁무진하기 때문에 A/B 테스트에서 주력해야 하는 요소를 정하기가 어려울 수 있습니다. 다음은 가장 널리 사용되는 테스트 요소입니다.
유지율: iOS와 Android 앱 유지율에 관한 보고서에 따르면, 30일차 평균 유지율은 각각 4.13%와 2.6%를 기록했습니다. 사용자 이탈은 너무나 당연하지만 낮은 수치가 다소 암울하게 느껴질 수 있습니다. 그러나 더 중요한 것은 이러한 수치가 사용자 유지에 성공한 앱의 비중을 보여준다는 것입니다.
사용자가 앱을 다운로드하면 다음을 테스트하여, 사용자를 앱으로 돌아오게 하는 것이 무엇인지 알아낼 수 있습니다.
● 프로모션 컨텐츠, 세일, 업그레이드 제공
● 특정 앱 기능(앱 사용자들이 좋아하는 앱의 ‘킬러 기능’이 무엇인가요?)
● 여러 유형의 인앱 결제, 사용자 리워드 등
수익화: 인앱 광고나 인앱 결제, 또는 둘을 결합한 수익화 방식 모두에 대해서도 다음과 같이 A/B 테스트를 도입할 수 있습니다.
● 광고 네트워크 구성 테스트: 새로운 네트워크의 추가나 삭제에 따른 증분을 확인하여 광고 수익화 전략을 테스트해볼 수 있습니다. 또는 새로운 가격대나 지역별 워터폴 최적화를 통해 LTV를 최적화할 수 있는 기회를 찾아볼 수 있습니다.
● IAP 증가에 도움이 되는 요소 테스트: A/B 테스트는 여러 고객 인게이지먼트 방법과 메시지 중 무엇이 가장 효과적인지 알 수 있도록 해줍니다. 다양한 메시지 내용, 메시지 길이와 CTA를 테스트하여 사용자의 행동을 가장 효과적으로 유도하는 것이 무엇인지 확인할 수 있습니다.
온보딩: 간단하고 이해하기 쉬운 온보딩 과정은 앱 성공에 필수적입니다. A/B 테스트는 온보딩 여정에서 사용자의 고충 지점과 효과적인 곳을 확인하여 사용자 경험을 개선할 수 있도록 해줍니다. 사용자가 좋아하고, 앱으로 돌아올 수 있도록 하는 것이 무엇인지 확인해보시기 바랍니다. 다음은 온보딩 개선을 위해 테스트해볼 수 있는 요소입니다.
● 가입 유도 화면: 사용자가 앱을 처음 열자마자 바로 가입해야 있나요? 아니면 앱을 일정 정도 경험해본 뒤 가입 유도 메시지가 표시되나요? 사용자에게 앱을 충분히 보여준 뒤 앱 가입을 유도하면 사용자의 거부감을 줄일 수 있습니다.
● 온보딩 형식: 사용자가 앱에 가입한 뒤, 별도로 정보를 기입해야 하는 양식이 있나요?(이 과정은 매끄럽게 진행되나요?) 로그인 방식(소셜 미디어, 이메일 등)은 무엇인가요? 온보딩 과정이 복잡하거나 어렵다면 사용자를 잃게 될 것입니다. 다양한 온보딩 형식을 테스트하여 최적화하는 것이 중요합니다.
● 온보딩 플로우: 온보딩 여정에서 남은 화면의 수나 단계를 알려주면 사용자가 언제 온보딩이 끝날지 알 수 있어서 효과적입니다. 남은 화면의 수를 숫자로 표시하거나 프로그레스 바에서 남은 단계를 점으로 표시하는 등 다양한 디자인 레이아웃을 테스트해볼 수 있습니다.
● 메시지: A/B 테스트는 사용자에게 가장 효과적인 메시지를 찾고, 사용자의 심리와 동기를 이해하여 메시지를 더욱 정교화할 수 있도록 해줍니다. 메시지는 명확하고 간결하며, 읽기 쉬운 형태로 정보를 제공할 수 있어야 합니다. ‘쉬운’, ‘간편한’, ‘무료’, ‘좋아요’, ‘새로운’, ‘검증된’, ‘절약 가능’ 등과 같은 짧으면서도 행동에 집중하는 단어를 사용하시기 바랍니다. 다양한 메시지 내용과 메시지 길이, CTA를 테스트하면 사용자에게 가장 효과적인 메시지를 만들 수 있습니다.
테스트는 얼마나 오래 걸리나요?
일반적으로 A/B 테스트에서 유의미한 데이터를 충분히 얻으려면 1~4주가 소요되며, 최대 4주를 넘지 않는 것이 좋습니다. 4주로 한정하는 이유는 A/B 테스트가 엄격히 통제된 환경에서 진행되는 것이 아니기 때문에, 예기치 못한 요소(갑작스러운 서비스 장애나 산업 트렌드 등)가 데이터에 영향을 줄 수 있기 때문입니다. 데이터 수집에는 충분한 시간이 필요하지만, 동시에 기간을 너무 길게 설정하면 외부 요소에 영향을 받은 데이터를 받게 될 수 있습니다.
얼마나 많은 사용자를 테스트해야 하나요?
Nielsen Norman Group에 따르면, 관찰된 결과가 기저 원인 없이 우연으로 발생할 확률이 5% 미만인 경우 통계적 유의성을 가진 것으로 간주됩니다. 예를 들어, 각기 다른 색으로 된 버튼 A와 버튼 B 테스트에서 각 버튼에 대한 클릭(전환율)을 확인한 결과 B버튼의 전환율이 막대하게 더 높은 경우, 버튼 B를 사용할 때 전체 사용자에 대한 전환율이 더 높을 것이라고 95% 확신할 수 있습니다.
MAX에서 어떻게 A/B 테스트를 생성하나요?
MAX에서 A/B 테스트를 처음으로 생성하는 경우 아래를 참조하시기 바랍니다.
- MAX 대시보드의 왼쪽 탐색 항목에서 Mediation > Manage > Ad Units을 선택합니다.
- A/B 테스트를 설정하고자 하는 광고 유닛을 클릭합니다.
- Edit Ad Unit 창의 Default Waterfall 탭에서 ⋯ 메뉴를 연 뒤, Create AB Test를 선택합니다.
- Copy existing ad unit configuration…을 선택한 뒤, 박스를 체크하고 Create AB Test를 선택합니다. 이는 기존의 워터폴을 새 테스트에 복사합니다.
참조: MAX는 기존의 워터폴 구조를 테스트 구조에 복사합니다. 이때, 테스트하고자 하는 변경 내용만 새 Test Ad Unit에서 만들면 됩니다. 새 워터폴을 처음부터 다시 만들 필요 없습니다. - 새 A/B 테스트가 생성되면, MAX는 기본값에 따라 사용자의 50%에 Test 구성을 적용합니다. 이 값은 변경 가능합니다.
축하합니다! A/B 테스트가 생성되었습니다! 그럼 이제 뭘 해야 할까요?
A/B 테스트가 생성되었으면 테스트를 시작해야 합니다. 그렇다면 좋은 테스트 전략은 무엇일까요?
● 테스트 요소 정의하기: 테스트하고 분석할 수 있는 요소는 무궁무진하지만 우선 가설 설정부터 시작하시기 바랍니다.
● 한 번에 하나의 요소만 테스트하기: 다변수 A/B 테스트와 같이 여러 변수를 테스트해볼 수도 있지만, 한 번에 하나의 변수를 테스트하는 것이 가장 좋습니다. 테스트에서 무엇이 긍정적 또는 부정적 결과를 야기하는지 더 찾기 쉽기 때문입니다.
지금 MAX를 통해 A/B 테스트를 시작하고 사용자 인게이지먼트와 유지율을 개선해보세요.
