[제로베이스 PM스쿨 29기] AB Test

 

AB Test란

기존 요소로 구성된 A안과 특정 요소를 변형한 B안을 비교해 어느 것이 더 나은 성과를 나타내는지 측정하는 실험이다. 테스트의 목적이 명확해야 하고, 뚜렷한 가설과 목표를 갖고 있어야 한다.

 

목표가 되는 특정 지표

• 사용자 환경 개선
• 전환율
• 반송률
• 매출 개선

 

AB Test의 5단계

1. 리서치: 현재 웹사이트의 성과를 측정하고 데이터를 살펴보면서 문제점을 찾는다. (ex. 고객들이 방문하지 않는 페이지, 이탈률이 높은 페이지 등)
2. 가설 수립: 리서치 과정을 바탕으로 우리가 직면한 문제점에 대한 가설을 세운다. (ex. CTA 위치를 상단으로 옮긴다면, 사용자가 CTA를 더욱 쉽게 인식하여 전환율이 높아질 것이다.
3. A/B안 생성: 가설을 기반으로 기존 요소가 담긴 A안과 특정 요소를 변형한 B안을 생성한다. A안을 보는 집단은 대조군(Control Group), B안을 보는 집단은 실험군(Experimental Group)이 된다.
4.  테스트 진행: 테스트 기간과 표본 크기를 정한다. 동시에 동일한 기간 동한 진행하여 변형한 요소 외에 실험에 영향을 줄 수 있는 다른 변수를 최대한 통제한다.
5. 분석 및 의사결정: 둘 중 더 좋은 성과가 나타난 이유가 무엇인지 파악한다.

 

AB Test 시 유의 사항

• 통제 변수 관리 실패: AB 테스트가 실패하는 가장 큰 원인은 통제 변수를 식별하지 못했거나, 통제 변수를 잘 관리하지 못하는 것이다. 가설에서 정의한 독립 변수 외에 다른 변수가 종속 변수에 영향을 미쳤다면 그 결과를 성장의 밑거름으로 활용할 수 없다.
• 무가설: 검증하고 싶은 가설이 무엇인지 정의하지 않는다면 실험에서 얻을 수 있는 결과는 거의 없다.
• 단순 평균 비교: 종속 변수의 변화를 단순 평균 비교하면 우연에 의한 결과와 실제 효과를 혼동할 수 있다. 평균 비교 외에도 분포, 유의수준 등을 종합적으로 고려해서 결과를 해석해야 한다.
• 시간 흐름 무시: 테스트 기간 전체에 대한 종속 변수 평균을 비교하는 것도 중요하지만 시간의 흐름에 따라 종속 변수가 어떻게 변화했는지 보는 것도 중요하다. 실제로 실험 초반에는 조건 별 차이가 나타났다가 후반에는 차이가 사라지는 경우, 또는 그 반대의 상황이 종종 나타나기 때문이다.

 

AB Test는 한 번만 진행하는 게 아니라 대조군을 여러 개 만들어 반복적으로 진행해야 보다 정확한 분석을 할 수 있을 것 같다. 많은 대조군을 만들려면 리소스가 많이 들겠지만 그만큼 많은 데이터를 얻고, 다양한 조건에서 결과를 확인할 수 있으며, 결과의 신뢰성을 높일 수 있다.