AB 테스트

A/B 테스트 #

전체 대상자를 대조군과 실험군(A, B)로 나누어 변수(UI, 알고리즘 등)를 실험하는 것
= 더 가치 있는 변수를 식별 → 최고의 시안을 선정하는 것

예를 들어, 웹사이트의 디자인, 마케팅, 광고에서 ‘가장 좋은 효과를 낼 수 있는 전략’을 선택하기 위해 실험하는 것이다.

검증 #

가장 많이 활용되는 방식

자세한 내용은 이후 추가적으로 찾아볼 것

예시 #

1. 각각 다른 버전을 배포하고, 각각 다른 고객(그룹)에게 보여준다.

• A 버전은 ‘a’ 그룹(고객군)에게 보여준다.
• B 버전은 ‘b’ 그룹(고객군)에게 보여준다.

2. ‘미리 설정한 목표’에 근접한 버전을 선택/결정한다.

주의 & 특징 #

• A/B 테스트는 1회 시행으로 끝나는 것이 아니라, 지속해서 반복하는 것이 중요
  • 예를 들어, 팀이 원하는 목표, 결과를 얻을 때까지 A/B 테스트를 수행
• 단순한 접근은 지양
  • AB테스트를 통해 얻은 결과가 모든 상황에 적용되는 것은 아니다.
    • 특정 고객(‘a’) 에게 A 변수가 효과적이라는 결과를 얻었어도, 다른 고객(‘b’) 에게는 적용되지 않을 수 있다.
• AB 테스트에서는 시간이 중심적은 역할을 한다.
  • 둘 이상의 변형을 동시에 실행해야 한다. (?)
• 트래픽 할당은 ‘랜덤’으로 유지하는 것이 중요하다.
  • 트래픽 양은 두 변형 페이지에 유사하게 보내 무결성을 유지하고, 유의미한 결과를 얻을 수 있도록 한다.
  • 가장 일반적인 방법은 50:50, 60:40 비율로 유지하는 것이다.

참고 #

• AB 테스트: 무엇이며 어떻게 작동할까요?
• AB Test 기본부터 심화까지 - 1편