A/B 테스트 #
전체 대상자를 대조군과 실험군(A, B)로 나누어 변수(UI, 알고리즘 등)를 실험하는 것
= 더 가치 있는 변수를 식별 → 최고의 시안을 선정하는 것
예를 들어, 웹사이트의 디자인, 마케팅, 광고에서 ‘가장 좋은 효과를 낼 수 있는 전략’을 선택하기 위해 실험하는 것이다.
| 용어 | 설명 |
|---|---|
대조군 (control group) |
현재 사용 중이거나 주로 사용되어온 변경되지 않은 버전 |
실험군(Experimental Group) 처리군 ( Treatment Group) 챌린저 ( Challenger) |
새롭게 실험할(시도할) 버전 |
챔피언 (champion) |
(AB 테스트 실행 후 얻은) 목표에 근접한 버전 |
| 방식 | 방법 | 특징 | 적합한 사용 |
|---|---|---|---|
| 노출 분산 방식 | A, B 의 노출을 ‘일정 비율’로 노출한다. | - 가장 통계적 유의성이 높다. - UI/UX 실험일 경우, 사용자에게 혼란을 줄 수 있다. (일정 비율로 노출이 계속 변경되니까) - Heavy User 에 의한 영향이 덜하다. |
알고리즘 테스트에 적합하다. 요약 : - 통계적 유의미 ↑ - 사용자 친화적 ↓ |
| 사용자 분산 방식 | 사용자(그룹)를 분리 → 그룹별로 A, B 버전을 (고정적으로) 노출한다. | - UI/UX 테스트에 적합하다. - Heavy User에 의해 결과값이 왜곡될 수 있다. 요약 : - 통계적 유의미 ↓ (비교적) - 사용자 친화적 ↑ |
UI/UX 테스트에 적합하다. |
| 시간 분산 방식 | 초~분 단위 정도로 시간대를 세밀하게 분할하여 A, B를 노출한다. | - 노출/사용자 분산 방식을 사용할 수 없는 경우 대안적으로 활용할 수 있다. - 많이 활용되는 방식은 아니다. |
노출/사용자 분산 방식을 사용할 수 없는 경우 대안적으로 활용할 수 있다. |
검증 #
가장 많이 활용되는 방식
| 분석 |
|---|
| AA Test |
| P-Value 분석 |
자세한 내용은 이후 추가적으로 찾아볼 것
예시 #
- 각각 다른 버전을 배포하고, 각각 다른 고객(그룹)에게 보여준다.
- A 버전은 ‘a’ 그룹(고객군)에게 보여준다.
- B 버전은 ‘b’ 그룹(고객군)에게 보여준다.
- ‘미리 설정한 목표’에 근접한 버전을 선택/결정한다.
주의 & 특징 #
- A/B 테스트는 1회 시행으로 끝나는 것이 아니라, 지속해서 반복하는 것이 중요
- 예를 들어, 팀이 원하는 목표, 결과를 얻을 때까지 A/B 테스트를 수행
- 단순한 접근은 지양
- AB테스트를 통해 얻은 결과가 모든 상황에 적용되는 것은 아니다.
- 특정 고객(‘a’) 에게 A 변수가 효과적이라는 결과를 얻었어도, 다른 고객(‘b’) 에게는 적용되지 않을 수 있다.
- AB테스트를 통해 얻은 결과가 모든 상황에 적용되는 것은 아니다.
- AB 테스트에서는 시간이 중심적은 역할을 한다.
- 둘 이상의 변형을 동시에 실행해야 한다. (?)
- 트래픽 할당은 ‘랜덤’으로 유지하는 것이 중요하다.
- 트래픽 양은 두 변형 페이지에 유사하게 보내 무결성을 유지하고, 유의미한 결과를 얻을 수 있도록 한다.
- 가장 일반적인 방법은 50:50, 60:40 비율로 유지하는 것이다.