엔지니어링 티켓 하나 없이 제품에서 라이브 실험을 직접 실행할 수 있습니다. 버튼 색상, 새로운 온보딩 플로우, 또는 다른 가격을 테스트하고, 사용자들에게 두 버전을 나란히 보여주세요. 대부분의 경우 새로 만들 것도, 배포할 것도 없습니다. 이 모듈은 "어느 버전이 더 나은가"라는 판단을 숫자로 검증된 A/B테스트로 바꿔줍니다.
무엇을 실험할 수 있나요?
네 가지 실험 유형이 있으며, 각각 제품의 다른 영역을 다룹니다.
- 기능 파라미터(Feature Parameter) 실험: 버튼 색상이나 가격처럼 설정 값의 다른 버전을 코드 없이 테스트합니다.
- 비주얼(Visual) 실험: 비주얼 에디터로 페이지 내용을 직접 변경한 뒤 변형 버전을 비교합니다.
- URL 리타겟팅(URL Retargeting) 실험: 다른 사용자를 페이지의 각기 다른 버전으로 라우팅하고 어느 쪽이 더 높은 전환율을 보이는지 측정합니다.
- 푸시(Push) 실험: 푸시 알림이나 팝업의 카피 문구를 다르게 테스트합니다.
가입 및 온보딩의 그로스 실험, 랜딩 페이지와 캠페인 전환, 그리고 푸시 메시지 문구 변경 등, 이미 하고 있는 다양한 A/B 테스트를 커버할 수 있습니다.
테스트는 어떻게 실행되나요?
실험이 라이브되면, 플로우는 자동으로 돌아갑니다. 사용자가 접속할 때마다 다음과 같은 일이 일어납니다.
- 사용자가 앱을 엽니다. 백그라운드에서 앱이 중앙 실험 엔진에 이 사람에게 어떤 버전을 보여줄지 묻습니다.
- 엔진이 설정한 규칙을 적용해 버전을 선택하고 반환합니다. 앱은 해당 버전을 사용자에게 보여줍니다.
- 앱이 조용히 어떤 버전을 봤는지 보고합니다. 사용자는 아무것도 하지 않습니다.
- 모든 보고가 언제든 열어볼 수 있는 결과 리포트로 집계됩니다.
동일한 사람은 실험 내내 같은 버전을 보게 되어 결과가 깨끗하게 유지되고, 서로 충돌하는 두 테스트에 동시에 들어가는 일도 없습니다. 이 플로우는 앱, 웹, 서버 사이드 전반에서 동일하게 작동하므로 경험이 어디에 있든 테스트가 따라갑니다.
무엇을 할 수 있나요?
| 기능 | 설명 |
|---|---|
| 코드 없이 설정값 테스트 | 버튼 색상이나 가격 같은 설정의 다른 버전을 시도하고, 제품의 여러 부분에서 동시에 여러 실험을 실행합니다. |
| 공정한 사용자 분할 | 사용자를 비례적으로 그룹에 배분하고, 한 사람이 충돌하는 두 테스트에 들어가지 않도록 막으며, 무관한 실험들을 나란히 실행합니다. |
| 어디서나 일관성 유지 | 각 사람은 실험 내내 같은 버전을 보게 되어 결과가 깨끗하게 유지되며, 앱·웹·서버 사이드 전반에서 작동합니다. |
| 올바른 지표 추적 | 누가 어떤 버전을 봤는지 기록하고, 가입 여부 같은 이진(yes/no) 결과와 지출 금액 같은 수치 결과 모두 측정합니다. |
| 효과 여부 판단 | 여러 실험을 하나의 리포트로 통합하고, 적합한 통계 검정을 자동으로 선택해 명확한 답을 제공합니다: 이 버전이 더 나았다, 더 나빴다, 또는 실질적인 차이가 없었다. |
| 쉬운 출시 또는 되돌리기 | 버전이 승리하면 클릭 한 번으로 전체 사용자에게 배포하거나 특정 비율에만 먼저 적용하세요. 문제가 있으면 즉시 되돌릴 수 있습니다. |
시작하는 방법
시작하려면 제품 내에서 실험을 구성하세요: 비교할 버전을 선택하고, 트래픽 분할 비율을 설정한 뒤 발행합니다. 이후 엔진이 배정과 추적을 처리하고, 결과 리포트가 어느 버전이 앞섰는지 알려줍니다.
승자가 결정되면 전체 사용자에게 배포하거나 일부 비율에 먼저 적용하고, 문제가 생기면 즉시 되돌리세요.
Share