주제 선택 이유
프로덕트 개선을 위한 실험 과정에서 자주 사용되는 A/B 테스트-!
아는 만큼 보이니까, 공부해 보도록 하겠습니다-!
핵심 한 줄 정리
A/B 테스트를 진행하며 유의해야 할 포인트, 비교할 것 외에 통제변수 관리 + 핵심 지표외에도 관련 지표들을 확인하며 실험의 의미를 검증하고 또 검증할 것
내용 정리
•
A/B테스트 란? → 가설기반 통제 실험이라고 말할 수 있음
•
A : 대조군으로 A의 제품 경험을 제공하고, B : 실험군으로 B의 제품 경험을 제공 받음
둘 중 어느 것이 더 사용자에게 좋은 경험을 제공할까?
•
A/B 테스트 중 유의할 점 : 비교해야 할 것 이외에, 다른 모든 것이 두 그룹 간에 일정하게 유지되도록 해야 함.
•
넷플릭스의 A/B 예시에서는 클릭율을 비교함 (더쉽게 정보 읽고 → 클릭에 도달하는 것을 판단)
Netflix 회원을 무작위로 나누어, A/B화면을 각각 전달하고 → 두 그룹간의 지표를 비교함
그외 다른 것들은 일정하게 유지하기! (→ 이게 통제변수에 대한 의미 인듯!)
•
넷플릭스 사례를 예로 들어서, 기간, 콘텐츠 선호도, 기본 언어 설정 등이 다르지 않도록 해야 함
•
달라야 하는 것은, 테스트를 통해 제공할 새로운 경험만! 이 될 수 있도록 유의해야 함.
•
테스트 이후,
◦
긍정적인 변화가 있거나 의미 있는 변화의 증거가 없으면 새로운 경험을 유지함.
◦
부정적인 변화의 증거가 있는 경우, 이전 제품 경험으로 롤백함.
가상의 실험 예시로 이해도 높이기
Figure 3: Hypothetical data for the release of the new Upside Down box art product experience on Day 16.
•
A/B테스트는 기간을 나눠서 각각 실험하는 것이 아닌, A-B 집단을 구분하여 동시에 진행되어야 함
왜? → 기간 사이에 예상치 못한 변수들이 발생하는 것을 최소화하기 위해서
•
예를 들어서, →
A/B 두 기간 중, 새로운 시즌의 콘텐츠가 흥행을 하는 이슈들이 다르게 발생할 수 있으니까!
Figure 4: Hypothetical data for an A/B test of a new product experience.
•
이 두가지 예시로 저자가 말하고 싶은 의도는! →
◦
실험과정에서 우리가 통제할 수 무언가가 언제든지 개입할 가능성이 있다는 것!
◦
그래서, 가능한 통제할 수 있기 위해서 실험 방법에 대한 기준을 명확히 해야 함
◦
인과관계가 명확할 수 있도록!
모든 것은 아이디어에서 시작!
아이디어 가설로 시작된 큰 TOP10을 보여주는 Web UI 실험
•
가설 : “Showing members the Top 10 experience will help them find something to watch, increasing member joy and satisfaction.”
•
결정 지표 : Netflix에 대한 회원 참여도를 측정하는 것
→ 넷플릭스는 참여도를 주요 지표로 확인하기로 했지만, + 그 외 타이틀의 시청률, 부분 별 시청 비율도 함께 살펴보았다고 함.
•
A/B 테스트 진행시 목표 :
새로운 제품 경험에 따라 사용자 행동이 어떻게 변경되는지부터 기본 의사 결정 지표의 변경에 이르기까지 인과 관계를 명확히 하는 것
나의 생각/관점
•
통제변수 정말 중요하구나! →
: 그래서 디자인 개선할 때도, 정말 실험해야 하는 부분만 개선하는 게 중요하겠구나! → 그래서 작게 빠르게 핵심만의 일하는 방식이 연결된 걸까? → (단순 궁금)
•
아직 100% 해소되지 않은 궁금증 →
: A/B 구분, 테스트 방법, 봐야 할 지표는 알겠는데, 각 화면을 보는 사람의 유형은 어떻게 구분하는 건데? 무조건 무작위로 나누는 건가…? 무작위에서 통제 변수만 뺀 유저 대상인가?_? → (단순 궁금)
용어•
guardrails :
접근을 막거나 막는 수단 ?
(출처 : 위키백과)
•
Treatment and control groups :
세운 가설을 검증하기 위해 실험 조건을 통제하여 실험을 수행하는 대상 집단
(출처 : 위키백과)
단어단어 | 뜻 | 예문 |
evenly | 균등하게 | evenly distributed/divided |
hypothesis | 가설 | |
subsequently | 나중에 | |
ambitious | 어마어마한 | the government’s ambitious plans for social reform |
intrinsic | 본질적인, 고유한 | the intrinsic value of education |
probability | 개연성, 있을 법한 일(=likelihood) | |
articulate | 명확히 하다 | |
causal chain | 일련의 원인 | |
statistical | 통계적인 | |
magnitude | 크기 |