A/B 테스트 결과 해석·승자 판정

학습목표 / 사전지식: 이 수업을 마치면 실험 데이터를 코덱스 Skills에 맡겨 SQL과 수식 부담을 낮추고, 결과표를 읽어 승자·보류·재실험을 판단하는 흐름을 설명할 수 있습니다. [GL-12, GL-18]

선수지식은 없어도 되며, 숫자를 보는 순서는 “누가 더 좋아 보이는가”보다 “믿고 바꿔도 되는가”에 맞춥니다. [GL-12, GL-18]

1. 왜 필요한가 — 개념·배경을 초보자 눈높이로 (이 기능이 뭔지, 비유, 용어풀이) [근거: GL-12, GL-18]

A/B 테스트는 두 안내문, 두 가격 문구, 두 버튼처럼 A안과 B안을 나누어 반응을 비교하는 일로 다룹니다. [GL-18]

비개발자에게 가장 큰 벽은 데이터를 꺼내는 SQL과 계산식인데, 이 레슨은 그 벽을 낮춰 “SQL 진입장벽 제거”라는 목적에 맞게 진행합니다. [GL-12]

유의성은 그 차이를 우연으로 보기 어려운지 따져 보는 말입니다. 동전을 던져 앞면이 몇 번 더 나왔다고 해서 그 동전이 특별하다고 단정하지 않는 태도와 비슷하게 설명합니다. [GL-12]

승자 판정은 숫자가 큰 쪽을 무조건 고르는 일이 아니라, 실험 준비와 해석을 빠르게 이어 “테스트 준비 즉시”라는 업무 흐름에 맞게 결론을 정리하는 일로 다룹니다. [GL-18]

2. 준비 — 코덱스 어디로 들어가 무엇을 누르나 (화면 요소 설명) [근거: GL-12, GL-18]

코덱스에서는 새 작업 창을 열고 이번 클립의 기능인 Skills를 사용해 “실험 결과 해석용 작업 방식”을 먼저 정합니다. [GL-12]

화면에는 입력창, 작업 지시 영역, 파일 또는 데이터 붙여넣기 영역, 결과가 표시되는 응답 영역이 있다고 보고 따라갑니다. [GL-12]

준비물은 실험 이름, 기간, A안 방문자 수, A안 전환 수, B안 방문자 수, B안 전환 수, 그리고 전환의 뜻입니다. [GL-18]

전환은 원하는 행동을 완료한 수라는 뜻으로, 구매·신청·상담 요청처럼 실험의 목표가 된 행동을 한 칸짜리 이름으로 적습니다. [GL-18]

3. 따라하기 — 단계별로 아주 세세하게 (각 단계: 화면에 뭐가 보이고 / 무엇을 입력하고 / 결과가 어떻게 나오나) [근거: GL-12, GL-18]

1단계에서는 데이터 표를 먼저 붙여 넣습니다. [GL-18]

화면에는 표 형태의 숫자가 보여야 하며, 예시는 variant, visitors, conversions 세 열로 충분합니다. [GL-12]

experiment: 6월 랜딩 CTA 문구 테스트
metric: 상담 신청 전환

variant, visitors, conversions
A_기존문구, 4200, 210
B_새문구, 4300, 258

2단계에서는 Skills에게 역할을 줍니다. [GL-12]

입력문은 “너는 마케팅 실험 분석 스킬이다”로 시작하고, SQL이 필요한 경우 초보자가 복사해 쓸 수 있게 쿼리와 해석을 함께 달라고 요청합니다. [GL-12]

3단계에서는 전환율을 계산하게 합니다. [GL-12]

전환율은 전환 수를 방문자 수로 나눈 값으로 다루며, 결과 표에는 A안 전환율, B안 전환율, 차이, 상승률이 보이게 합니다. [GL-12]

4단계에서는 유의성 해석을 요청합니다. [GL-12]

프롬프트에는 “숫자가 더 큰 쪽, 통계적으로 조심할 점, 승자 판정, 다음 행동을 분리해 써 달라”고 넣습니다. [GL-18]

5단계에서는 판정을 세 가지 중 하나로 고르게 합니다. [GL-18]

승자 채택은 새 안을 적용해도 된다는 뜻으로 쓰고, 보류는 더 모아야 한다는 뜻으로 쓰고, 재실험은 설계나 데이터가 흔들렸다는 뜻으로 씁니다. [GL-18]

6단계에서는 보고용 문장으로 바꿉니다. [GL-18]

좋은 결과문은 “B안이 높았다”에서 끝나지 않고 “그래서 무엇을 바꿀지”까지 이어집니다. [GL-18]

예시는 “B안은 A안보다 상담 신청 전환율이 높게 관찰되었고, 현재 데이터 기준으로 승자 후보로 정리합니다”처럼 조심스럽게 말합니다. [GL-18]

4. 복붙 템플릿 — 그대로 쓰는 프롬프트/Skill + 각 부분이 왜 그런지 해설 [근거: GL-12, GL-18]

아래 템플릿은 코덱스 Skills에 붙여 넣어 실험 해석의 틀로 쓰는 문장입니다. [GL-12]

# Skill: AB 테스트 결과 해석 도우미

너는 비개발자 마케터를 돕는 A/B 테스트 분석 스킬이다.
내가 주는 실험 데이터를 보고 SQL 또는 수식 부담을 낮춰 설명한다.

입력값:
- experiment_name:
- metric:
- variant:
- visitors:
- conversions:

해야 할 일:
1. 데이터가 빠진 칸이 있는지 먼저 확인한다.
2. 각 variant의 전환율을 계산한다.
3. A안과 B안의 차이와 상승률을 표로 만든다.
4. 유의성은 쉬운 말로 설명하고 과장하지 않는다.
5. 판정은 승자 채택 / 보류 / 재실험 중 하나로 쓴다.
6. 마지막에 보고용 한 문장과 다음 행동 2개를 제안한다.
7. SQL이 필요하면 초보자가 복사할 수 있는 형태로 함께 작성한다.

첫 줄의 역할 지정은 결과가 분석가 말투로 정리되게 만드는 안전장치입니다. [GL-12]

입력값을 고정해 두면 매번 빠뜨리는 숫자를 줄일 수 있고, “테스트 준비 즉시”에 가까운 반복 업무 흐름을 만들 수 있습니다. [GL-18]

판정을 세 가지로 제한하면 “좋아 보인다” 같은 애매한 말 대신 다음 행동을 정하는 문장으로 끝낼 수 있습니다. [GL-18]

SQL 요청을 템플릿 안에 넣는 이유는 비개발자가 쿼리 문법에서 멈추지 않게 하려는 목적이며, 이는 “SQL 진입장벽 제거”와 맞닿아 있습니다. [GL-12]

5. 응용·함정 — 변형, 자주 막히는 곳과 해결 [근거: GL-12, GL-18]

첫 번째 함정은 방문자 수가 한참 적은데도 바로 승자를 못 박는 것입니다. [GL-18]

이때는 “현재 관찰값 기준 후보”와 “최종 채택”을 따로 구분해 쓰게 하면 됩니다. [GL-18]

두 번째 함정은 전환의 뜻이 중간에 슬그머니 바뀌는 것입니다. [GL-18]

프롬프트 맨 위에 metric을 한 줄로 못 박고, Skills가 해석에 들어가기 전에 metric을 다시 확인하게 하면 막을 수 있습니다. [GL-18]

세 번째 함정은 SQL 결과와 손계산 표가 서로 어긋나는 것입니다. [GL-12]

이때는 코덱스에게 “방문자 수, 전환 수, 전환율의 계산식을 표 아래에 다시 적어 달라”고 요청합니다. [GL-12]

응용으로는 이메일 제목 테스트, 광고 문구 테스트, 랜딩 페이지 버튼 문구 테스트를 같은 틀에 넣을 수 있습니다. [GL-18]

6. 정리·체크리스트 [근거: GL-12, GL-18]

오늘의 핵심은 Skills에 분석 방식을 먼저 정해 두고, 실험 데이터를 넣은 뒤, 계산·해석·판정을 같은 흐름으로 반복하는 것입니다. [GL-12, GL-18]

체크리스트는 다섯 줄이면 충분합니다. [GL-18]

• 실험 이름과 기간을 적었다. [GL-18]
• A안과 B안의 방문자 수와 전환 수를 넣었다. [GL-18]
• 전환율, 차이, 상승률을 표로 받았다. [GL-12]
• 유의성 해석을 쉬운 말로 받았다. [GL-12]
• 판정을 승자 채택, 보류, 재실험 중 하나로 정했다. [GL-18]

마지막으로 보고서에 붙일 문장은 짧아야 합니다. [GL-18]

“B안은 현재 데이터에서 A안보다 높은 전환율을 보였고, Skills 해석 기준으로 승자 후보로 정리합니다”라고 쓰면 숫자와 행동이 함께 남습니다. [GL-12, GL-18]

출처

본문의 [...] 표기는 아래 근거에서 확인할 수 있습니다.

• GL-12 — 마케팅·운영 · SQL 쿼리
• GL-18 — 마케터 · 랜딩 A/B 변형