01

실험은 끝났다. 무엇을 알게 되었나?

1부에서 고객이 멈춘 지점을 찾고, 반박 가능한 가설 하나를 정해, 현재 경험과 작은 변경안을 비교했다. 이제 숫자가 나왔다. 이때 가장 쉬운 실수는 가장 크게 움직인 숫자를 골라 성공이라고 부르는 것이다. 실험 전에 적어 둔 질문으로 돌아가야 한다. “데이터 이전의 위험을 이해하지 못해 상담을 미룬다”는 가설이었다면, 클릭 수보다 그 불안이 줄었는지, 적합한 고객의 상담이 늘었는지가 먼저다.

이 사례는 설명을 위한 가상 상황이다. 특정 기업에서 효과가 검증됐다는 뜻이 아니다. 비교 기간에 가격, 대상 고객, 영업 절차가 함께 달라졌다면 결과를 그 페이지 한 가지의 효과라고 읽을 수도 없다.

02

한 숫자로 결론을 내리지 않는다.

먼저 약속한 주요 지표를 본다. 상담 신청이 늘었는가. 다음에는 고객의 질을 본다. 실제 구매 검토에 맞는 문의인가, 반복 질문과 불만은 늘지 않았는가. 마지막으로 비교가 믿을 만한지 본다. 표본이 적거나 기간이 짧거나 두 집단에 다른 변화가 섞였다면, 결과는 다음 실험의 단서이지 확대를 명령하는 판결이 아니다.

Google Ads는 기존 캠페인과 변경안에 트래픽 또는 예산을 나눠 정해진 기간 동안 비교할 수 있다고 설명한다. 결과가 아직 미정이면 더 많은 자료가 필요할 수 있다고도 안내한다. 이는 Google Ads 안의 실험에 관한 설명이지, 모든 회사가 같은 기간을 기다리거나 같은 수치를 합격선으로 삼아야 한다는 뜻은 아니다.

관찰한 결과아직 모르는 것다음 행동
주요 지표와 고객의 질이 함께 좋아졌다효과가 다른 고객·채널에서도 유지될까?범위를 조금 넓혀 다시 비교한다
클릭만 늘고 적합한 문의는 그대로다관심만 끈 것인가, 설명이 부족한가?예산 대신 메시지와 경험을 고친다
차이가 작거나 자료가 부족하다효과가 없는가, 아직 판단할 수 없는가?조건과 필요한 자료를 점검해 재실험한다
불만·오해 등 해로운 신호가 늘었다어디서 약속이 어긋났는가?확대를 멈추고 원인을 조사한다
03

전환이 보였다고 새 매출이 생긴 것은 아니다.

기존 고객이 원래 할 구매를 광고가 먼저 가져왔을 수도 있다. 한 채널에 기록된 전환을 사업 전체의 추가 성과로 바꾸어 말하면 예산 판단이 흔들린다. Google Ads의 Conversion Lift는 광고에 노출된 집단과 그렇지 않은 집단의 차이로 추가 전환을 추정한다. 하지만 이 도구는 모든 계정에서 쓸 수 없고, 그 결과도 측정한 캠페인과 시점의 범위에서 해석해야 한다.

그런 측정이 불가능한 팀도 있다. 그 경우 “증분 효과를 입증했다”고 쓰지 않는다. 지금 확인한 것, 아직 확인하지 못한 것, 다음에 무엇을 비교할지를 나누어 적는 편이 정직하다. AI는 표를 빠르게 만들 수 있다. 그러나 빈칸에 확신을 채워 넣어서는 안 된다.

예산은 확신의 크기가 아니라, 확인한 것의 범위에 맞춰 늘린다.
04

확대는 한 번의 승인이 아니라 다음 실험이다.

결과가 좋아도 한꺼번에 모든 채널로 복제하지 않는다. 고객군이나 예산을 한 단계만 넓히고, 같은 약속이 다른 맥락에서도 통하는지 다시 본다. 확대 전에는 비용 상한, 중단할 신호, 검토 날짜, 최종 결정자를 정한다. 더 많은 사람이 들어왔을 때 응대와 서비스의 질을 지킬 수 있는지도 확인한다.

첫 실험의 성과는 정답을 얻었다는 선언이 아니다. 무엇을 계속하고, 무엇을 고치고, 어디서 멈출지를 전보다 분명히 알게 되는 일이다. AI 마케팅전략은 그 판단을 사람에게서 빼앗는 기술이 아니라, 더 빨리 시험하되 증거보다 앞서 달리지 않게 만드는 운영 방식이어야 한다.