15. 데이터 분석, 어디에 집중할 것인가? 가장 먼저 실험에 집중하라

여기 방문하는 사람들은 구글 애널리틱스를 어떠한 용도로 사용을 하는지 모르겠다. 다만 내가 만나는 사람들은 물론 내가 구글에서 온라인 광고와 관련된 업무를 하고 있기 때문일 수는 있으나 대부분의 사람들은 구글 애널리틱스를 온라인 마케팅 최적화를 하는데에 주로 활용을 하고 있다(물론 이는 다시 말하지만 내가 주로 온라인 광고 대행사를 만나고 다녀서 그런 것일 수도 있다).

 

구글 애널리틱스를 사용하는데에도 다양한 용도가 있을 수 있겠지만, 지금 대부분의 사람들은 온라인 광고 성과를 확인하는 용도로만 활용을 하고 있다. 최적호도 아니다. 그냥 보고, 확인만 한다.

 

여기에서 한 단계 더 나아가서 최근에 꽤 많은 온라인 대행사들이, 그리고 광고주들이 구글 애널리틱스를 통하여 온라인 광고 성과 최적화를 하고자 한다. 이해 못하는 것은 아니다. 단순하게 생각해보면, 광고주들은 광고를 위하여 돈을 쓰고, 그 돈을 가장 효율적으로 쓰고 싶어한다. 당연히 구글 애널리틱스를 통하여 광고를 최적화하는데 집중할 수 밖에 없다.

 

물론 좋은 현상이다. 국내 광고주들이 한 단계 더 나아가고 있는 것이다. 하지만, 내가 비록 이쪽에 있지만 한 가지 말해주고 싶은게 있다. 구글 애널리틱스를 활용할 때 제1중요도는 광고최적화는 아닐 수 있다. 하지말라는 것은 아니다. 이것도 당연히 필요하다! 어디까지나 더 중요한게 있다는 것일 뿐.

 

위의 인포그래픽을 한 번 만들어봤다. 광고의 ROI는 생각하지말고, 사업의 ROI를 생각해보자. 사업의 ROI를 높인다고하면 총 세 가지 안이 있다.

 

1) 광고를 최적화해서 광고의 ROI를 높이고, 더 유의미한 유저를 끌어들인다.

2) 검색엔진최적화를 통하여 검색엔진에 노출되는 순위를 높여 자연검색유입을 늘린다.

3) 사이트 유저경험 최적화를 통하여 사이트 전반의 전환율을 높인다.

 

2번안은 다른 포스팅에서 말하였듯이 슬프게도 한국에서는 아직 무척 제한적이다. 즉, 2번 옵션은 적어도 한국 웹에서는 어느 정도 제끼고 생각해도 좋을 것 같다. 무척 슬프지만 말이다.

---

1. CRO(Conversion Rate Optimization)

해외에서는 마케팅 최적화만큼 핫한 토픽은 CRO, 전환율최적화라는 주제이다. 이 CRO라는 토픽 하나로 컨퍼런스가 매년 몇 개가 열릴 정도로 중요한 주제이다. 왜?

 

위에 올린 그림을 보면 답이 나온다. 마케팅최적화를 한다고 해보자. 마케팅 최적화를 해서 영향을 줄 수 있는 트래픽은 광고를 통한 트래픽에 한정된다. 또한 마케팅은 기본적으로 돈이 들어가는 활동이다. 수익을 늘리기 위하여 빚내어 마케팅 예산을 늘릴 수도 없을 노릇이다. 또 마케팅을 운영한다고 했을 때, 사이트경험이 좋지 못하여 이탈률이 높고, 전환율이 낮다면? 말그대로 '밑빠진 독에 물 붓기' 다. 구글은 별로 그런걸 바라지 않는다. 온라인 광고를 통하여 많은 광고주들이 성공해야 구글도 장기적으로 함께 더 성장할 수 있다.

 

사이트를 개선한다면? 비단 광고를 통하여 들어온 유저뿐만 아니라, 자연 유입 고객들의 성과까지도 함께 높일 수 있다. 그 뿐이랴? 좋은 사이트 경험을 제공한 경우, 유저의 재방문 확률은 더욱 올라가게 된다. 즉, 유저의 로열티를 더욱 구축하여 향후에는 광고가 아닌, 직접유입 혹은 자연유입으로 해당 유저를 계속해서 불러올 수 있다.  위의 그림처럼 같은 일을 하였을 때 ROI는 사이트개선을 하였을 때 가장 높다.

 

밑 빠진 독에 물을 붓지 않으려면 가장 먼저 손봐야하는 것은 콘텐츠, 그리고 사이트 내의 유저경험이다. 그리고 여기에서 CRO가 시작된다.

 

CRO의 핵심은 실험이다. 구글 애널리틱스에서, 그리고 웹데이터에 기반하여 사이트를 최적화하는데 필요한 기능은 두 가지이다. 하나는 데이터를 쪼개는 것이고, 하나는 가설을 세운 후 계속해서 테스트하고 테스트하는 것이다.

 

 

2. 대표적인 실험 방법 2가지 (A/B테스트, 다변량 분석)

대표적인 실험은 A/B테스트와 다변량 실험(MVT테스트)가 있다. A/B테스트는 간단하다. 방문 페이지 리포트를 살펴보고, 이탈률이 높은 페이지를 살펴본 후 그 페이지에 대한 개선안을 몇 가지 발견하여 트래픽을 나누어서 반은 원래 페이지로, 나머지 반은 새로운 버전의 사이트로 보내서 그 결과를 살펴보면 된다. A/B테스트는 이처럼 정말 간단하다. 실험의 입문으로 보아도 무방할 것 같다.

 

다만, A/B테스트의 경우는 너무 단순하기 때문에 단점도 있다. "지금 무료베타를 이용해보세요"한 문장을 "지금 신청하면 무료!" 라는 식으로 딱 한 문장 바꾸는데는 A/B테스트가 적합하다. 하지만, 아예 웹 인터페이스를 바꾸는 상황이라면? 버튼도 바뀌고 메뉴 위치도 바뀌고 안에 나오는 문구도 전부 다 바뀌는 상황이라면? 결과야 나오겠지만 뭐 때문에 그 결과가 나왔는지는 파악하기가 힘들다.

 

다변량 실험은 이러한 A/B테스트의 단점을 보완한 실험방식이다.

 

 

페이지A와 B가 있는데, 메뉴와 이미지, 구매하기 버튼 색상, 그 아래 제품상세설명에 대한 문구를 바꿨다. A/B테스트를 하였다고 한다면, 두 페이지 중 어떤 것이 나을지 결과는 뽑아낼 수 있다. 하지만, 어떠한 요소때문에 이 결과가 나왔는지는 파악할 수 없다. 

 

혹은 메뉴B는 마음에 들지 않지만, 구매하기 버튼색깔 때문에 전환율이 올라 결과적으로 A와 B가 유사한 성과를 보일 수도 있다. 이 때문에 A/B테스트를 하게 될 경우, 버튼 색상을 바꾼다는 의사 결정조차 못 내릴 수 있다.

 

다변량 테스트는 전용 도구를 활용하여 이 4가지 요소들을 다 섞어서 페이지를 구성해준다. 페이지 종류 개수는 24개가 나온다. 이 모든 조건을 전부 다 테스트를 해볼 수도 있으며(전체요인) 이 중 유의미하다고 판단되는 부분적인 페이지만 실험해볼 수도 있다(부분요인).

 

 

3. 실험을 효율적으로 진행하려면

A/B테스트나 다변량테스트나 페이지 최적화는 모두 개별 페이지 레벨에서 진행이 된다. 그렇기 때문에 많고 많은 페이지 중에서 어떤 페이지를 테스트할 지 정해야한다. 거기에 대한 몇가지 팁이 있다면..

 

1) 가장 중요한 페이지를 먼저 고쳐야 한다(방문 페이지 리포트를 확인해라)

 

가장 큰 효과를 보는 페이지부터 진행해야 한다. 가장 큰 효과를 보는 페이지는? 방문페이지, 즉 유저들이 맨 처음으로 접근하는 페이지 중에서도 많이 방문하면서, 이탈률이 높은 페이지로부터 시작하면 좋다.

 

2) 로그인>장바구니>결제정보입력>구매완료페이지에 집중해야 한다.

결제를 하기 위하여 무조건 유저들이 거쳐야하는 페이지가 있다. 로그인>장바구니>결제정보입력>구매완료인데, 이 페이지에서의 이탈률을 살펴보는 게 또 유의미할 수 있다. 일례로 예전에 신규로 런칭하는 사이트 구성을 하는 회의에 들어갈 기회가 있었는데 로그인 과정을 구매 과정에서 어떤 순서에 놓을 것인지를 놓고 몇 시간에 걸친 토의를 한 적이 있다.

 

이런건 때로는 회의로 결과를 뽑아내기보다는 직접 테스트해보는 것이 더 올바르고 빠른 의사결정을 내릴 수 있다. 왜 린스타트업이라는 개념이 있지 않나?

 

또 이렇게 유저들이 꼭 거쳐야하는 단계에서 어떤 과정에서 유저들이 많이 이탈하는지 문제점을 바로 파악하고, 이에 대하여 다양한 테스트를 해볼 수 있다.

 

3) 광고의 숫자를 가지고 테스트해보라

 

한국의 언론사 웹사이트를 보면, 짜증나는 경우가 참 많다. 당췌 광고때문에 기사를 읽을 수 없다. 콘텐츠를 가리는 광고는 구글 광고가 아니라는 점은 좀 알아달라(구글은 한 지면에 게재지면을 최대 3개로 제한하고 있다). 그리고 언론사는 또 언론사대로 이런 광고를 올리는 이유가 있다(어쩔수 없는 이유도..또 언론사 내 프로세스의 문제도 있다).

 

광고가 많은 사이트에 방문하는 것에 대하여 유저경험에 좋지 않다는 것은 다 알 것이다. 이런 사이트는 나라도 다시 방문하고 싶지 않다. 그렇다고 이런 광고를 빼는 것은? 언론사나 블로그와 같은 콘텐츠사이트는 광고매출과 직결될 수 있다. 넣는 의사결정하기는 쉬워도 빼는 의사결정하긴 어렵다.

 

제대로 빼는 의사결정을 하기 위해서는 데이터에 기반한 의사결정이 이뤄져야 한다. 해볼 수 있는 테스트의 종류는 (1)광고의 위치 (2)광고의 크기 (3)광고의 숫자 등을 해볼 수 있다. 심지어는 광고를 아예 빼보고 전환율이 어떻게 변하는지도 확인해볼 수 있다.

 

 

4. 정확한 실험을 위해서는

정확한 실험결과를 얻기 위해서는 그리고 그 실험결과를 분석하기 위해서는 일반적인 통계지식은 있어야한다. 이러한 실험은 '가설'을 바탕으로 한다. 예를 들면, '구매버튼을 파란색으로 바꾸고 더 크기를 키우면 전환이 더 잘 일어날 것이다'와 같은 가설을 바탕으로 두 개의 다른 페이지를 구성하여 실험을 진행하게 된다.

 

이러한 가설을 기반으로 실험을 진행한 후 그 결과가 통계적으로 유의미한지 여부를 파악할 수 있어야 한다. 이전 포스팅에서 이러한 실험결과의 유의미성을 검정할 수 있는 포스팅을 올려놓았으니 참고하면 좋을 듯 하다.

 

또 한가지, 정확한 실험진행을 위해서는 '교락인자'에 의하여 데이터가 왜곡되는 일이 없도록 해야만한다. 교락인자는 전문적으로 말하자면, 실험에서 비교하고자 하는 인자(버튼색상 및 크기)외에도 사람들 사이에서 나타날 수 있는 다른 차이이다.

 

실제로 있었던 예를 들어보자. 어떤 대학교 사이트가 있었다. 8월초부터 말까지 수험생들을 대상으로 열심히 마케팅을 진행을 하였다. 그리고 광고를 진행하지 않았던 직전 7월 트래픽과 비교를 하면서 광고의 성과가 얼마나 변하였는지를 분석하였다. 세션도 늘었고, 놀랍게도 이탈률, 세션 당 페이지수 모두 전월 대비 늘었다. 이 대학의 마케팅담당자는 이 수치를 보고 무척 기뻐했다.

 

마케팅담당자는 7월과 8월 사이의 트래픽결과를 놓고 비교하였을 때, 달라진 점은 마케팅을 했다/안했다 밖에 없다고 가정하고 위와 같은 결론을 내리고 기뻐했다. 하지만 아니다. 또 다른 중요한 요소, 기간이 다르다.

 

기뻐하던 마케팅담당자한테 찬물을 끼얹는 일일 수 있지만, 현실은 8월이 신학기 시작 바로 직전이기에 기존 학생들이 많이 방문하였기에 트래픽 증가 및 이탈률이 감소한 것으로 보여졌다. 실제로 지표를 살펴보면 신규유저세션 증가율은 세션 증가율에 미치지 못하였다. 즉, 마케팅과는 전혀 상관이 없는 사유로 트래픽이 늘어난 것이다.

 

이처럼 교락인자를 제대로 구분해내지 못하면 잘못된 실험 결과를 이끌어낼 수 있다.

그럼 교락인자로 인한 데이터 왜곡을 피하려면 어떻게 해야 하는가?

 

가장 대충하는게 답이다. 무작위로 진행하는 것이다. 무작위로 진행하면 교락인자로 인한 문제를 최소화할 수 있다. 혹은 정말 체계적으로 그룹을 나눠서 그 안에서 실험을 진행할 수 있다. 무작위로 추출하여 분석하는 것은 일면 무책임하게 들리지만, 우리의 생각보다 비교적 정확한 결과값을 준다.

 

다른 방법은 우리가 할 수 있는 최선으로 모수를 쪼개고 쪼개는 것이다. 예를 들면, 위의 예에서도 7,8월의 신규 유저들만 따로 뽑아서 비교를 해볼 수 있다. 그들이 얼마나 더 많이 들어왔고, 사이트 내에서 어느 정도의 활동을 보였는지 분석을 하면 기간에 의한 교락인자를 어느 정도 최소화할 수 있다. 혹은 로그인 유저를 배제하는 세그먼트를 사용하여 기존 학생 트래픽을 발라낼 수도 있다.

 

조금 오래되기는 하였지만 이전에 위메프에서 구글 애널리틱스로 온라인광고매체 성과테스트를 하기 위하여 돌아가고 있던 온라인광고를 모두 끄고, 하나씩 켜보면서 매출이 어떻게 바뀌는지 테스트를 해보았다는 기사를 본 적이 있다. 그 당시 온라인광고가 너무 많이 동시다발적으로 돌아가고 있었고, 이 때문에 교락인자가 너무 늘어서 과감하게 한달 간 모두 끄고 하나하나씩 테스트모드에 들어가보았다는 것이다.

 

다루는 상품이 자주 바뀌는 위메프에서 교락인자를 최소화하는 방법으로 시도해볼만한 전략인지는 잘 모르겠지만.. 그건 차치하고 위메프 정도의 규모가 되는 기업에서 이런걸 해봤다는 점이 꽤 인상깊었던 기억이 있다. 그런 데이터 위주로 돌아가고자 한다는 기업문화가 있다는 것은 데이터 애널리스트로서는 축복받은 환경이 아닐까 싶다.

 

대기업, 그리고 어느 정도 규모가 있는 기업에서는 사실 이런 데이터에 기반한 실험문화를 구축하기가 쉽지 않다. 이 블로그포스팅을 기업의 CEO가 보고있다면 물론 이야기가 달라지겠지만, 일개 직원으로 이런 문화를 구축해나가기는 쉽지 않다. 나도 안다. 하지만 노력하면 언젠가는 바뀌지 않겠는가. 개인적으로 노오력이라는 단어는 별로 좋아하지는 않지만 말이다. 여튼 그런 대기업이나 중견기업에게 이러한 변화를 가져오는 것은 쉽지 않지만, 스타트업은 이러한 변화를 가지고 오는 것이 비교적 더 쉬울 것 같다. 위메프가 위와 같은 실험이 가능하였던 것도 아직까지 위메프에는 스타트업의 피가 흐르고 있었기 때문이 아닐까 싶다.

 

 

 

 

 

(출처: clicknote.tistory.com/28)