현재 기업과 소비자가 맞닥뜨리고 있는 가장 큰 문제 중 하나는 정보 과다(information overload)다. 인터넷으로 인해 급격히 늘어난 정보 때문에 기업과 소비자 공히 정보를 처리하는 데 어려움을 겪고 있다. 가까운 예로 요즘 소비자 입장에서는 어떤 제품을 구매할 때 정보가 부족한 경우보다는 정보가 너무 많아서 문제인 경우가 더 많다. 구매하려는 제품을 잘 아는 소비자라면 판단하는 데 문제가 없겠지만 잘 모르는 경우에는 어떤 기준으로 어떻게 판단해야 하는지 막막한 경우가 많다. 기업도 소비자와 시장에 대한 정보가 웹사이트, 내부 ERP와 POS, 서비스센터, SNS 등 다양한 경로로 마구 쏟아지고 있다. 그렇기 때문에 정보가 없어서 문제라기보다 그 많은 정보를 어떤 방법으로 처리, 분석해야 할지를 몰라서, 혹은 어떤 정보가 가치 있는지를 판단하기 어려워서 문제인 사례가 더 많다.

이와 같은 정보 과다의 환경에서 기업이 당면한 가장 중요한 도전은 크게 두 가지다. 1) 넘쳐나는 소비자와 시장에 대한 정보를 어떻게 효과적으로 분석할 것인가? 2) 소비자가 정보 과다를 극복하는 데 도움을 줄 수 있는가? 또 도움을 주면서 동시에 기업의 경쟁우위를 확보할 수 있는가?

소비자와 시장에 대한 정보의 수집과 분석하기

현재 기업에 쌓이는 데이터 양은 점점 증가하고 있지만 이를 적절히 분석해서 활용하는 능력이나 기술은 이에 크게 못 미치고 있다.1 1DBR, No.107 닫기 또한 과거처럼 정형화된 숫자 데이터가 아니라 텍스트나 이미지와 같이 비정형화된 데이터의 양이 급속하게 증가하고 있다. 이런 변화를 많은 사람들이 ‘빅데이터(big data)’라는 말로 설명하고 있다. 즉, 데이터의 크기가 늘어나고 종류가 다양해서 과거의 데이터 분석과는 전혀 다른 패러다임이 필요하고 새로운 데이터 분석의 패러다임을 ‘빅데이터 분석’이라고 표현하는 것이다. 빅데이터에 대해서는 최근 관심이 급속도로 높아져 많이 연구하고 있지만 그 핵심은 1) 비정형을 포함한 다양한 데이터를 활용하고(데이터 종류의 다양성) 2) 데이터의 양이 엄청나기 때문에 과거의 일반적인 분석방법으로는 충분치 않고 새로운 분석 방법을 사용할 필요가 있으며(분석 방법의 차이) 3) 데이터가 있기 때문에 분석하는 것이 아니라 알고 싶은 것이 있어서 필요한 자료를 수집해서 분석한다(분석 동기의 차이)는 것이다.

다음(Daum)의 빅데이터 분석 사례

Daum(http://www.daum.net)은 한국의 대표적인 포털 사이트 중 하나다. 2012년 3월 기준으로 사용자의 검색 건수가 월간 약 10억 건, 사용자가 보는 웹 페이지의 수를 나타내는 페이지뷰(Page view)가 월간 약 137억 건에 이르는 거대한 사이트다. 게다가 처리해야 하는 데이터의 양이 기하급수적으로 증가하는 문제를 가지고 있다. 데이터 양이 이 정도 되면 복잡한 전략적인 분석은 물론이고 기본적인 자료를 정리하는 것도 어려워진다. Daum도 기본적인 분석인 일일 로그분석(어느 검색어, 페이지가 가장 인기 있는가 등의 분석)을 하는 데에도 10시간이 넘게 걸리고 개별고객에 대한 분석은 130분 이상 걸리는 문제가 있었다. 이런 문제를 해결하기 위해 2009년부터 순차적으로 도입한 새로운 빅데이터 분석 시스템은 데이터 처리를 빠르게 하기 위한 다양한 기술2 2데이터 전처리를 위한 Hadoop, SQL 기반의 데이터 분석을 위한 Hive, 데이터 저장을 위한 Pentaho Kettle, 병렬 데이터베이스를 위한 Greenplum 등이 사용됐다. 닫기 을 채용했다. 그 결과 일일 로그분석이 3시간 이하, 개별 고객 분석은 14분 이하로 가능해졌다.

빅데이터 분석이 기본적인 자료 처리에만 도움을 주는 것은 아니다. 빠른 데이터 처리 능력을 전략적으로 활용할 수 있다. Daum의 경우 빅데이터 분석을 사용자의 검색행동과 기사 내용 분석에 적용했다. 검색행동 분석의 예를 살펴보자. 사용자가 검색을 위해 키워드를 입력하면 그에 따른 검색결과가 표시되고 사용자가 검색 결과 중에서 관심 있는 아이템을 클릭하게 된다. 각 키워드에 대해서 어떤 아이템을 많이 클릭했는가를 분석함으로써 사용자가 입력한 키워드에 따라 관심이 높은 아이템을 앞쪽으로 표시해 줄 수 있다. 이는 검색 만족도의 향상(검색 결과가 정확하다고 느끼는 것)으로 이어졌다. 두 번째 예로 첫 화면에 표시되는 항목의 결정에도 빅데이터 분석을 사용했다. 빠르게 추가되는 정보(신문기사나 아고라에 올라오는 글)를 거의 실시간으로 분석해서 사용자가 관심이 있을 것으로 생각되는 내용을 골라서 Daum의 첫 화면에 표시할 내용을 즉각적으로 바꾸면서 사용자의 정보 만족도(정보의 신선도와 적절성)를 높였다. Daum의 경우에는 사용자가 느끼는 검색의 정확도와 정보 만족도가 바로 경쟁력으로 이어지기 때문에 이런 분석은 전략적으로도 매우 중요한 사항이라고 할 수 있다.

빅데이터 분석에 사용되는 기술

빅데이터 분석 기술의 특징은 우선 다양한 소스, 다양한 형태의 데이터를 같이 처리할 수 있다는 점이다. 그리고 기존 기술이 정확성을 위해 속도를 희생했다면 새로운 시스템은 정확성을 조금 희생하더라도 처리속도를 획기적으로 높이는 기술이라는 것이다. 이러한 기술이 필요한 이유는 데이터 분석의 패러다임이 바뀌었기 때문이다. 과거와 같이 고정된 형식을 가진, 제한된 양의 데이터를 정확히 처리하는 것보다는 넘쳐나는 데이터를 빨리 처리해서 전체적인 그림을 그리는 쪽으로 정보처리 패러다임이 바뀌었기 때문이다. 분석이 아무리 정확해도 제시간에 결과를 볼 수 없는 것보다는 좀 부정확해도 제시간에 결과를 볼 수 있는 것이 더 중요하다.

기업에 쌓이는 정보 중에는 특별한 노력이 없어도 입수할 수 있는 정보(예를 들어 판매 정보)가 있는가 하면 기업이 별도의 시간과 노력을 들여야 입수할 수 있는 정보(예를 들어 SNS에 나타난 기업과 제품 평가)가 있다. 기업 내부에 쌓이는 정보는 위에서 설명한 Daum이 좋은 예이고 외부에서 수집된 정보를 분석하는 대표적인 예가 SNS에서 소비자들이 올린 텍스트를 분석하는 것이다. SNS에서 사람들이 올리는 글들을 모아서 분석해 보면 글에 공통적으로 등장하는 키워드가 바로 그 시점에서 사람들이 가장 관심을 갖는 것이라고 할 수 있다. 예를 들어 대통령 선거 직전에는 각 후보의 이름과 ‘대선’ ‘선거’ ‘투표’ 등이 중요 키워드로 등장할 것이다. 이런 분석을 ‘버즈 분석(buzz analysis)’이라고 한다. 이를 좀 더 응용하면 서로 다른 소비자 집단별 관심사항을 분석할 수 있다. 예를 들어 서울에 사는 20대 사람들의 글에서 중요한 키워드가 다른 연령층 혹은 다른 지역과 어떻게 다른지를 분석해 보면 많은 시사점을 얻을 수 있다. 기업의 입장에서는 자신의 회사나 제품에 대한 사람들의 의견을 분석해 볼 수도 있다. 자신의 제품이 등장하는 SNS의 글을 찾아서 제품 이름과 함께 등장하는 키워드가 어떤 것인지를 분석해 보면 소비자들이 자신의 제품에 대해서 긍정적으로 생각하는지 부정적으로 생각하는지, 어떻게 소비하는지 등을 알 수 있다. 특정 과자 이름과 함께 자주 등장하는 키워드가 ‘맥주’ ‘TV’라면 이 과자는 소비자들이 TV를 보면서 맥주 안주로 많이 소비한다는 것을 알 수 있을 것이고 어떤 자동차 모델명과 같이 등장하는 키워드가 ‘고장’ ‘짜증’이라면 이 모델은 고장이 잦아서 소비자가 불만족한다는 것을 알 수 있다. 여기에서 더 나아가면 각 제품에 대해서 소비자가 느끼는 세밀한 이미지(고급스러움 vs. 대중적, 젊음 vs. 원숙) 등에 대한 분석도 가능하며 이를 ‘분위기 분석(sentiment analysis)’이라고 한다.

빅데이터 분석을 어떻게 활용할 것인가?

빅데이터 분석을 정보의 과다라는 시각에서 보면 새로운 모습을 볼 수 있다. 우선, 데이터의 종류가 다양해진 것은 정보 과다에 따른 자연스러운 결과다. 정보가 넘쳐나는 정보 과다의 상황에서 가장 중요한 것은 1) 중요한 정보가 어떤 것인지 판단하는 것과 2) 이 정보를 어떻게 빨리 처리하는가이다. 정보의 가치는 그 정보를 입수하기 위해 들어간 비용에 비례하지는 않는다. 기업의 일상적인 운영(재고, 판매, 로지스틱스 등)에 대한 정보는 큰 추가 비용 없이도 이미 구축된 정보시스템을 통해서 자동적으로 수집되지만 때로는 잘 분석하면 기업의 전략과 관련된 중요한 정보를 얻을 수도 있다. 반대로 많은 비용을 들여서 SNS에서의 해당 기업과 제품에 대한 소비자의 평을 수집한다고 해서 반드시 기업에 큰 도움이 되는 것은 아니다. 어떻게 정보를 수집했는가와 관계없이 많은 자료를 빨리 처리해서 즉각적인 의사결정에 사용할 수 있도록 하는 것이 빅데이터 분석 기술의 핵심이다.

어떤 정보가 중요한지 어떻게 알 수 있는가? 빅데이터 분석의 성공을 위해서 중요한 것은 다양한 소규모 실험이다. 다양한 자료를, 다양한 분석방법을 이용해서 실험적으로 분석한 결과를 보면 어떤 정보가 그 기업에 중요한지 판단할 수 있다. 일단 중요하다고 판단되면 그 자료를 빠르게 수집하고 분석할 수 있는 시스템을 갖추고 이를 의사 결정에 활용하면 된다. 지금과 같은 정보과다의 상황에서는 “모든 데이터를 철저하게 다 분석하겠다”는 생각을 하면 안 된다. 현재 답변하고자 하는 가장 중요한 질문이 무엇인지를 먼저 생각하고 그 답을 구하기 위해 필요한 정보가 무엇이고 어떤 분석이 가능한지에 집중해야 한다. 그리고 그 질문은 “우리 제품을 반복 구매하는 고객의 특성은 무엇이고 반복 구매하는 이유는 무엇인가”와 같이 단순하고 구체적일수록 좋다. 이와 같은 구체적인 질문에 답변하기 위한 실험적인 데이터 분석을 계속하는 것 또한 중요하다. 실험을 계속하면서 어떤 정보가 중요한지에 대한 노하우 또는 지식이 축적되고 이것이 기업의 중요한 자산이 될 것이다. 소규모의 실험에서 중요한 것은 경영과 전략을 잘 아는 자료분석가와 기술을 잘 아는 개발자의 긴밀한 협력이다. 자료분석가는 어떤 분석이 필요한지에 대해서는 잘 알지만 어떤 자료가 있고 어떻게 자료를 얻는지는 잘 모르고, 반대로 개발자는 어떤 자료가 가능한지는 잘 알지만 무엇을 분석해야 하는지는 잘 모르는 경우가 많다. 가장 이상적인 것은 둘 다 잘 아는 사람이 분석을 담당하는 것이겠지만 그런 경우가 드물기 때문에 분석가와 개발자를 한 팀으로 묶어서 공동의 목표를 가지고 공식/비공식적으로 긴밀히 협력할 수 있도록 하는 것이 필요하다. 분석가와 개발자가 서도 다른 부서에 있으면서 공식적인 업무협조 형태로 일을 진행해서는 좋은 결과를 기대할 수 없다.