JLab Miner로 돌아가기 <ⓒ 2023. 정재학 Jaihak Chung, All right reserved>
”빅데이터와 AI를 활용해 마케팅 의사결정에 필요한 최신 분석 방법론을 개발, 제공하고 확산시키기 위한 분석 시스템 (마케팅 데이터 사이언티스트들을 위한 최신 마케팅 인텔리전스 시스템)”
"JLab은 실제 기업들이 활용할 수 있는 보다 최신 마케팅 분석 기법 또는 방법론을 개발하고 확산시키기 위해 정재학 교수가 운영해온 마케팅 사이언티스트 연구 조직입니다. 이 조직을 통해 빅데이터를 활용하여 마케팅 주요 분석과 서비스를 개발 할 수 있는 마케팅 사이언티스트(Marketing Scientist)를 육성하고 있습니다. , 보통 1-3년 간격으로 서강대학교 학생들 중 마케팅 전문 인력이 되고자 하는 우수한 인재와 산업에서 마케팅 분야 활동하는 기업체 전문가들을 선별하여 같이 공부, 연구 활동을 해오고 있습니다. 특히 2010년 이후에는 실제 기업들이 빅데이터를 기반으로 고급 분석 기법을 활용할 수 있고, 전문가를 양성하기 위해 JLab 마케팅 인텔리전스 시스템으로서 JLab Miner를 개발하여 활용하고 있습니다. (미적 감각 결핍으로 웹사이트 UI는 매우 건조하고 촌시러우나, 그 속에는 어디에서도 개발되지 못한 최신 방법론들을 핵미사일(?)들을 가득 쌓아가고 있습니다 ^^;)”
Jlab Miner는 아래와 같이 거의 모든 형태의 빅데이터를 수집하고, 각 데이터 유형에 따라 처리 가능한 Miner(텍스트 마이너, 이미지 마이너, 메트릭 마이너)를 이용하여 각 데이터를 분석 가능하도록 정제하고 (Processor), 기초 분석을 통해 데이터를 이해하고 나면, 기업이 일반적으로 하고자 하는 마케팅 의사결정 지원을 위한 전형적 분석을 지원하며, 더 나아가 다양한 마케팅 경영 진단 프로젝트를 진행하고 있다.
https://whimsical.com/jlab-miner-system-structure-G3MZQRRDgLjj9gmYDULfUN
마케팅 사이언스(Marketing Science)라는 전문 분야는 80년대 미국 마케팅 학자들의 새로운 연구 접근법으로서 탄생하고 발전해 왔다. 마케팅 사이언스는 시장을 분석하고, 마케팅 서비스 개발, 전략적 의사결정을 실제 시장에서 발생하는 데이터와 과학적 모델링을 통해 해결하기 위해 만들어졌다. 이러한 일을 할 수 있는 전문 인력을 마케팅 사이언티스트(Marketing Scientist)라고 하는데는, 이들은 마케팅과 계량 모델링 두 분야 모두 전문가 수준의 지식과 경험을 갖추어야 하기에 흔히, 우수한 대학의 박사과정에서만 육성이 가능했다.
실제 기업들 입장에서 단순 인터뷰나 실험에서 나온 연구 결과보다는 실제 시장에서 존재하는 대량의 실제 데이터를 기반으로 시장을 이해, 분석하고 최적의 의사결정을 돕는 마케팅 과학은 매우 유용한 것이었으나, 다소 높은 기술과 전문성을 요구하는 분야이다 보니, 기업들이 마케팅 사이언티스트들을 통해 무엇을 할 수 있는 지 이해하지 못하는 경우가 많았고, 이런 분야의 방법론과 지식을 받아들이고 활용하는데까지 많은 시간이 소요되었다. 앞서가는 기업들은 전문가 집단의 도움을 받아 마케팅 사이언스를 받아들이기는 했으나, 사내에 이것을 받아들여 관리, 개발할 수 있는 인력이 희소하여 확산이 매우 제한적이어서 산업계는 80년대 후반까지 이를 적극적으로 도입, 활용하지 못하고 있었다. 하지만, 80년대 부터 90년대까지 3가지 주요한 데이터가 시장에 순서대로 출현하게 되며, 마케팅 사이언스는 산업계에서 본격적으로 활용되기 시작하였다. 첫번째는 80년대 초, 신용카드가 크게 확산됨에 따라, 신용카드 거래 데이터가 대량으로 만들어져 고객의 제품 선호도와 구매 패턴 정보를 확보하게 되었다. 뒤이어 80년대 후반, 하이퍼마켓이 인기를 끌자, 이들 매장에서 나오는 대량의 고객 거래 패널 데이타(스캐너 데이터)를 통해 제품 선호도만이 아니라 판촉에 대한 시장 반응을 개개인 수준에서 매우 세세하게 분석할 수 있게 되었다. 그리고, 90년대 들어오며 텔레마케팅의 시작으로 거대한 고객 중심 데이터베이스가 만들어지고, 이것들이 CRM을 위해 통합 관리되게 되었다. 시장의 실제 현황을 담은 실제 데이터가 갑자기 대량 발생함에 따라, 마케팅은 본격적으로 이 데이터를 활용하려 하게 되었다. 하지만, 전문지식으로서의 진입장벽이 다소 높아, 산업계에서는 여전히 브랜드 마케팅이나 기타 마케팅 분야에 비해 상대적으로 인력이 극히 부족한 상황이 지속되었다. 전문 인력이 없다보니, 막대한 양의 데이터를 쌓아놓고도 실제 활용을 하지 못하는 상황이 비일비재하였다.
2010년부터는 빅데이터라는 매우 이질적인 형태의 시장 데이터가 그 어느때 보다도 대량을 만들어지고 시장에 확산되게 되었고, 이때문에 빅데이터 사이언티스트라는 전문 집단이 만들어지게 되었다.
하지만, 빅데이터 마케팅 사이언티스가 되려면, 적어도 3가지 분야에 대한 전문성을 고루 갖추어야 하는데, 현실적으로 이러한 조건을 충족하는 인력은 매우 드문 상태이다. 빅데이터를 다루기위해서는 무엇보다도 프로그래밍이 가능해야 하며, 빅데이터가 담고 있는 정보를 추출하는 분석과정을 위해, 통계 등 분석 기법을 쉽게 사용할 수 있어야 하며, 마지막으로 마케팅, 특히 계량 마케팅을 하기위해서는 계량적 모델링(Quantitative Modeling)이 가능해야 하기에, 산업계에서는 이런 인력을 만들수 없었다. 이 분야를 하기 위해서는 프로그래밍, 통계분석 및 알고리즘, 마케팅 3 분야 모두를 깊이알아야 하기에 많은 마케팅 사이언티스트를 배출할 수는 없는 상황이다.
이러한 현실적 문제를 극복하고 많은 기업들이 마케팅 사이언티스트를 보유할 수 있도록, 이들을 육성하는데 시간과 노력을 투입하고 있다. 하지만 오랫동안 깨달은 현실은, 대부분의 사람들이 수리, 통계적 접근에 대해 어려움을 느끼고 있다는 점이다. 이 부분에 대해 오랫동안 고민하다가 내린 결론이 JLab Miner의 개발이었다.
마케팅 사이언티스트가 되고 싶지만, 데이터 분석과 프로그래밍, 그리고 모델링에 어려움을 느끼는 마케팅 실무자들과 학생들에게, 데이타 기반 마케팅에 대한 진입장벽을 낮추기 위해서 데이터 분석이나 프로그래밍의 부담을 최대한 대신 해 줄 수 있는 마케팅 인텔리전스 시스템을 개발하게 되었다.
이 시스템에 대한 구체적인 설명은 차차 다양한 시각으로 설명을 앞으로 할 것이며, 우선은, 왜 빅데이터 마케팅 인텔리전스 시스템을 만들었는지를 이해하는 데 도움이 되길 바란다.