2012년 IT의 화두 중 하나는 단연 ‘빅데이터’이다. 기업은 데이터가 기하급수적으로 많아지면서 어떻게 하면 늘어나는 데이터를 잘 활용할 수 있을까 고민하게 되었고, 데이터를 활용하여 기업에게 인사이트를 제공할 수 있는 사람을 가리켜 ‘데이터 사이언티스트’라고 부르고 있다. 데이터 사이언티스트는 한국말로 번역하면 데이터 과학자이다. 만약 데이터 과학자라고 불리게 된다면, 과학자의 한 명으로 인정받는 것이다. 최근에 ‘과학자로서의 자세’라는 글을 보게 되었다. 예전 학부 수업 당시 교수님이 과학자로서 가져야 할 자세라며 꼭 읽어보라고 하며 주신 글이다. 데이터 사이언티스트에 관심이 많은 이 시점에 ‘과학자로서의 자세’라는 글은 흥미로운 소재였다. 아래는 영문으로 적힌 글을 의역한 내용이다. o 과학자는 ..

"How Companies Learn Your Secrets"란 제목의 2012년 2월 16일자 기사입니다. 내용이 좀 긴데, 인사이트 및 요약은 다음과 같습니다. Target사는 고객 정보를 "Guest ID number"를 통해 관리하며, 고객의 행동정보와 관련 인구통계학적 정보를 수집 또는 구매하여 분석한다. Target은 고객의 구매습관을 분석하여, 적절한 제품광고/쿠폰 발송시기를 예측하고자 했다. 관련연구: 습관은 뇌에서 크게 "cue(유발인자) --> routine(일상행동) --> reward(보상)"의 3단계를 거친다. 즉, 고객의 습관을 분석하여 습관 유발인자(cue)에 영향을 미쳐, 제품판매를 촉진할 수 있다. 사람들의 구매패턴은 보통 의식없이 진행되기 때문에 일상적인 구매형태를 바꾸기..

빅데이터는 이제 귀가 닳도록 들어서 어떤 의미로 쓰이는지 널리 알려졌다. 다시 한번 강조하면, 빅데이터는 기존의 데이터 처리 기술로 쉽게 처리할 수 없는 데이터로 간략히 정의할 수 있다. 최근 공기업 프로젝트를 진행하면서, 빅데이터 프로젝트의 범위에 대한 논쟁이 잠시 있었다. 논쟁의 핵심은 데이터 품질 관련한 프로젝트가 빅데이터 프로젝트로 인정받는 프로젝트일까 하는 것이다. 빅데이터를 비즈니스와 관련지어 광의의 의미로 생각하면, 빅데이터를 비즈니스적 가치를 창출해 내는 경영혁신 방안으로 볼 수 있다. 기존에는 보관만 했던 데이터, 또는 기술적인 한계로 쌓지 못하고 버렸던 내부데이터, 실시간으로 볼 수 없었던 외부 오픈데이터를 이제는 기술적으로 처리할 수 있게 되었고, 결과적으로 이러한 환경은 빅데이터를 ..

빅데이터 프로젝트 (여기서 빅데이터 프로젝트란 데이터 품질, MDM, 데이터 거버넌스, 분석기반 가치 창출을 포함하는 광의의 프로젝트 개념으로 본다)를 효과적으로 진행하려면, 각종 데이터를 처리할 수 있는 수준의 품질로 유지해야 한다. 분석가능한 수준의 품질로 데이터를 처리(manipulation)하는 것을 데이터 전처리라 한다. 일반적으로, 데이터 분석시 가장 많은 시간을 차지하는 부문이 데이터 전처리 단계이다. 실제 분석하는데 걸리는 총 시간을 100으로 본다면, 데이터 전처리에 약 80의 시간이 걸린다고 본다. 빅데이터를 통해 가치를 창출하는 방법은 크게 2가지 접근 방법으로 볼 수 있다. 하나는 데이터로부터 의미있는 것을 찾는 Bottom-up 방식이고, 다른 하나는 비즈니스적 가치에서 의미를 찾..

소셜 미디어의 등장으로 마케팅은 이제 전통적인 마케팅 영역에 더해 온라인 부문인 소셜 네트워크도 포함해서 봐야한다. 마케팅 효과측정은 크게 정성적, 정량적으로 구분 지을 수 있다. 정성적에는 관계, 신뢰, 콘텐츠를 포함한다. 정량적 측정은 크게 네트워크 및 콘텐츠를 기준으로 하며 4가지 측정부문 UV(user view), PV(page view), IMP(Impression), CTR(click to through)가 있다. 인지 -> 판단 -> 행동의 행동패턴에서 기존 마케팅은 인지 부분을 담당했다면, 새로운 마케팅영역은 판단 부문에 영향을 미친다. 예전에 온라인상 인간행동의 모델은 AIDMA(Attention, Interest, Desire, Measure, Action) 모델을 따랐지만, 이제는 A..

2012년을 기점을 화두가 되고 있는 IT 트렌드가 있다. 빅데이터이다. 가트너는 빅데이터를 통해 2015년까지 빅데이터 수요 증가로 440만개의 일자리가 창출될 것이라고 내다봤다. 그만큼, 빅데이터에 대한 사람들의 관심과 시장의 니즈가 크다는 것을 의미한다. 빅데이터는 전에도 언급했지만, 기존의 데이터 수집/저장/처리 기술로는 감당하기 힘든 다양하고 빠르게 생성되며, 데이터 볼륨이 큰 데이터를 말한다. 이러한 빅데이터 출현 계기로 비즈니스 상에서 새롭게 언급되는 분야가 있는데, 바로 데이터 과학(Data Science), 또는 편의상 데이터 사이언스 분야이다. 데이터 사이언스는 말 그대로 데이터에 대한 학문이다. 현 빅데이터에 대한 언급과 뜨거운 관심이 있기 전에도 과학 분야에서 활용하는 데이터에 대한..

컨퍼런스는 한국테라데이타 박진수 사장님의 환영사를 시작으로 시작되었습니다. 이번 컨퍼런스는 금년으로 11회를 맞는다고 하더군요. 주제는, "Do more with your data"였습니다. "테라데이타 비전 및 전략" 발표 이어지는 기조연설에서 테라데이타 아시아태평양 및 일본지역 총괄 사장인 피터 핸드가 "테라데이타 비전 및 전략"에 관해서 발표를 하셨습니다. 테라데이타는 1979년 설립된 기업으로 30년이상 된 기업이란 사실, 한국의 KT가 테라데이타의 고객이란 사실에 대해서 알게 되었습니다. 테라데이타가 제공하는 서비스에는 Data Warehousing, Big Data Analytics(Aster), Marketing & Analytical Applications(Aprimo)가 있다고 하였습니다..

지난 2012년 2월 15일 참석한 제7회 ACC 컨퍼런스 주요 내용입니다. 총 3섹터로 나눠서 컨퍼런스가 진행이 됐는데, 저는 첫번째 섹터에서 강의를 들었습니다.공통 발표 내용은 다음과 같습니다. 장영재 카이스 교수님의 발표는 "빅데이터시대의 경영의 새로운 패러다임"이라는 주제로 발표하셨습니다. 예전에는 데이터가 없었는데 지금은 어떤 데이터를 찾기만 하면 나온다라는 가설을 말씀해주셨습니다. 그리고 분석을 통해 사실을 알아낼 수 있다고 하시면서, 야구에서 번트가 과연 점수를 내는데 도움이 더 되는가 설명해주셨습니다- 무사 1루에서 번트를 통해 1점 날 확률이, 번트없이 1점 활 확률보다 높은것 으로 나타났습니다. 그 차이는 정말 미미하지만요. 이제는 분석을 통해 예측뿐만이 아니라, 구체적인 운영안을 제안..

2011년 12월 2일(금) 오전에 참석했던 "빅 데이터 시대의 데이터마이닝 역할" 학술대회 자료 내용 입니다. 3가지 분야에 관한 내용이였습니다. 1) Recommender System with Big Data 세션은 미국 현지 Yahoo Research에서 근무하다 삼성전자 DMC 연수소 재직중인 박승택 박사가 발표해주셨습니다. 추천 시스템은 현재 삼성전자 쪽에서 많은 연구를 하고 있다고 합니다. 1992년 부터 시작된 추천 시스템이라는 것이 현재까지 약 10년동안 정확성은 발전한 것이 보이지 않는다라고 하셨습니다. 소셜화되는 관점이 이젠 부각되어야 한다는 것을 말씀하셨고요. Hadoop이란 Open Source에 대한 언급이 있었고, Map/Reduce라는 것에 대한 언급이 있었습니다. Map --..