삶과 업무를 바꾸는 데이터 과학의 가능성

바야흐로 데이터의 시대, ‘빅데이터’, ‘데이터 과학’과 같은 용어들이 연일 뉴스에 등장한다. 데이터가 토지/노동/자본에 버금가는 가치 창조의 근원이니, 데이터 과학자가 21세기에 가장 각광받는 직업이라는 주장도 나오고 있다. 이에 발맞추어 정부 및 각 기관에서는 데이터 과학자 양성을 위한 각종 대책을 내놓고 있다.

실제로 분야에 관계없이 앞서가는 개인과 조직은 데이터를 의사결정과 제품 개발에 활용하고 있다. 오바마가 대선 캠페인에서 고용한 데이터 과학자 팀이 소셜 미디어 등을 분석하여 캠페인 승리에 지대한 공을 세웠다는 이야기는 잘 알려져 있다. 또한 마이크로스프트, 구글, 페이스북과 같은 기업에서는 검색 및 추천과 같은 데이터를 활용한 제품을 만들고, 또한 이런 제품을 개선하는데 또한 데이터를 활용함으로써 전세계 시장을 선도하고 있다.

또한 데이터 혁명은 현재 진행형이다. 지금까지는 소수의 기업이나 개인만이 데이터를 모으고 처리할 수 있는 수단과 기술을 갖추어왔다. 하지만 IT 기술의 발전은 그 범위를 전 산업과 경제 주체로 확산시키고 있다. 사물인터넷(IoT: Internet of Things)은 세상에 존재하는 모든 것에 센서가 부착되어 관련 데이터를 수집할 수 있게 하는 기술이다. 또한 그 대표격인 웨어러블 기술은 개인의 모든 활동에 대한 데이터가 수집되고 분석될 수 있는 가능성을 열었다.

이런 트렌드가 ‘보통 사람’에게 던져주는 메시지는 의미심장하다. 시장경제의 관점에서, 이는 내가 속한 산업에서 혹은 내 주변에서 현재 데이터를 활용하고 있지 않다고 해도, 조만간 데이터화(datafication)가 진행될 것이라는 예측을 가능하게 한다. 바꿔 말하면, 피할 수 없는 데이터화의 흐름 속에서 자신의 삶과 업무에 데이터를 활용하는 방법을 습득한 개인과 조직은 경쟁에서 우위를 점하게 될 것이다.

직장 내에서도 이런 변화는 유효하다. 기업내 모든 업무가 데이터화되는 추세 속에서 데이터 기반으로 사고하고 문제를 해결할 수 있는 능력은 큰 차이를 만들기 때문이다. 고집센 동료나 상사 때문에 고민하고 있는가? 주관적 의견이 아닌 데이터에 기반한 분석은 어떤 의사결정권자도 움직일 수 있는 힘을 부여한다. 여기에 멋진 인포그래픽(infographic)까지 곁들인다면 금상첨화일 것이다.

데이터의 위력은 삶을 바꾸어놓기도 한다. 최근 전세계적으로 자신의 삶에서 다양한 데이터를 수집하여 이를 통해 건강, 행복, 인간관계를 증진하는데 활용하는 사람들이 급속도로 증가하고 있다. 미국에서는 난치병 환자들을 중심으로 같은증상을 공유하는 사람들이 각자 데이터를 수집하고 이를 공유하여 함께 회복을 도모하는 커뮤니티가 활발하게 생겨나고 있다.

이처럼 데이터의 효과적인 활용은 개인 및 조직에게 시장 경쟁에서 승리하고, 조직에서 인정받으며, 자신의 삶을 바꿀 수 있는 힘을 제공한다. 하지만 대부분의 사람들은 이런 데이터 혁명에 대해 어떻게 느낄까? 당장 내 주변에서 느낄 수는 없으니 남의 이야기라고 여기고 있지는 않을까? 변화에 뒤쳐지고 있다는 소외감을 느끼지 않을까? 혹은 뭔가 시작하고 싶지만 어디서 어떻게 시작해야 할지 막막한 것은 아닐까?

필자는 미국의 대학원에서 데이터 과학의 첨단을 대표하는 분야인 정보 검색을 전공하여 박사학위를 받고, 현재 미국 마이크로소프트의 온라인 서비스 부문에서 데이터 과학자로 근무하고 있다. 이는 매일 수많은 종류의 데이터를 접하고, 이를 바탕으로 다양한 분석을 수행하는 일이다. 이런 경험은 앞에서 언급한 데이터 혁명의 위력과 파급효과를 그 최전선에서 느낄 수 있게 해주었다.

특히 필자가 담당하는 업무는 미국 검색 트래픽의 30%를 담당하는 빙(Bing.com) 서비스의 품질 측정 및 개선을 위한 데이터셋과 지표를 만드는 일이다. 검색 엔진 개발의 모든 프로세스는 정량적인 지표에 따라 계획, 실행 및 평가되기 때문에 이는 조직의 방향을 결정하는 일이라고 할 수 있다. 또한 업무의 일부로 사내 측정 및 실험에 대한 교육을 진행하면서 데이터를 업무에 제대로 활용하기 위해서는 많은 노하우가 필요하다는 사실을 배웠다.

업무 이외의 영역에서도 필자는 데이터를 활용하는 방법을 항상 고민해왔다. 대학을 다닐 때부터 “내가 행복하다고 느끼는 시간의 양을 최대화하는 것”이 인생의 목표 중 하나라고 여겨왔던 필자는 개인의 행복도를 측정하고 개선할 수 있는 방법을 찾기위해 약 10년간 다양한 방법을 개발하였다. 그리고 최근에는 생산성, 건강, 인간관계 등 삶의 다른 영역에서도 비슷한 접근을 시도하고 있다.

미국에는 어처럼 개인 데이터 분석에 관심을 갖는 사람들이 ‘수치화된 나’ (Quantified Self 이하 QS)라는 지역별 커뮤니티를 만들어 활동하고 있다. 필자는 2011년부터 보스턴 및 시애틀의 QS 커뮤니티에서 활발히 참여하면서 데이터 분석을 통해 자신의 목표를 달성하고 심지어 삶을 바꾸는 경우를 여럿 목격하였다. 필자의 행복 측정 프로젝트도 여러 사람들의 관심을 끌어 최근에 지역 신문에 기사화되기도 하였다.

이처럼 일과 삶에서 데이터를 활용하는 방법을 고민하면서, 필자는 데이터 과학이 어떤 특정한 산업이나 직업군의 사람에게만 가능한 일은 아니라는 확신을 갖게 되었다. 또한 자신의, 혹은 주변의 데이터를 모으고 분석하는 방법에 대한 사례와 노하우를 블로그, 기고문 등을 통해 공유하기 시작했다. 이런 글들에 여러 사람들의 관심과 격려를 받기 시작하면서, 필자는 좀더 많은 사람들에게 이런 메시지를 전달하기위한 방법을 고민하기 시작했다. 이 블로그는 그런 고민의 산물이다.