빅데이터의 현황

* 빅데이터의 정의 

- 위키피디아 : 기존의 소프트웨어로 처리하기에는 너무 크거나 복잡한 데이터를 분석하고 체계적으로 정보를 추출, 처리하는 방법을 다루는 분야 

- 국가전략위원회 : 대용량 데이터를 활용, 분석하여 가치 있는 정보를 추출하고 생성된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 정보화 기술 

- 삼성경제 연구소 : 기존의 관리 및 분석 체계로는 감당할 수 없을 정도의 거대한 데이터의 집합으로 대규모 데이터와 관계된 기술 및 도구 ( 수집,저장,공유,검색 분석, 시각화 등)을 모두 포함하는 개념 

 

** 빅데이터의 등장 배경 

- ICT 인프라의 고도화 및 성숙

- 소셜 네트워크에 기반한 대규모 데이터 

- 기업의 축적된 자산데이터, 이를 활용한 분석 수요의 증가  

( 기업이 보유하고 있는 각종 데이터를 활용하고자 함 ) 

- 4차 산업 혁명 시대로의 패러다임 전환

- 하드웨어 기술 발전에 따른 데이터 저장 및 처리 비용 하락 ( 클라우드의 등장 ). 

 

* 4차 산업혁명 

1차 ( 석탄 )  >  2차 ( 석유 )  > 3차 ( 반도체 , 인터넷 ) > 4차 ( 데이터 ) 

출처 : 상기 이미지 우측 하단 

* 정보 기술 패러다임의 변화 

* ICT 발전에 따른 데이터 증가 

* 빅데이터의 개념 

새로운 물결 : 생산성 향상, 비용 절감, 새로운 마케팅 기법을 넘어서 정치, 경제, 사회, 문화, 예술 등 다양한 분야에서 혁명을 불러일으킴

 

이전에는 규모와 기술만을 고려했으나, 현재는 빅데이터의 활용과 이를 통해 창출되는 가치를 고려하는 방법적 정의까지 포함 

 

- 규모적 정의 : 전통적인 방법으로 사용 못할 정도 규모의 데이터

- 기술적 정의 : 다양한 종류의 데이터로부터 새로운 가치를 추출하고, 수집, 탐색, 분석을 지원하도록 고안된 차세대 기술 

+ 방법적 정의 : 빅데이터는 거대한 데이터 자체만을 지칭했으나, 현재는 관련 도구, 플랫폼, 분석 기법, 창출되는 가치까지 포괄하는 의미

 

** 빅데이터의 5가지 특징  ( 3V -> 5V 혹은 6V ) , 3V - IBM 

1) volume : 제타바이트의 시대. 어마어마 하다. 1byte가 쌀알 한 톨이라고 했을 때, zettabyte는 태평양을 다 채울 수 있다.  

출처 : TechNewsDaily

2) variety : 데이터의 종류 증가 

정형화된 데이터 > 반정형화된 데이터 > 비정형화된 데이터 ( 활용을 위해서는 파싱이 필요함, 인공지능 필요 ) 

 

3) velocity : 데이터 생성 속도가 빨라짐, 실시간 분석이 필요해짐 

출처 : https://www.dailymail.co.uk/sciencetech/article-2381188/Revealed-happens-just-ONE-minute-internet-216-000-photos-posted-278-000-Tweets-1-8m-Facebook-likes.html 

4) veracity : 데이터의 불확실성 , 데이터 수집과정에서 다양한 이유로 가비지 데이터나 비어있는 데이터가 있을 수 있다. 

 

5) value : 유의미한 정보 추출, 가치 창출 ( 빅데이터 분석을 통한 인사이트를 도입했더니 실질적으로 더 큰 가치를 창출할 수 있게 되었다 ) 

 

** 빅데이터 시장 현황 

- 많은 국가에서 4차 산업혁명의 핵심으로 빅데이터와 인공지능을 차세대 산업으로 선정 

- 세계적인 기업들도 빅데이터와 AI핵심 기술과 인재를 확보하기 위해 노력 

- 빅데이터와 AI를 도입한 기업의 만족도가 높음 

 

- 시장 규모 증가 ( 꾸준히 10% 이상 증가, 2019 ~ 2020년은 더욱 큰 폭으로 증가함 ) 

과기정통부 자료 

 

* 빅데이터 활용 예시 

자동차 

- 다양한 센서 정보 활용 

- 운전 환경 데이터를 분석하여 차량 반응 연구 

- 자동차 진단 데이터를 수집하여 불량 파악, 고객의 보상 정확도, 요구 사항 파악 등 

 

스포츠 

- 경기의 빅데이터를 활용하여 성적이 좋은 파트너 선정

- 승률이 좋은 선수 파악 

- 각종 팬서비스 지원을 위한 리포트, 스포츠 통계 

 

은행 

- 주요 고객의 신용카드, 대출을 파악하여 고객별 맞춤 서비스 

- 콜센터 이력 정보 및 지점 방문 정보를 통해 온라인/오프라인 판매점으로 상품 제안 

- 신용관리 및 대출 등 손실 예측 처리 

- 챗봇 

 

카드사

- 카드 내역 분석하여 필요한 쿠폰 지급, 마케팅 

 

홈쇼핑

- 상품 추천 등 

 

유통 

- 재고관리 및 수요 예측 (쿠팡) 

- 다양한 서비스 품질 고도화 ( ex, 실시간 배송 새벽 배송 )

- 수요 예측으로 상품을 미리 각지에 구비하고 빠른 배송 ( 아마존, 알리바바 ). 

 

의료

- 미숙아 실시간 모니터링 빅데이터로 의료진보다 선제 대응 

- 질병 유행 예측 서비스 

- 입원 병상 배정 최적화 시스템으로 장기 입원일이나 입원 대기 시간 감소 

 

 

** 빅데이터의 의의 

빅데이터가 왜 지금 이슈가 되는가?

- 모바일 기기의 발전

- 클라우드 서비스 

- 소셜 미디어의 보급 

- 개인의 정보와 밀접한 빅데이터가 발생되고, 활용 역시 가능 ( 마이 데이터 )

- 기업은 방대한 빅데이터 자산 축적

- 새로운 기회와 경제적인 이익을 창출  

 

 

" 빅데이터는 21세기의 원유  "

- 가트너 , 2011 -

 

"2003년 까지 인류가 쌓아 올린 데이터가 5엑사 바이트 수준인데, 이제는 단 하루만에 그 정도의 분량을 쏟아내는 시대가 되었다. "

- 구글 전 CEO 에릭 슈미트 -