빅데이터 소개 (Bigdata Intro)

1. 빅데이터는 기존 데이터 분석 능력을 넘어서는 대용량의 정형 또는 비정형 데이터의 집합을 의미한다.

• 정형 데이터: 통계적 분석을 수행할 수 있는 테이블 형식의 데이터로 사용되는 것으로 일반적으로 엑셀 자료, 기상자료, 통계분석자료등을 포함하고 있다.
• 비정형 데이터: 특별한 형식을 가지고 있지 않는 데이터 형식으로 텍스트, 이미지, 오디오와 같은 데이터를 의미한다. 

2. 빅데이터는 일반적으로 Volume, Velocity, Variety, Veracity라고 하는 4V라고 하는 특징을 가진다. 

• Volume: 빅데이터의 물리적인 크기을 보여준다.
• Velocity: 빅데이터가 가지고 있는 데이터의 처리속도를 의미한다.
• Variety: 빅데이터 존재할수 있는 다양한 형태의 데이터 종류를 의미한다.
• Veracity: 빅데이터의 가지고 있는 데이터의 진실성을 보여주기 위한 의미로 사용된다. 

반응형

[그림] 일반적인 빅데이터의 구성요소

 

3. 빅데이터의 필요성

빅데이터는 방대한 데이터 정보를 분석하여 과거에 어떤 일들이 일어났는가를 파악할 수 있고 분석한 데이터를 이용하여 그 발생 원인에 대한 분석이 가능할 뿐만 아니라 분석한 결과를 이용하여 앞으로 어떤 일들이 일어나는가에 대한 미래 예측을 위해 그 활용성과 필요성이 지속적으로 늘어나고 있는 중이다. 

4.  빅데이터를 분석을 위한 기본 원칙

• 빅데이터의 분석을 위해 어떤 분석을 할 것인가에 대한 기본적인 질문에서 분석을 시작한다.
• 빅데이터 분석은 기존 데이터와의 연결고리를 적극 활용하여 그 효율성을 최대로 이끌어 낼 수 있는 방법을 사용한다.
• 어려운 복작합 방식의 프로그래밍과 Tool을 사용하여 분석하기보다는 이용하기 편안하고 간편한 분석 도구를 이용해서 분석하는 것이 중요하다.
• 빅데이터 분석에 따라 발생되어지는 바이어스난 다른 이용자들에 대한 다양한 피드백을 반영하여 지속적으로 분석 성능을 향상하고 최종결과를 도출할 수 있도록 한다.