728x90
반응형
01. 빅데이터의 이해
-
- 빅데이터의 이해
- 일반적인 빅데이터 정의
- "빅데이터는 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터다.”(McKinsey, 2011)
- IDC 정의
- 데이터 규모보다 분석 비용 및 기술에 초점을 맞춘 정의
- "빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집과 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처다.” (2011)
- 가트너그룹(Gartner Group)의 더그래니(Doug Laney)의 정의 (3V)
- 빅데이터는 데이터의 양(Volume), 데이터 유형과 소스 측면의 다양성(Variety), 데이터 수집과 처리 측면에서 속도(Velocity)가 급격히 증가하면서 나타난 현상이다.
- 빅데이터의 새로운 특징 4V
- 더그 래니의 3V에 추가로 Value(가치) 또는 veracity(정확성)를 포함해 4V로 빅데이터의 특징을 설명하기도 하는데요. 여기에 Visualization(시각화), Variability(가변성)등을 추가하는 견해도 있습니다.
-
- 빅데이터 출현 배경
- ☑️ 3가지 출현 배경
출현배경 내용 산업계고객 데이터 축적- 산업계에서 일어난 빅데이터 현상을 양질 전환 법칙으로 설명할 수 있다 - 이는 양적인 변화가 축적되면 질적인 변화도 이루어진다는 개념이다학계거대 데이터 활용 과학 확산- 학계에서도 빅데이터를 다루는 현상들이 늘어나면서 필요한 기술 아키텍처 및 통계 도구들이 지속적으로 발전하고 있다 ex. 게놈 프로젝트, NASA의 기후 시뮬레이션 등기술발전관련 기술의 발달- 디지털 화의 급진전, 저장 기술의 발전과 가격 하락, 인터넷의 발전과 모바일 시대의 진전에 따른 클라우드 컴퓨팅 보편화와 분산처리 기술 등이 모두 빅데이터 출현과 직간접적 관련이 있다 - 클라우드 컴퓨팅은 빅데이터의 처리 비용을 획기적으로 낮춘 측면에서 그 중요성을 아무리 강조해도 지나치지 않는다
빅데이터의 기능
|
빅데이터는 ‘산업혁명의 석탄, 철’
|
제조업뿐만 아니라 서비스 분야의 생산성을 획기적으로 끌어올려 사회, 경제, 문화, 생활 전반에 혁명적 변화를 가져올 것으로 기대된다
|
|
빅데이터는 ‘21세기의 원유’
|
경제 성장에 필요한 정보를 제공함으로써 산업 전반의 생산성을 향상시키고 새로운 범주의 산업을 만들어낼 것으로 전망된다
|
|
빅데이터는 ‘렌즈’
|
렌즈를 통해 현미경이 생물학 발전에 미쳤던 영향만큼, 빅데이터도 산업 발전에 큰 영향을 미칠 것으로 기대된다 ex. 구글의 Ngram Viewer, 현미경
|
|
빅데이터는 ‘플랫폼’
|
공동 활용의 목적으로 구축된 유무형의 구조물을 말하며, 다양한 서드파티 비즈니스에 활용되어 플랫폼 역할을 할 것으로 기대된다 ex. 페이스북, 카카오톡 등
|
☑️ 빅데이터가 만들어내는 변화
과거에서 현재로의 변화
|
사전처리 → 사후처리
|
기존 필요한 정보만 수집하고 필요하지 않은 정보를 버리는 시스템에서 가능한 많은 데이터를 모으고 다양한 방식으로 조합하여 숨은 인사이트를 발굴한다
|
|
표본조사 → 전수조사
|
데이터 수집 비용의 감소와 클라우드 기술의 발전으로 데이터 처리 비용이 감소하게 되면서 데이터 활용 방법이 전수조사로 변화했다.
|
|
질 → 양
|
수집 데이터의 양이 증가할 경우 양질의 정보가 오류 정보보다 많기에 전체적으로 좋은 결과 산출에 긍정적인 영향을 미친다는 추론에 바탕을 두고 있다
|
|
인과관계 → 상관관계
|
신속한 의사결정을 원하는 비즈니스에서는 실시간 상관관계 분석에서 도출된 인사이트를 바탕으로 그에 상응하는 행동을 추천하는 일이 점점 늘어나고 있다
|
02. 데이터의 가치와 미래
빅데이터의 가치
빅데이터 시대에서는 데이터 활용 방식, 새로운 가치 창출, 분석 기술 발전이라는 3가지 이유로 가치를 측정하는 것이 쉽지 않습니다.
- 빅데이터 가치 산정이 어려운 이유
데이터 활용 방식 새로운 가치 창출 분석 기술의 발전
💡 참고 ! 알아두면 좋은 내용 👀빅데이터의 재사용이나 재조합, 다목적용 데이터 개발 등이 일반화되면서 특정 데이터를 누가, 언제, 어떻게 활용하는지 파악할 수 없게 되었으며 따라서 가치 산정이 어려워졌음데이터가 기존에 없던 가치를 창출함에 따라 그 가치를 산정하기 어려워졌음오늘은 가치가 없는 데이터일지라도 추후 새로운 분석 기법이 등장할 경우 거대한 가치를 만들어내는 재료가 될 가능성이 있음 - 미래의 빅데이터 활용에 필요한 3요소
- 데이터 : 모든 것을 데이터화
- 기술 : 진화하는 알고리즘, 인공지능
- 인력 : 데이터 사이언티스트, 알고리즈미스트
728x90
반응형