빅데이터짿�도사 자격증 필기 요약 자료

1. 빅데이터의 개념
◆ 정의: 기존 데이터 처리 응용소프트웨어가 처리하게 거대하고 복잡한 데이터의 집합
◆ 특징
-제타 시대 돌입
-스마트 시대에 중요성 증대
-미래 경쟁력과 가치 창출의 원천
◆ 역사
- PC 시대: 데이터베이스 개념 정립, PC통신 시작, 교류왿� 데이터 규모 小
- 인터넷 시대: 초고속 인터넷 도입, 데이터 규모 및 절대적 교류량 증가
- 모바일 시대: 모바일 인터넷 혁명, SNS, 빅데이터 개념 정립과 문제점 대두
- 스마트 시대: 인공지능, 기계학습, 딥러닝, 사물인터넷 등이 지능 가지는 시대
◆ 특성(3V)
-규모(Volume): 디지털 정보량 기하급수적으로 급증⇒정보량 증가로 데이터 처리 수요 증가
-다양성(Variety): 로그, SNS, 소비 등 데이터 종류 증가 多, 다양한 데이터 수용과 처리 방법론 필요
-속도(Velocity): 실시간 정보왿� 속도 ↑, 데이터의 빠른 처리왿� 분석 플랫폼 필요
◆ 새로운 특성
-정확성(Veracity): 거대 데이터는 신뢰성 부족, 수집데이터의 품질에 대처
-가치(Value): 트렌드, 감정, 진실성, 진정성, 취향 변화하는 대규모 데이터 시대에 가치 필요성 증대
-가변성(Variability): 맥락에 따라 의미가 변화하기 때문에 데이터의 본래 의미 찾기 위한 방법론 필요
-시각화(Visualization): 데이터 분석으로 얻어낸 결론에 대한 표현, 사용자의 이해도를 고려한 효과적 방법

◆ 종류
-정형 데이터: 고정 필드에 저장된 데이터 예)관계형 데이터베이스(RDBMS), 스프레드시트
-반정형 데이터: 메타 데이터, 스키마 이용한 데이터 예)XML, HTML
-비정형 데이터: 정형, 반정형이 아닌 모든 데이터를 총칭하는 말. 가장 큰 증가를 보이는 데이터 유형 예)텍스트 문서, 멀티미디어 콘텐츠

◆ 방법론
처리 과정과 기술
1)생성
-내부 데이터: 교류가 없는 데이터 예)데이터 베이스, 파일관리시스템
-외부 데이터: 네트워크를 통해 교류가 발생하는 데이터 예)텍스트, 멀티미디어 콘텐츠, 스트림