빅데이터분석기사 필기 4일차 -1

Part01 빅데이터 분석 기획

Chapter03 데이터 수집 및 저장 계획

Section01 데이터 적재 및 저장

 

1) 데이터 수집 및 적재 연계

• 데이터 수집 도구를 이용한 데이터 적재
• NoSQL DBMS가 제공하는 도구를 이용한 데이터 적재
• 관계형 DBMS의 데이터를 NoSQL DBMS에서 적재

 

2) 빅데이터 저장시스템

- 대용량 데이터 집합을 저장하고 관리하는 시스템으로 사용자에게 데이터 제공 신뢰성과 가용성을 보장하는 시스템

1. 파일 시스템 저장 방식 : 분산 파일의 형태로 저장하는 방식(Apache HDFS, 구글의 GFS)
2. 데이터베이스 저장방식 : 전통적인 관계형 DB 시스템을 이용하거나 NoSQL 데이터베이스 시스템을 이용하는 방식                                   - 수평적 확장성, 데이터 복제, 간편한 API 제공, 일관성 보장 등의 장점

 

▶ 데이터 모델에 따른 NoSQL 데이터베이스 분류

1. key-value 데이터베이스
2. column-oriented 데이터베이스
3. document 데이터베이스

 

3) 빅데이터 저장 시스템 선정을 위한 분석

- 데이터 모델, 확장성, 트랜잭션 일관성, 질의 지원, 접근성

 

 

4) 대용량 실시간 서비스 데이터

- 실시간으로 처리해야 하는 데이터를 스트리밍 데이터라 하는데 대용량의 특성과 무중단 서비스를 보장하는 저장 체계를 구축해야 함

- 실시간 데이터 처리를 위해 사용되는 시스템으로 스파크, 스톰 등이 있으며 배치 기반의 대용량 데이터 처리에 특화된 하둡 시스템보다 실시간 대용량 데이터 처리에 특화되어 있음

 

 

 

참고도서 : 이기적 빅데이터분석기사 필기