Part02 빅데이터 탐색 Chapter01 데이터 전처리 Section01 데이터 정제 ○ 데이터 : 이론을 세우는 기초가 되는 사실 또는 자료 1) 데이터의 종류 단변량자료 : 특성 변수가 하나인 자료 다변량자료 : 특성 변수가 두 가지 이상인 자료 질적자료 : 정성적 자료라고도 하며 자료를 범주의 형태로 분류 2) 데이터의 정제 - 수집된 데이터를 대상으로 분석에 필요한 데이터를 추출하고 통합하는 과정 구분 수행내용 Process 데이터의 수집 - 데이터의 입수 방법 및 정책 결정 Pre Processing 포함 데이터의 변환 - Data 유형의 변화 및 분석 가능한 형태로 가공 데이터의 교정 - 결측치의 처리, 이상치 처리, 노이즈 처리 데이터의 통합 - 데이터분석이 용이하도록 기존 또는 유사데이..

Part01 빅데이터 분석 기획 Chapter03 데이터 수집 및 저장 계획 Section01 데이터 적재 및 저장 1) 데이터 수집 및 적재 연계 데이터 수집 도구를 이용한 데이터 적재 NoSQL DBMS가 제공하는 도구를 이용한 데이터 적재 관계형 DBMS의 데이터를 NoSQL DBMS에서 적재 2) 빅데이터 저장시스템 - 대용량 데이터 집합을 저장하고 관리하는 시스템으로 사용자에게 데이터 제공 신뢰성과 가용성을 보장하는 시스템 파일 시스템 저장 방식 : 분산 파일의 형태로 저장하는 방식(Apache HDFS, 구글의 GFS) 데이터베이스 저장방식 : 전통적인 관계형 DB 시스템을 이용하거나 NoSQL 데이터베이스 시스템을 이용하는 방식 - 수평적 확장성, 데이터 복제, 간편한 API 제공, 일관성 ..

Part01 빅데이터 분석 기획 Chapter03 데이터 수집 및 저장 계획 Section01 데이터 수집 및 전환 1) 데이터 수집 - 데이터 처리 시스템에 들어갈 데이터를 모으는 과정으로 여러 장소에 있는 데이터를 한 곳으로 모으는 것 ① 기초 데이터 수집 수행 절차 ● 비즈니스 도메인 정보 수집 > 분석 기획서 기반 도메인, 서비스 이해 > 수집 데이터 탐색 > 기초 데이터 수집 ② 데이터 수집 시스템 구축 절차 ● 수집 데이터 유형 파악 > 수집 기술 결정 > 아키텍처 수립 > 하드웨어 구축 > 실행환경 구축 2) 비즈니스 도메인과 원천 데이터 정보 수집 ① 원천 데이터 정보 - 데이터 분석에 필요한 대상 우너천 데이터의 수집 가능성, 데이터의 보안, 정확성을 탐색하고, 데이터 수집의 난이도, 수..

Part01 빅데이터 분석 기획 Chapter02 데이터 분석 계획 Section02 분석 작업 계획 1) 분석 작업 개요 - 데이터 처리 프로세스 전체에 대한 이해가 필요 ① 데이터 처리 영역 - 데이터 분석을 위한 기초 데이터를 정의하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역 단계 내용 데이터 소스 - 내부 데이터, 외부 데이터 데이터 수집 - 로그 수집기, 크롤링, 센서 네트워크 등을 통해 수집 데이터 저장 - 유형별로 나눠 최적의 설계를 하여 데이터 스토리지에 저장 데이터 처리 - 저장된 대용량의 데이터를 신속하고 정확하게 처리하기 위해 실시간 처리 및 분산 처리 등을 시도 ② 데이터 분석 영역 - 저장되어 있는 데이터를 추출하여 분석 목적과 방법에 맞게 가공한 후, 데..

Part01 빅데이터 분석 기획 Chapter02 데이터 분석 계획 Section01 분석 방안 수립 1) 데이터 분석 방안 (1) 분석 방법론 - 데이터 분석 시 품질확보를 위하여 단계별로 수행해야 하는 활동, 작업, 산출물을 정의 ① 분석 방법론의 구성요건 상세한 절차(Procedure) 방법(Method) 도구와 기법(Tools & Techniques) 탬플릿과 산출물(Templates & Outputs) 어느 정도의 지식만 있으면 활용 가능한 수준의 난이도 ② 분석 방법론의 생성과정(선순환 과정) 형식화 : 개인의 암묵지가 조직의 형식지로 발전 체계화 : 문서화한 최적화된 형식지로 전개됨으로써 방법론이 생성 내재화 : 개인에게 전파되고 활용되어 암묵지로 발전 (2) 계층적 프로세스 모델 구성 ① ..