Part02 빅데이터 탐색 Chapter01 데이터 전처리 Section02 분석 변수 처리 1) 변수선택 - 통계적 분석 결과의 신뢰성을 위해서 기본적으로 데이터와 이를 특정 짓는 변수는 많으면 많을수록 좋음 2) 변수별 모형의 분류 전체 모형(FM : Full Model) : 모든 독립변수를 사용한 모형 축소 모형(RM : Reduced Model) : 전체 모형에서 사용된 변수의 개수를 줄여서 얻은 모형 영 모형(NM : Null Model) : 독립변수가 하나도 없는 모형 3) 변수의 선택 방법 전진 선택법 : 영 모형에서 시작, 모든 독립변수 중 종속변수와 단순상관계수의 절댓값이 가장 큰 변수를 분석모형에 포함시키는 것, 한번 추가된 변수는 제거하지 않는 것이 원칙 후진 선택법 : 전체 모델에서..
Part02 빅데이터 탐색 Chapter01 데이터 전처리 Section01 데이터 정제 ○ 데이터 : 이론을 세우는 기초가 되는 사실 또는 자료 1) 데이터의 종류 단변량자료 : 특성 변수가 하나인 자료 다변량자료 : 특성 변수가 두 가지 이상인 자료 질적자료 : 정성적 자료라고도 하며 자료를 범주의 형태로 분류 2) 데이터의 정제 - 수집된 데이터를 대상으로 분석에 필요한 데이터를 추출하고 통합하는 과정 구분 수행내용 Process 데이터의 수집 - 데이터의 입수 방법 및 정책 결정 Pre Processing 포함 데이터의 변환 - Data 유형의 변화 및 분석 가능한 형태로 가공 데이터의 교정 - 결측치의 처리, 이상치 처리, 노이즈 처리 데이터의 통합 - 데이터분석이 용이하도록 기존 또는 유사데이..
Part01 빅데이터 분석 기획 Chapter03 데이터 수집 및 저장 계획 Section01 데이터 적재 및 저장 1) 데이터 수집 및 적재 연계 데이터 수집 도구를 이용한 데이터 적재 NoSQL DBMS가 제공하는 도구를 이용한 데이터 적재 관계형 DBMS의 데이터를 NoSQL DBMS에서 적재 2) 빅데이터 저장시스템 - 대용량 데이터 집합을 저장하고 관리하는 시스템으로 사용자에게 데이터 제공 신뢰성과 가용성을 보장하는 시스템 파일 시스템 저장 방식 : 분산 파일의 형태로 저장하는 방식(Apache HDFS, 구글의 GFS) 데이터베이스 저장방식 : 전통적인 관계형 DB 시스템을 이용하거나 NoSQL 데이터베이스 시스템을 이용하는 방식 - 수평적 확장성, 데이터 복제, 간편한 API 제공, 일관성 ..
Part01 빅데이터 분석 기획 Chapter03 데이터 수집 및 저장 계획 Section01 데이터 수집 및 전환 1) 데이터 수집 - 데이터 처리 시스템에 들어갈 데이터를 모으는 과정으로 여러 장소에 있는 데이터를 한 곳으로 모으는 것 ① 기초 데이터 수집 수행 절차 ● 비즈니스 도메인 정보 수집 > 분석 기획서 기반 도메인, 서비스 이해 > 수집 데이터 탐색 > 기초 데이터 수집 ② 데이터 수집 시스템 구축 절차 ● 수집 데이터 유형 파악 > 수집 기술 결정 > 아키텍처 수립 > 하드웨어 구축 > 실행환경 구축 2) 비즈니스 도메인과 원천 데이터 정보 수집 ① 원천 데이터 정보 - 데이터 분석에 필요한 대상 우너천 데이터의 수집 가능성, 데이터의 보안, 정확성을 탐색하고, 데이터 수집의 난이도, 수..
Part01 빅데이터 분석 기획 Chapter02 데이터 분석 계획 Section02 분석 작업 계획 1) 분석 작업 개요 - 데이터 처리 프로세스 전체에 대한 이해가 필요 ① 데이터 처리 영역 - 데이터 분석을 위한 기초 데이터를 정의하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역 단계 내용 데이터 소스 - 내부 데이터, 외부 데이터 데이터 수집 - 로그 수집기, 크롤링, 센서 네트워크 등을 통해 수집 데이터 저장 - 유형별로 나눠 최적의 설계를 하여 데이터 스토리지에 저장 데이터 처리 - 저장된 대용량의 데이터를 신속하고 정확하게 처리하기 위해 실시간 처리 및 분산 처리 등을 시도 ② 데이터 분석 영역 - 저장되어 있는 데이터를 추출하여 분석 목적과 방법에 맞게 가공한 후, 데..
Part01 빅데이터 분석 기획 Chapter02 데이터 분석 계획 Section01 분석 방안 수립 1) 데이터 분석 방안 (1) 분석 방법론 - 데이터 분석 시 품질확보를 위하여 단계별로 수행해야 하는 활동, 작업, 산출물을 정의 ① 분석 방법론의 구성요건 상세한 절차(Procedure) 방법(Method) 도구와 기법(Tools & Techniques) 탬플릿과 산출물(Templates & Outputs) 어느 정도의 지식만 있으면 활용 가능한 수준의 난이도 ② 분석 방법론의 생성과정(선순환 과정) 형식화 : 개인의 암묵지가 조직의 형식지로 발전 체계화 : 문서화한 최적화된 형식지로 전개됨으로써 방법론이 생성 내재화 : 개인에게 전파되고 활용되어 암묵지로 발전 (2) 계층적 프로세스 모델 구성 ① ..
Part01 빅데이터 분석 기획 Chapter01 데이터 분석 계획 Section02 분석 방안 수립 1) 데이터 분석의 정의 - 대용량의 데이터 집합으로부터 유용한 정보를 찾고 결과를 예측하기 위해 목적에 따라 분석기술과 방법론을 기반으로 정형, 비정형 대용량 데이터를 구축, 탐색, 분석하고 시각화를 수행하는 업무 2) 데이터 분석 기획 - 실제 분석을 수행하기에 앞서 분석을 수행할 과제의 정의 및 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 작업 (1) 분석 기획의 특징 ① 분석 대상과 방법에 따른 분류 ② 목표 시점에 따른 분류 단기적 접근 방식(과제 중심적 접근) - 당면한 과제를 빠르게 해결하기 위한 목적 - Quick-Win 방식으로 분석 중장기적 접..
Part01 빅데이터 분석 기획 Chapter01 빅데이터의 이해 Section02 빅데이터 기술 및 제도 1) 빅데이터 플랫폼의 등장배경 비즈니스 요구사항 변화 데이터 규모와 처리 복잡도 증가 데이터 구조의 변화와 신속성 요구 데이터 분석 유연성 증대 2) 빅데이터 플랫폼의 기능 컴퓨팅 부하 발생 저장 부하 발생 네트워크 부하 발생 3) 빅데이터 플랫폼의 구조 소프트웨어 계층 - 빅데이터 애플리케이션을 구성하며 데이터 처리 및 분석과 이를 위한 데이터 수집, 정제 플랫폼 계층 - 빅데이터 어플리케이션을 실행하기 위한 플랫폼 제공, 작업 스케줄링이나 데이터 및 자원 할당과 관리, 프로파일링 등을 수행 인프라스트럭쳐 계층 - 자원 배치와 스토리지 관리, 노드 및 네트워크 관리 등을 통해 빅데이터 처리와 분..
