Part03 빅데이터 모델링 Chapter01 분석 모형 설계 Section01 분석 절차 수립 1) 분석 모형 선정 필요성 - 분석 기법 또는 분석 알고리즘을 적용하기 전에 분석 모형에 대한 선정이 필요함 (1) 분석 모형 선정 프로세스 문제요건 정의 또는 비즈니스 이해에 따른 대상 데이터 선정과 분석 목표 / 조건 정의 데이터 수집, 정리 및 도식화 데이터 전처리 분석 모형 선정 2) 분석 모형 정의와 종류 ① 예측 분석 모형 : 적조 예측, 날씨 예측, 주가 예측, 범죄 / 위험 예측, 쇼핑 아이템 추천 ② 현황 진단 모형 : 과거 데이터를 통해 현재 상황을 객관적으로 진단하는 모형 ③ 최적화 분석 모형 : 제한된 자원, 환경 내에서 최대의 효용성, 이익과 같은 결과를 생성하기 위함 ▶ 분석 모형 ..

Part02 빅데이터 탐색 Chapter03 통계기법의 이해 Section02 추론통계 ● 추론 : 표본을 통해 모집단 특성이 어떠한가에 대해 추측하는 과정 ● 가설검정 : 모집단의 실제값이 얼마나 되는가 하는 주장과 관련해서, 표본이 가지고 있는 정보를 이용해 가설이 올바른지 그렇지 않은지 판정하는 과정 1) 점추정 - 모수에 대한 즉 모평균이나 모표준편차 등과 같은 추정치를 이에 대응하는 통계량으로 추정하는 것 (1) 추정량의 선택 기준 불편성 효율성 일치성 충분성 (2) 점추정량 - 모집단의 특성을 단일값으로 추청하는 것 (3) 적률 방법 - 양수 n에 대해 확률변수 X의 n제곱의 기댓값이 E(X의 n제곱)을 확률변수 X의 원점에 대한 n차 적률이라고 함 (4) 편향 - 기대하는 추정량과 모수의 차..

Part02 빅데이터 탐색 Chapter03 통계기법의 이해 Section01 기술통계 ● 기술통계 : 분석에 필요한 데이터를 요약하여 묘사, 설명하는 통계기법 1) 표본추출 모집단 : 관심 대상의 전체집합 표본 : 모집단 속에서 그 일부를 끄집어내어 조사한 결과 표본추출 : 모집단으로부터 표본을 선택하는 행위 2) 전수조사와 표본조사 전수조사 : 관심의 대상이 되는 모집단 전체를 대상으로 조사하는 것 표본조사 : 관심의 대상이 되는 모집단에서 표본을 추출하여 표본을 대상으로 조사를 시행하는 것 ● 표본추출 오차 : 표본에서 선택된 대상이 모집단의 특성을 과잉 대표하거나 최소 대표할 때 발생 과잉 대표 : 중복선택 등의 원인으로 반복, 중복된 데이터만으로 규정되는 현상 최소 대표 : 실제모집단의 대표성을..

Part02 빅데이터 탐색 Chapter02 데이터 탐색 Section02 고급 데이터 탐색 1) 시공간 데이터 탐색 - 공간적 정보(데이터)에 시간의 흐름(이력정보 등)이 결합된 다차원 데이터를 다루는 것 ① 시간 데이터 : 어느 한 시점에 대한 스냅샷 정보 ② 공간 데이터 : 기존 데이터베이스보다 복잡하고 다양한 유형의 값을 갖는 공간 데이터를 효율적으로 관리, 저장, 이용하는 데 초점을 맞춤 ③ 공간 데이터 모델 관계형 모델 : 기존 정적 모델로 데이터의 표현이 유연하지 못하며 실세계 공간의 객체의 특징을 적절히 표현하지 못하는 문제점이 있다. 객체지향 모델 : 비 구조적이고 복잡한 데이터를 자연스럽게 표현 ④ 시공간 데이터 : 시간과 공간 데이터의 결합 형태 2) 시공간 데이터 분석 시공간자료 정..

Part02 빅데이터 탐색 Chapter02 데이터 탐색 Section01 데이터 탐색의 기초 1) 데이터 탐색의 개요 (1) 탐색적 데이터 분석(EDA : Exploratory Data Analysis) - 수집한 데이터가 들어왔을 때, 다양한 방법을 통해서 자료를 관찰하고 이해하는 과정 (2) 탐색적 데이터 분석의 필요성 내재된 잠재적 문제에 대해 인식하고 해결안을 도출할 수 있음 문제정의 단계에서 인지 못한 새로운 양상, 패턴을 발견할 수 있음 (3) 이상치의 검출 방법 개별 데이터 관찰 : 데이터 값을 눈으로 훑어보면서 전체적인 추세와 특이사항을 관찰할 수 있음 통계값 활용 시각화 활용 : 시각화를 통해 주어진 데이터의 개별 속성에 어떤 통계 지표가 적절한지 결정할 수 있음 머신러닝 기법 활용 :..