빅데이터분석기사 필기 8일차 -1

Part03 빅데이터 모델링

Chapter01 분석 모형 설계

Section01 분석 절차 수립

 

1) 분석 모형 선정 필요성

- 분석 기법 또는 분석 알고리즘을 적용하기 전에 분석 모형에 대한 선정이 필요함

 

(1) 분석 모형 선정 프로세스

1. 문제요건 정의 또는 비즈니스 이해에 따른 대상 데이터 선정과 분석 목표 / 조건 정의
2. 데이터 수집, 정리 및 도식화
3. 데이터 전처리
4. 분석 모형 선정

 

2) 분석 모형 정의와 종류

 

① 예측 분석 모형 : 적조 예측, 날씨 예측, 주가 예측, 범죄 / 위험 예측, 쇼핑 아이템 추천

② 현황 진단 모형 : 과거 데이터를 통해 현재 상황을 객관적으로 진단하는 모형

③ 최적화 분석 모형 : 제한된 자원, 환경 내에서 최대의 효용성, 이익과 같은 결과를 생성하기 위함

 

▶ 분석 모형 정의와 판별을 위한 평가기준표 예시

	판단 근거
필요성	개인이나 기관 관점에서 분석 과제가 필요한지 판단
파급효과	정성적, 정량적 기대효과의 정도 판단
추진 시급성	당장 해소되어야 할 사회현안 여부 판단, 장기과제 성격 분리
구현 가능성	과제를 구현함에 있어서 어려움이 없는지 현실성 판단
데이터 수집 가능성	공공기관 협조나 데이터 확보, 데이터 구매 등 제약사항 판단
모델 확장성	과제가 시범과제로 끝나지 않고 전체 데이터 모델로 확장 가능한지 판단

 

① 상향식(Bottom-up) 접근 : 특정 영역을 지정하여 의사결정 지점으로 진행하는 과정에서 분석 기회를 발굴하는 방식

② 분석 유스케이스 기반 접근 : 분석 테마 후보 그룹을 활용하고 연관된 분석 기회를 발굴하는 방식

 

 

3) 분석 모형 구축 절차

1. 분석 시나리오 작성
2. 분석 모형 설계

 

(1) 통계적 가설 검정

- 통계적 추측의 하나로서, 모집단의 실제 값이 얼마가 된다는 주장에 대해 표본의 정보를 사용해서 가설의 합당성 여부를 판정하는 과정

 

① 유의수준 결정, 귀무가설과 대립가설 설정

 

② 검정통계량의 설정

 

③ 기각역의 설정

  기각역 : 확률분포에서 귀무가설을 기각하는 영역

 

④ 검정통계량 계산

  신뢰수준 : 가설을 검정할 때 어느 정도로 검정할 것인지에 대한 수준

  유의수준 : 가설을 검정할 때 일정 수준을 벗어나면 귀무가설이 오류라고 판단하는 수준

 

⑤ 통계적인 의사결정(가설검정) > 양측검정, 단측검정

 

 

 

참고 : 이기적 빅데이터분석기사 필기 교재