Part03 빅데이터 모델링 Chapter02 분석기법 적용 Section02 고급 분석기법 1) 범주형 자료분석 - 변수들이 이산형 변수일 때 주로 사용하는 분석 ex) 두 제품 간의 선호도가 성별에 따라 연관이 있는지 여부 2) 자료의 분석 독립변수 종속변수 분석방법 예제 범주형 범주형 빈도분석, 카이제곱 검정, 로그선형모형 지역별 선호정당 연속형 범주형 로지스틱 회귀분석 소득에 따른 결혼의 선호도 범주형 연속형 T검정(2그룹), 분산분석(2그룹 이상) 지역별 가계수입의 차이 연속형 연속형 상관분석, 회귀분석 ① 빈도분석 : 질적자료를 대상으로 빈도와 비율을 계산할 때 쓰임 ② 카이제곱검정 : 두 범주형 변수가 서로 상관이 있는지 독립인지를 판단하는 통계적 검정방법 ③ T검정 : 독립변수가 범주형이고..

Part03 빅데이터 모델링 Chapter02 분석기법 적용 Section01 분석기법 1) 인공신경망(ANN) - 인간의 두뇌 신경세포인 뉴런을 기본으로 한 기계학습 기법 범주형 변수 일정 빈도 이상의 값으로 비슷하고 범주가 일정한 구간이어야 함 연속형 변수 입력변수 값들의 범위가 큰 차이가 없어 표준화가 가능한 경우에 더 적합 (1) 인공신경망의 발전 ① 다층 퍼셉트론이 가진 문제 사라지는 경사도 : 신경망 층수를 늘릴 때 데이터가 사라져 학습이 잘 되지 않는 현상 오버피팅 : 데이터가 많지 않은 경우 특정 학습 데이터에만 학습이 잘되어 신규 데이터에 대한 추론처리 성능이 낮아지는 문제 ② 인공신경망의 원리 지도학습 - 학습데이터로 입력벡터와 함께 기대되는 출력벡터, 즉 답을 제시 비지도학습 - 학습..

Part03 빅데이터 모델링 Chapter02 분석기법 적용 Section01 분석기법 1) 학습 유형에 따른 데이터 분석 모델 ① 지도학습 : 주어진 데이터에 대해 정답을 부여하고 동일한 정답이 나오도록 분류 또는 새로운 데이터의 정답을 예측하도록 학습 지도학습 - 분류 의사결정트리(분류), 랜덤 포레스트, 인공신경망(지도학습), 서포트 벡터 머신(SVM), 로지스틱 회귀분석 지도학습 - 회귀(예측) 선형회귀분석, 다중회귀분석, 의사결정트리(회귀) ② 비지도학습 : 정답 없이 컴퓨터 스스로 입력 데이터 패턴을 구분하도록 학습 ③ 준지도학습 : 효율적 학습을 위해 목표값이 표시된 데이터와 표시되지 않은 데이터를 모두 학습에 사용함으로써 주어진 데이터 특징을 표현하는 잠재변수를 찾게 하는 것 ④ 강화학습 ..

Part03 빅데이터 모델링 Chapter01 분석 모형 설계 Section02 분석 환경 구축 1) R - 통계분석과 자료의 시각화를 위해 개발한 오픈 분석용 프로그래밍 언어 ① 객체지향 언어 : 일반 데이터, 함수, 차트 등 모든 데이터가 객체 형태로 관리되어 효율적인 조작과 저장방법을 제공 ② 고속메모리 처리 : 모든 객체는 메모리로 로딩되어 고속으로 처리되고 재사용 가능 ③ 다양한 자료 구조 : 벡터, 배열, 행렬, 데이터 프레임, 리스트 등 다양한 자료구조와 연산 기능을 제공 ④ 최신패키지 제공 : 오픈소스 커뮤니티 CRAN 사이트를 통해 데이터 분석에 필요한 최신의 알고리즘과 방법론 제공 ⑤ 시각화 : 데이터 분석과 표현을 위한 다양한 그래픽 도구 제공 ▶ R의 장, 단점 장점 - 지속적으로 ..

Part03 빅데이터 모델링 Chapter01 분석 모형 설계 Section01 분석 절차 수립 1) 분석 모형 선정 필요성 - 분석 기법 또는 분석 알고리즘을 적용하기 전에 분석 모형에 대한 선정이 필요함 (1) 분석 모형 선정 프로세스 문제요건 정의 또는 비즈니스 이해에 따른 대상 데이터 선정과 분석 목표 / 조건 정의 데이터 수집, 정리 및 도식화 데이터 전처리 분석 모형 선정 2) 분석 모형 정의와 종류 ① 예측 분석 모형 : 적조 예측, 날씨 예측, 주가 예측, 범죄 / 위험 예측, 쇼핑 아이템 추천 ② 현황 진단 모형 : 과거 데이터를 통해 현재 상황을 객관적으로 진단하는 모형 ③ 최적화 분석 모형 : 제한된 자원, 환경 내에서 최대의 효용성, 이익과 같은 결과를 생성하기 위함 ▶ 분석 모형 ..