더보기 ⅰ빅데이터 분석 기획 빅데이터 플랫폼 ▷ 빅데이터에서 가치를 추출하기 위해 일련의 과정(수집 > 저장 > 처리 > 분석 > 시각화)을 규격화한 기술 ▷ 특화된 분석(의료, 환경, 범죄, 자동차 등)을 지원하는 빅데이터 플랫폼이 발전하는 추세 ● 빅데이터 플랫폼 구성요소 구성요소 주요 기능 데이터 수집 - 원천 데이터의 정형 / 반정형 / 비정형 데이터 수집 - ETL, 크롤러 EAI 등 데이터 저장 - 정형 데이터, 반정형 데이터, 비정형 데이터 저장 - RDBMS, NoSQL 등 데이터 분석 - 텍스트 분석, 머신러닝, 통계, 데이터 마이닝 - SNS 분석, 예측 분석 등 데이터 활용 - 데이터 가시화 및 BI, Open API 연계 - 히스토그램, 인포그래픽 등 ● 빅데이터 플랫폼 데이터 형식..
Part03 빅데이터 모델링 Chapter02 분석기법 적용 Section02 고급 분석기법 1) 범주형 자료분석 - 변수들이 이산형 변수일 때 주로 사용하는 분석 ex) 두 제품 간의 선호도가 성별에 따라 연관이 있는지 여부 2) 자료의 분석 독립변수 종속변수 분석방법 예제 범주형 범주형 빈도분석, 카이제곱 검정, 로그선형모형 지역별 선호정당 연속형 범주형 로지스틱 회귀분석 소득에 따른 결혼의 선호도 범주형 연속형 T검정(2그룹), 분산분석(2그룹 이상) 지역별 가계수입의 차이 연속형 연속형 상관분석, 회귀분석 ① 빈도분석 : 질적자료를 대상으로 빈도와 비율을 계산할 때 쓰임 ② 카이제곱검정 : 두 범주형 변수가 서로 상관이 있는지 독립인지를 판단하는 통계적 검정방법 ③ T검정 : 독립변수가 범주형이고..
Part02 빅데이터 탐색 Chapter03 통계기법의 이해 Section02 추론통계 ● 추론 : 표본을 통해 모집단 특성이 어떠한가에 대해 추측하는 과정 ● 가설검정 : 모집단의 실제값이 얼마나 되는가 하는 주장과 관련해서, 표본이 가지고 있는 정보를 이용해 가설이 올바른지 그렇지 않은지 판정하는 과정 1) 점추정 - 모수에 대한 즉 모평균이나 모표준편차 등과 같은 추정치를 이에 대응하는 통계량으로 추정하는 것 (1) 추정량의 선택 기준 불편성 효율성 일치성 충분성 (2) 점추정량 - 모집단의 특성을 단일값으로 추청하는 것 (3) 적률 방법 - 양수 n에 대해 확률변수 X의 n제곱의 기댓값이 E(X의 n제곱)을 확률변수 X의 원점에 대한 n차 적률이라고 함 (4) 편향 - 기대하는 추정량과 모수의 차..
Part02 빅데이터 탐색 Chapter03 통계기법의 이해 Section01 기술통계 ● 기술통계 : 분석에 필요한 데이터를 요약하여 묘사, 설명하는 통계기법 1) 표본추출 모집단 : 관심 대상의 전체집합 표본 : 모집단 속에서 그 일부를 끄집어내어 조사한 결과 표본추출 : 모집단으로부터 표본을 선택하는 행위 2) 전수조사와 표본조사 전수조사 : 관심의 대상이 되는 모집단 전체를 대상으로 조사하는 것 표본조사 : 관심의 대상이 되는 모집단에서 표본을 추출하여 표본을 대상으로 조사를 시행하는 것 ● 표본추출 오차 : 표본에서 선택된 대상이 모집단의 특성을 과잉 대표하거나 최소 대표할 때 발생 과잉 대표 : 중복선택 등의 원인으로 반복, 중복된 데이터만으로 규정되는 현상 최소 대표 : 실제모집단의 대표성을..
Part01 빅데이터 분석 기획 Chapter03 데이터 수집 및 저장 계획 Section01 데이터 적재 및 저장 1) 데이터 수집 및 적재 연계 데이터 수집 도구를 이용한 데이터 적재 NoSQL DBMS가 제공하는 도구를 이용한 데이터 적재 관계형 DBMS의 데이터를 NoSQL DBMS에서 적재 2) 빅데이터 저장시스템 - 대용량 데이터 집합을 저장하고 관리하는 시스템으로 사용자에게 데이터 제공 신뢰성과 가용성을 보장하는 시스템 파일 시스템 저장 방식 : 분산 파일의 형태로 저장하는 방식(Apache HDFS, 구글의 GFS) 데이터베이스 저장방식 : 전통적인 관계형 DB 시스템을 이용하거나 NoSQL 데이터베이스 시스템을 이용하는 방식 - 수평적 확장성, 데이터 복제, 간편한 API 제공, 일관성 ..
