Part01 빅데이터 분석 기획 Chapter03 데이터 수집 및 저장 계획 Section01 데이터 수집 및 전환 1) 데이터 수집 - 데이터 처리 시스템에 들어갈 데이터를 모으는 과정으로 여러 장소에 있는 데이터를 한 곳으로 모으는 것 ① 기초 데이터 수집 수행 절차 ● 비즈니스 도메인 정보 수집 > 분석 기획서 기반 도메인, 서비스 이해 > 수집 데이터 탐색 > 기초 데이터 수집 ② 데이터 수집 시스템 구축 절차 ● 수집 데이터 유형 파악 > 수집 기술 결정 > 아키텍처 수립 > 하드웨어 구축 > 실행환경 구축 2) 비즈니스 도메인과 원천 데이터 정보 수집 ① 원천 데이터 정보 - 데이터 분석에 필요한 대상 우너천 데이터의 수집 가능성, 데이터의 보안, 정확성을 탐색하고, 데이터 수집의 난이도, 수..
Part01 빅데이터 분석 기획 Chapter02 데이터 분석 계획 Section02 분석 작업 계획 1) 분석 작업 개요 - 데이터 처리 프로세스 전체에 대한 이해가 필요 ① 데이터 처리 영역 - 데이터 분석을 위한 기초 데이터를 정의하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역 단계 내용 데이터 소스 - 내부 데이터, 외부 데이터 데이터 수집 - 로그 수집기, 크롤링, 센서 네트워크 등을 통해 수집 데이터 저장 - 유형별로 나눠 최적의 설계를 하여 데이터 스토리지에 저장 데이터 처리 - 저장된 대용량의 데이터를 신속하고 정확하게 처리하기 위해 실시간 처리 및 분산 처리 등을 시도 ② 데이터 분석 영역 - 저장되어 있는 데이터를 추출하여 분석 목적과 방법에 맞게 가공한 후, 데..
Part01 빅데이터 분석 기획 Chapter02 데이터 분석 계획 Section01 분석 방안 수립 1) 데이터 분석 방안 (1) 분석 방법론 - 데이터 분석 시 품질확보를 위하여 단계별로 수행해야 하는 활동, 작업, 산출물을 정의 ① 분석 방법론의 구성요건 상세한 절차(Procedure) 방법(Method) 도구와 기법(Tools & Techniques) 탬플릿과 산출물(Templates & Outputs) 어느 정도의 지식만 있으면 활용 가능한 수준의 난이도 ② 분석 방법론의 생성과정(선순환 과정) 형식화 : 개인의 암묵지가 조직의 형식지로 발전 체계화 : 문서화한 최적화된 형식지로 전개됨으로써 방법론이 생성 내재화 : 개인에게 전파되고 활용되어 암묵지로 발전 (2) 계층적 프로세스 모델 구성 ① ..
Part01 빅데이터 분석 기획 Chapter01 데이터 분석 계획 Section02 분석 방안 수립 1) 데이터 분석의 정의 - 대용량의 데이터 집합으로부터 유용한 정보를 찾고 결과를 예측하기 위해 목적에 따라 분석기술과 방법론을 기반으로 정형, 비정형 대용량 데이터를 구축, 탐색, 분석하고 시각화를 수행하는 업무 2) 데이터 분석 기획 - 실제 분석을 수행하기에 앞서 분석을 수행할 과제의 정의 및 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 작업 (1) 분석 기획의 특징 ① 분석 대상과 방법에 따른 분류 ② 목표 시점에 따른 분류 단기적 접근 방식(과제 중심적 접근) - 당면한 과제를 빠르게 해결하기 위한 목적 - Quick-Win 방식으로 분석 중장기적 접..
Part01 빅데이터 분석 기획 Chapter01 빅데이터의 이해 Section02 빅데이터 기술 및 제도 1) 빅데이터 플랫폼의 등장배경 비즈니스 요구사항 변화 데이터 규모와 처리 복잡도 증가 데이터 구조의 변화와 신속성 요구 데이터 분석 유연성 증대 2) 빅데이터 플랫폼의 기능 컴퓨팅 부하 발생 저장 부하 발생 네트워크 부하 발생 3) 빅데이터 플랫폼의 구조 소프트웨어 계층 - 빅데이터 애플리케이션을 구성하며 데이터 처리 및 분석과 이를 위한 데이터 수집, 정제 플랫폼 계층 - 빅데이터 어플리케이션을 실행하기 위한 플랫폼 제공, 작업 스케줄링이나 데이터 및 자원 할당과 관리, 프로파일링 등을 수행 인프라스트럭쳐 계층 - 자원 배치와 스토리지 관리, 노드 및 네트워크 관리 등을 통해 빅데이터 처리와 분..
Part01 빅데이터 분석 기획 Chapter01 빅데이터의 이해 Section01 빅데이터 개요 및 활용 1) 데이터베이스의 정의 개별적으로 접근할 수 있는 독립된 저작물, 데이터 또는 기타 소재의 수집물 복수 이용자의 요구에 대응해서 데이터를 받아들이고 저장, 공급하기 위하여 일정한 구조에 따라서 편성된 데이터의 집합 다수의 콘텐츠를 정보 처리 및 정보통신 기기에 의하여 체계적으로 수집, 축적하여 다양한 용도와 방법으로 이용할 수 있도록 정리한 정보의 집합 ▶ 데이터베이스 관리 시스템의 종류 종류 설명 관계형 DBMS 데이터로 열과 행을 이루는 테이블로 표현하는 모델 객체지향 DBMS 정보를 객체 형태로 표현하는 모델 네트워크 DBMS 그래프 구조를 기반으로 하는 모델 계층형 DBMS 트리 구조를 기..
Part01 빅데이터 분석 기획 Chapter01 빅데이터의 이해 Section01 빅데이터 개요 및 활용 1) 데이터의 정의 - 추론과 추정의 근거를 이루는 사실 - 현실 세계에서 관찰하거나 측정하여 수집한 사실 2) 데이터의 특징 - 단순한 객체로도 가치가 있으며 다른 객체와의 상호관계 속에서 더 큰 가치를 갖는다. - 객관적 사실이라는 존재적 특성을 갖는다. 3) 데이터의 구분 ① 정량적 데이터 : 주로 숫자로 이루어진 데이터 ② 정성적 데이터 : 문자와 같은 텍스트로 구성되며 함축적 의미를 지니고 있는 데이터 ▶ 정량적 데이터와 정성적 데이터의 비교 정량적 데이터 정성적 데이터 유형 정형 데이터, 반정형 데이터 비정형 데이터 특징 여러 요소의 결합으로 의미 부여 객체 하나가 함축된 의미 내포 관점..
