ㅇ

* 다음 내용은 [데이터 분석 전문가 가이드] (2019년 개정판)을 읽고 정리한 내용입니다. 제 2절 분산 컴퓨팅 기술 분산 컴퓨팅 기술 저가형 서버들이 클러스터링을 수행하여 그것으로부터 다양한 리소스(CPU, 메모리, 하드디스크, 파일, 프로세스)들을 모아 표준화한 대규모 고성능 컴퓨팅 플랫폼을 구축하는 것 최근 컴퓨팅 환경이 주목한다 정보분석 분야(데이터 중심의 텍스트 마이닝 + 로그 모델링)에서 활용이 높다 1. MapReduce 분할정복 방식으로 대용량 데이터를 병렬 처리하는 프로그래밍 모델 특별한 옵션 없으면 Map Task 하나가 1개의 블록(64MB)을 대상으로 연산을 수행 Map 과정에서 생산된 중간 결과물을 Reduce Task들(사용자가 개수 지정)이 받아와 정렬 및 필터링 작업을 거..

* 다음 내용은 [데이터 분석 전문가 가이드] (2019년 개정판)을 읽고 정리한 내용입니다. 제 1절 분산 데이터 저장 기술 대규모 클러스터 시스템 플랫폼 네트워크상에 분산된 서버들을 클러스터링하여 대용량 저장 공간과 빠른 처리 성능을 제공한다. 분산 데이터 저장 기술 네트워크상에 데이터를 저장/조회/관리할 수 있다 저장데이터의 정형화 여부와 데이터 모델에 따라 분산 파일시스템과 클러스터 데이터베이스, Key-Value 저장소 정도로 구분이 가능하다. 기존 아키텍쳐 고가의 마스터 서버에서 많은 역할을 수행하는 중앙 집중 방식 장애 발생 자체를 차단 분산 파일 시스템 / Key-Value 대용량 데이터를 저장하기 위해 GFS, BigTable, SimpleDB 등을 개발 저가의 PC급 서버로 클러스터를 ..

* 다음 내용은 [데이터 분석 전문가 가이드] (2019년 개정판)을 읽고 정리한 내용입니다. 제 1절 ETL(Extraction, Transformation, and Load) 1. ETL 개요 데이터 이동과 변환 절차와 관련된 업계 표준 용어 DW(Data Warehouse), ODS(Operational Data Store), DM(Data Mart)에 대한 데이터 적재 작업의 핵심 구성요소 데이터 통합 Data Integration, 데이터 이동 Data Migration, 마스터 데이터 관리 MDM(Master Data Management)에 걸쳐 폭넓게 활용 정책 기반의 정기적인 실행 일정을 조정할 수 있는 재사용 가능 컴포넌트들로 대용량 데이터를 처리하기 위한, MPP(Massive Para..

* 다음 내용은 [데이터 분석 전문가 가이드] (2019년 개정판)을 읽고 정리한 내용입니다. 제 1절 빅데이터 분석과 전략 인사이트 1. 빅데이터 열풍과 회의론 IT 솔루션은 공포 마케팅이 잘 통하는 영역으로, 예전부터 해오던 분석의 이름만 바꾸는 수사적 사기로 보인다. 공포 마케팅: 모든 문제를 한번에 해소할 것처럼 강조하다가 합류하지 못하면 위험에 처할지도 모른다는 공포 분위기를 조성 2. 왜 싸이월드는 페이스북이 되지 못했나? 데이터 분석 기반 경영 문화의 부재 분석 기반 경영이 도입되지 못하는 이유 기존 관행을 그냥 따른다 경영진의 직관적 결정을 귀한 재능으로 칭송 분석적 실험을 능숙하게 해내는 사람이 거의 없고 적절한 방법조차 제대로 익히지 못한 사람들에게 분석 업무가 주어짐 아이디어를 낸 사..

* 다음 내용은 [데이터 분석 전문가 가이드] (2019년 개정판)을 읽고 정리한 내용입니다. 제 1절 빅데이터의 이해 1. 정의 빅데이터 3V로 요약되는 데이터 자체의 특성 변화에 초점을 맞춘 좁은 범위의 정의 처리, 분석 기술적 변화까지 포함하는 중간 범위의 정의 인재, 조직 변화까지 포함해 빅데이터를 넓은 관점으로 정의 기존의 작은 데이터 처리 분석으로는 얻을 수 없었던 통찰과 가치를 창출하는 새로운 방식 3V 빅데이터의 3가지 측면이 급격히 증가 Volume: 양 Variety: 유형과 소스의 다양성 Velocity: 수집과 처리 측면의 속도 2. 출현 배경 기술 차원에서 패러디임 전환이 일어난 것으로 크게 아래의 3가지의 환경변화 측면에서 논할 수 있다. 산업계 고객 데이터 축적, 양질 전환 법..

* 다음 내용은 [데이터 분석 전문가 가이드] (2019년 개정판)을 읽고 정리한 내용입니다. 제 1절 데이터와 정보 1. 데이터의 정의 data 라틴어 dare의 p.p로, 주어진 것 추론과 추정의 근거를 이루는 사실 다른 객체와의 상호관계 속에서 가치를 갖는것 즉, 객관적 사실인 동시에 추론, 예측, 전망, 추정을 위한 근거로 기능한다. 데이터의 종류 정성데이터 : 언어, 문자 등으로 기술되고 많은 비용과 기술적 투자가 수반된다. 정량데이터 : 수치, 기호, 도형 등으로 표시된다. 데이터의 역할 지식경영의 핵심이슈인, 암묵지와 형식지의 상호작용에서 중요한 역할 내면화된 지식을 조직의 지식으로 공통화 하기 위해 개인의 암묵지를 형태로 표출화하고 이를 다시 다른 개인이 본인의 지식에 연결화 하고 새로운 ..