반응형

hdfs 2

[빅데이터분석기사 필기] 하둡 에코시스템의 다양한 기술과 기출문제

하둡 에코시스템(Hadoop Ecosystem) 하둡 프레임워크를 이루고 있는 다양한 서브 프로젝트들의 모임이다. 하둡 에코시스템은 수집, 저장, 처리 기술과 분석, 실시간 SQL 질의 기술로 구분할 수 있다. 하둡(Hadoop) 아파치 하둡은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어입니다. 분산처리 시스템인 구글파일시스템(GFS)을 대체할 수 있는 하둡 분산 파일 시스템(HDFS: Hadoop Distributed File System)과 맵리듀스를 구현한 것입니다. 비정형 데이터 수집 기술 Chukwa(척와) 분산 시스템으로부터 데이터를 수집, 하둡 파일 시스템에 저장, 실시간 분석 기능을 제공한다. 에이전트와 컬렉터로 구성..

[빅데이터분석기사 필기] 데이터 저장기술 종류와 기출문제

데이터 저장기술 ① 데이터 웨어하우스 사용자의 의사결정에 도움을 주기 위하여 기간 시스템의 데이터베이스에 축적된 데이터를 공통 형식으로 변환해서 관리하는 데이터베이스 주제 지향적, 통합적, 시계열적, 비휘발적 ② 데이터마트 전사적으로 구축된 데이터 속의 특정 주제, 부서 중심으로 구축된 소규모 단위 주제의 데이터 웨어하우스 ③ 데이터 레이크 정형, 반정형, 비정형 데이터를 비롯한 모든 가공되지 않은 다양한 종류의데이터를 저장할 수 있는 시스템 또는 중앙 집중식 데이터 저장소 빅데이터 저장기술 - 분산파일시스템 분산된 서버에 파일을 저장하고 저장된 데이터를 빠르게 처리할 수 있게 만든 시스템 데이터베이스를 분산 저장한다. x86서버의 CPU,RAM등을 사용하므로 장비 증가에 따른 성능향상에 용이하다. 네트..

반응형