딥러닝(Deep Learning) 여러 비선형 변환 기법의 조합을 통해 높은 수중의 추상화를 시도하는 기계 학습 알고리즘의 집합이다. 기존 인공신경망 모델의 문제점인 기울기 소실이 해결되었고 강력한 GPU를 연산에 활용하여 하드웨어 연산속도를 높여 분석시간을 단축하면서 딥러닝이 부각되었다. ⭐ 딥러닝 특징 오차역전파를 사용한다. Sigmoid는 기울기 소실 문제로 인해 ReLU와 같은 활성화 함수를 많이 사용한다. 딥러닝은 은닉층을 사용하여 결과에 대한 해석이 어렵다. Dropout은 무작위로 신경망을 제거한다. 딥러닝 알고리즘 딥러닝 알고리즘에는 DNN, CNN, RNN, GAN 등 다양한 알고리즘이 존재한다. ① DNN 알고리즘 은닉층을 심층 구성한 신경망으로 학습하는 알고리즘이다. DNN알고리즘은 ..

비모수 통계란? 비모수 통계는 평균이나 분산 같은 모집단의 분포에 대한 모수성을 가정하지 않고 분석하는 통계적 방법이다. 데이터가 모수적 분석 방법이 가정한 특성을 만족하지 못할 때는 비모수 통계분석 방법을 사용하여야 한다. ⭐비모수 통계 특징 비모수 통계분석에서는 빈도, 부호, 순위 등의 통계량을 사용한다. 순위와 부호에 기초한 방법 위주로 이상값으로 인한 영향이 적다. 데이터가 모수적 분석 방법이 가정한 특성을 만족하지 못할 때는 비모수 통계분석 방법을 사용하여야 한다. ⭐비모수 통계 장단점 장점 모집단의 분포에 대한 가정의 불만족으로 인한 오류의 가능성이 작다. 모수적 방법에 비해 통계량의 계산이 간편하고 직관적으로 이해하기 쉽다. 모집단의 분포에 무관하게 사용할 수 있다. 추출된 샘플의개수가 10..

앙상블 분석 앙상블은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 기법이다. 앙상블 기법은 다양한 모형의 예측 결과를 결합함으로써 단일 모형으로 분석했을 때보다 높은 신뢰성을 가집니다. 이상값에 대한 대응력이 높아지고, 전체 분산을 감소시켜 정확도를 상승시킨다. 모형의 투명성이 떨어지게 되어 정확한 현상의 원인 분석에는 부적합하다. 주어진 자료로부터 여러 개의 예측 모형을 만든 후 예측 모형들을 조합하여 하나의 최종 예측 모형을 만드는 방법으로 다중 모델 조합, 분류기 조합이 있다. 앙상블 알고리즘은 여러개의 학습 모델을 훈련하고 투표를 통해 최적화된 예측을 수행하고 결정한다. 앙상블 학습절차 앙상블 학습절차는 도출 및 생성, 집합별 모델 학습..

비정형 데이터 비정형 데이터는 스키만 구조 형태를 가지지 않고 고정된 필드에 저장되지 않는 데이터이며 텍스트, 이미지, 오디오, 비디오 등이 있다. 텍스트 : 문자/문자열 형태로 저장 이미지 : RGB 방식으로 저장 오디오 : 시간에 따른 진폭 형태로 저장 비디오 : 이미지 스트리밍으로 저장 비정형 데이터 분석 비정형 데이터 안에서 체계적인 통계적 규칙이나 패턴을 탐색하고 이를 의미 있는 정보로 변환함으로써 기업의 의사결정에 적용하는 분석 기법이다. 대표적인 비정형 데이터 분석 기법으로 텍스트 마이닝, 오피니언 마이닝, 웹 마이닝, 사회 연결망 분석이 있다. ① 텍스트 마이닝 텍스트 마이닝은 텍스트 형태로 이루어진 비정형 데이터들을 자연어 처리 방식을 이용해 정보를 추출하는 기법이다. 텍스트 마이닝의 기..

이전글 보러가기 [빅데이터분석기사 필기] 2과목 빅데이터탐색 요약정리 이전글 보러가기 [빅데이터분석기사 필기] 1과목 빅데이터분석기획 요약정리 ⭐: 키워드 ⭐⭐:기출문제 유형 ⭐⭐⭐:출제 多 ① 빅데이터의 이해 ⭐ DIKW피라미드 Data ➡️ Information ➡️ Knowledge ohaengsa.tistory.com ① 분석모형설계 ⭐ 분석모형선정 분석목적에 부합하고 수집된 데이터의 변수들을 고려하여 적합한 빅데이터 분석 모형을 선정한다. 현상에서 패턴을 발견하는 것은 탐색적 데이터 분석이며 현상에서 인과적인 결론을 도출하는 것은 통계적 추천, 현상을 예측하는 것은 기계학습(머신러닝)이다. 통계, 데이터 마이닝, 머신러닝 기반 분석 모델 기법을 고려하여 적합한 빅데이터 분석 모델을 선정한다. ⭐..