적합도 검정 적합도 검정은 표본 집단의 분포가 주어딘 특정 이론을 따르고 있는지를 검정하는 기법이다. 적합도 검정은 가정된 확률이 정해진 경우와 아닌 경우로 유형을 분리할 수 있다. 적합도 검정 기법으로는 카이제곱 검정, 샤피로-윌크 검정, K-S 검정, Q-Q Plot이 있다. 적합도 검정 기법 유형 ① 가정된 확률 검정 가정된 확률이 정해져 있을 경우에 사용하는 검정 방법이다. 카이제곱 검정을 이용하여 검정을 수행한다. ⭐ Chi Square Test(카이제곱 검정) R언어에서 chisp.test() 함수를 이용해서 나온 결과의 p-값이 0.05보다 클 경우 관측된 데이터가 가정된 확률을 따른다고 할 수 있다. ② 정규성 검정 일반적으로 데이터가 정규분포를 따른다는 가정 아래 검정 통계량과 p-값을 ..

모수 유의성 검정 검정 대상인 모집단의 평균 및 분산에 따라 가설의 유의성을 검정한다. 모집단은 분석의 대상, 즉 관심의 대상이 되는 전체 그룹이며, 모수는 모집단을 설명하는 어떤 값이다. 표본은 모집단 분석을 위해 추출한 한 집단의 관측치이며, 통계량은 모집단을 설명하는 어떤 값을 표본으로부터 구한 값이다. 모집단의 평균에 대한 유의성 검정 모집단의 평균을 알고 있을 때 Z-검정, T-검정을 사용하여 유의성을 검정한다. ① Z-검정 Z-검정은 귀무가설에서 검정 통계량의 분포를 정규분포로 근사할 수 있는 통계 검정이다. 정규분포를 가정하며, 추출된 표본이 동일 모집단에 속하는지 가설을 검정하기 위해 사용한다. 모집단 분산 σ²을 이미 알고 있을 때 분포의 평균을 테스트한다. Z-검정 통계량 값이 임계치보..

교차 검증 교차 검증은 모델의 일반화 오차에 대해 신뢰할 만한 추정치를 구하기 위해 훈련, 평가 데이터를 기반으로 하는 검증 기법이다. 빅데이터 분석 모형을 검증하기 위한 교차 검증으로는 홀드 아웃 교차 검증, K-Fold Cross Validation, LOOCV, LpOCV 등이 있다. ① 홀드 아웃 교차 검증 전체 데이터를 비복원추출 방법을 이용하여 랜덤하게 훈련 데이터, 평가 데이터로 나눠 검증하는 기법이다. 훈련 데이터로 분석 모형을 구축하고, 평가 데이터를 이용하여 분석 모형을 평가하는 기법이다. 계산량이 많지 않아 모형을 쉽게 평가할 수 있으나 전체 데이터에서 평가 데이터만큼은 학습에 사용할 수 없으므로 데이터 손실이 발생한다. 데이터를 어떻게 나누느냐에 따라 결과가 많이 달라질 수 있다. ..

딥러닝(Deep Learning)여러 비선형 변환 기법의 조합을 통해 높은 수중의 추상화를 시도하는 기계 학습 알고리즘의 집합이다.기존 인공신경망 모델의 문제점인 기울기 소실이 해결되었고 강력한 GPU를 연산에 활용하여 하드웨어 연산속도를 높여 분석시간을 단축하면서 딥러닝이 부각되었다.⭐ 딥러닝 특징오차역전파를 사용한다.Sigmoid는 기울기 소실 문제로 인해 ReLU와 같은 활성화 함수를 많이 사용한다. 딥러닝은 은닉층을 사용하여 결과에 대한 해석이 어렵다.Dropout은 무작위로 신경망을 제거한다. 딥러닝 알고리즘딥러닝 알고리즘에는 DNN, CNN, RNN, GAN 등 다양한 알고리즘이 존재한다. ① DNN 알고리즘은닉층을 심층 구성한 신경망으로 학습하는 알고리즘이다.DNN알고리즘은 입력층, 다수의 ..

비모수 통계란? 비모수 통계는 평균이나 분산 같은 모집단의 분포에 대한 모수성을 가정하지 않고 분석하는 통계적 방법이다. 데이터가 모수적 분석 방법이 가정한 특성을 만족하지 못할 때는 비모수 통계분석 방법을 사용하여야 한다. ⭐비모수 통계 특징 비모수 통계분석에서는 빈도, 부호, 순위 등의 통계량을 사용한다. 순위와 부호에 기초한 방법 위주로 이상값으로 인한 영향이 적다. 데이터가 모수적 분석 방법이 가정한 특성을 만족하지 못할 때는 비모수 통계분석 방법을 사용하여야 한다. ⭐비모수 통계 장단점 장점 모집단의 분포에 대한 가정의 불만족으로 인한 오류의 가능성이 작다. 모수적 방법에 비해 통계량의 계산이 간편하고 직관적으로 이해하기 쉽다. 모집단의 분포에 무관하게 사용할 수 있다. 추출된 샘플의개수가 10..

앙상블 분석 앙상블은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 기법이다. 앙상블 기법은 다양한 모형의 예측 결과를 결합함으로써 단일 모형으로 분석했을 때보다 높은 신뢰성을 가집니다. 이상값에 대한 대응력이 높아지고, 전체 분산을 감소시켜 정확도를 상승시킨다. 모형의 투명성이 떨어지게 되어 정확한 현상의 원인 분석에는 부적합하다. 주어진 자료로부터 여러 개의 예측 모형을 만든 후 예측 모형들을 조합하여 하나의 최종 예측 모형을 만드는 방법으로 다중 모델 조합, 분류기 조합이 있다. 앙상블 알고리즘은 여러개의 학습 모델을 훈련하고 투표를 통해 최적화된 예측을 수행하고 결정한다. 앙상블 학습절차 앙상블 학습절차는 도출 및 생성, 집합별 모델 학습..

비정형 데이터 비정형 데이터는 스키만 구조 형태를 가지지 않고 고정된 필드에 저장되지 않는 데이터이며 텍스트, 이미지, 오디오, 비디오 등이 있다. 텍스트 : 문자/문자열 형태로 저장 이미지 : RGB 방식으로 저장 오디오 : 시간에 따른 진폭 형태로 저장 비디오 : 이미지 스트리밍으로 저장 비정형 데이터 분석 비정형 데이터 안에서 체계적인 통계적 규칙이나 패턴을 탐색하고 이를 의미 있는 정보로 변환함으로써 기업의 의사결정에 적용하는 분석 기법이다. 대표적인 비정형 데이터 분석 기법으로 텍스트 마이닝, 오피니언 마이닝, 웹 마이닝, 사회 연결망 분석이 있다. ① 텍스트 마이닝 텍스트 마이닝은 텍스트 형태로 이루어진 비정형 데이터들을 자연어 처리 방식을 이용해 정보를 추출하는 기법이다. 텍스트 마이닝의 기..

이전글 보러가기 2022.09.27 - [빅데이터분석기사] - [빅데이터분석기사] 주성분분석(PCA) 개념 및 기출문제 [빅데이터분석기사] 주성분분석(PCA) 개념 및 기출문제 주성분 분석이란? 상관관계가 있는 고차원 자료를 자료의 변동을 최대한 보존하는 저차원 자료로 변환하는 차원축소 방법이다. 주성분 분석은 서로 상관성이 높은 변수들의 선형 결합으로 만들 ohaengsa.tistory.com 시계열 분석이란? 시계열 분석은 연도별 분기별, 월별 등 시계열로 관측되는 자료를 분석하여 미래를 예측하기 위한 분석 기법이다. ⭐ 시계열 분석의 특징 x축에는 시간, y축에는 관측값을 나타내어 추세를 빠르게 분석한다. 시계열 데이터는 규칙적, 불규칙한 특징을 갖는다. ⭐ 정상성 정상성은 시점에 상관없이 시계열의..

주성분 분석(PCA) 상관관계가 있는 고차원 자료를 자료의 변동을 최대한 보존하는 저차원 자료로 변환하는 차원축소 방법이다. 주성분 분석은 서로 상관성이 높은 변수들의 선형 결합으로 만들어 기존의 상관성이 높은 변수들을 요약 축소하는 기법이다. 분석을 통해 나타나는 주성분으로 변수들 사이의 구조를 쉽게 이해하기는 어렵다. 차원축소는 고윳값이 높은 순으로 정렬해서 높은 고윳값을 가진 고유벡터만으로 데이터를 복원한다. 차원축소 : 많은 변수로 구성된 고차원 자료를 축소하여 새로운 차원의 자료를 생성하는 기법이다. 고윳값 : 고유벡터의 변환되는 스케일 정도를 나타내는 상숫값이다. 고유벡터 : 행렬 변환 결과가 자기 자신의 상수 배가 되는 0이 아닌 벡터이다. 주성분 분석의 특징 누적 기여율이 85% 이상이면 ..

이전글 보러가기 [빅데이터 분석기사 필기] 3과목 빅데이터모델링 요점정리 ① [빅데이터 분석기사 필기] 3과목 빅데이터모델링 요점정리 ① 이전글 보러가기 [빅데이터분석기사 필기] 2과목 빅데이터탐색 요약정리 이전글 보러가기 [빅데이터분석기사 필기] 1과목 빅데이터분석기획 요약정리 ⭐: 키워드 ⭐⭐:기출문제 유형 ⭐⭐⭐:출 ohaengsa.tistory.com ② 분석 기법 적용 ⭐⭐ 회귀분석 독립변수와 종속변수 간에 선형적인 관계를 도출해서 하나 이상의 독립변수들이 종속변수에 미치는 영향을 분석하고 독립변수를 통해 종속변수를 예측하는 분석 기법이다. 변수들 사이의 인과관계를 밝히고 모형을 적합하여 관심 있는 변수를 예측하거나 추론하기 위한 분석 방법이다. 유형 : 단순선형 회귀, 다중선형회귀, 다항 회귀..