데이터분석 준전문가 (ADsP) 정형 데이터 마이닝 개념 정리

핵심 개념

• 혼동행렬 지표

  정확도는 전체 가운데 맞힌 비율 (TP+TN)/전체, 정밀도는 양성이라 예측한 것 가운데 실제 양성 비율 TP/(TP+FP), 재현율(민감도)은 실제 양성 가운데 맞힌 비율 TP/(TP+FN), 특이도는 실제 음성 가운데 맞힌 비율 TN/(TN+FP)입니다. F1 점수는 정밀도와 재현율의 조화평균입니다.

  외우는 요령'정밀도 = 예측 기준, 재현율 = 실제 기준'. 분모가 무엇인지 먼저 보세요.

• ROC 곡선과 AUC

  ROC 곡선은 가로축에 거짓 양성 비율(1 - 특이도), 세로축에 참 양성 비율(민감도)을 놓고 그린 곡선입니다. 곡선 아래 넓이(AUC)가 1에 가까울수록 분류를 잘하는 모델이고, 0.5이면 무작위로 찍는 수준입니다.

  외우는 요령'가로 1-특이도, 세로 민감도'. 왼쪽 위에 붙을수록 좋습니다.

• 의사결정나무

  데이터를 기준에 따라 나무 모양으로 나누며 분류하거나 예측합니다. 목표변수가 범주형이면 카이제곱 통계량의 p-값, 지니 지수, 엔트로피 지수로, 연속형이면 F-통계량의 p-값이나 분산 감소량으로 나눕니다. 너무 깊게 자라면 과대적합되므로 정지 규칙과 가지치기를 씁니다.

  외우는 요령지니 지수와 엔트로피는 '불순도', 작을수록 잘 나뉜 것입니다.

• 앙상블

  여러 모델의 결과를 합쳐 더 좋은 예측을 얻는 방법입니다. 배깅은 복원추출(붓스트랩)한 여러 표본으로 모델을 만들어 투표하고, 부스팅은 앞 모델이 틀린 데이터에 가중치를 주며 차례로 모델을 만듭니다. 랜덤 포레스트는 배깅에 더해 나무마다 설명변수를 무작위로 골라 씁니다.

  외우는 요령'배깅 = 나란히 만들어 투표, 부스팅 = 틀린 것에 무게를 주며 차례로'.

• 로지스틱 회귀

  반응변수가 '예/아니요'처럼 범주형일 때 쓰는 회귀 모형으로, 결과를 0과 1 사이의 확률로 나타냅니다. 회귀계수 β에 지수를 취한 exp(β)는 설명변수가 1 늘 때 오즈가 몇 배가 되는지(오즈비)를 뜻합니다.

  외우는 요령오즈 = 성공 확률 ÷ 실패 확률. 'exp(β) = 오즈가 몇 배'.

• 군집분석

  계층적 군집은 가까운 개체끼리 차례로 묶어 덴드로그램으로 보여 주며, 최단·최장·평균·중심·와드 연결법이 있습니다. K-평균 군집은 군집 수 K를 미리 정하고 중심을 옮겨 가며 묶으며, 이상값에 민감합니다. 자기조직화지도(SOM)는 입력층과 경쟁층으로 된 비지도 신경망으로 고차원 데이터를 저차원 지도로 나타냅니다.

  외우는 요령'K를 미리 정함 = K-평균', '나무 그림 = 계층적'.

• 연관분석 지표

  지지도는 전체 거래 가운데 A와 B가 함께 있는 비율, 신뢰도는 A를 산 거래 가운데 B도 산 비율, 향상도는 신뢰도를 B가 나올 비율로 나눈 값입니다. 향상도가 1이면 서로 관계가 없고, 1보다 크면 함께 사는 경향, 1보다 작으면 서로 피하는 경향이 있습니다.

  외우는 요령'지지도 = 함께/전체, 신뢰도 = 함께/A, 향상도 = 신뢰도/B'.

자주 나오는 포인트

• 혼동행렬 표를 주고 정밀도·재현율·특이도를 계산하는 문제가 자주 나옵니다.
• 연관분석의 지지도·신뢰도·향상도 계산 문제를 꼭 연습하세요.
• 배깅과 부스팅, 랜덤 포레스트의 차이를 묻는 문제가 자주 나옵니다.
• K-평균은 군집 수를 미리 정해야 하고 이상값에 민감하다는 점이 출제됩니다.
• 과대적합을 막는 방법으로 가지치기, 교차검증, 데이터 늘리기가 있습니다.

헷갈리는 것 비교: 배깅과 부스팅