데이터분석 준전문가 (ADsP) 정형 데이터 마이닝 핵심정리

데이터 마이닝은 정답(목표변수)이 있느냐로 나눕니다.

• 지도 학습: 정답이 있는 자료로 학습 → 분류·예측 (의사결정나무, 로지스틱 회귀, 인공신경망, 회귀분석 등)
• 비지도 학습: 정답 없이 패턴을 찾음 → 군집분석, 연관분석, 자기조직화지도(SOM) 등

틀린 선지

• 의사결정나무: 정답(목표변수)이 있어야 하는 지도 학습입니다.
• 로지스틱 회귀분석: 범주형 정답을 맞히는 지도 학습입니다.
• 선형 회귀분석: 연속형 정답을 예측하는 지도 학습입니다.

과대적합은 모형이 훈련 데이터의 잡음(우연한 특징)까지 외워 버려서, 새 데이터에서는 잘 맞지 않는 현상입니다.

• 원인: 모형이 지나치게 복잡함, 훈련 데이터가 적음
• 대처: 검증용 데이터로 확인, 가지치기, 변수 줄이기, 교차검증

틀린 선지

• 과소적합: 모형이 너무 단순해 훈련 데이터에서도 성능이 낮은 현상입니다.
• 다중공선성: 회귀분석에서 독립변수끼리 상관이 강한 문제입니다.
• 차원 축소: 변수 수를 줄이는 기법으로, 성능이 떨어지는 현상이 아닙니다.

재현율(민감도)은 실제 양성 가운데 모형이 양성으로 맞힌 비율입니다.

1. 공식: 재현율 = TP ÷ (TP + FN)
2. TP(실제 양성·예측 양성) = 60, FN(실제 양성·예측 음성) = 20
3. 계산: 60 ÷ (60 + 20) = 60 ÷ 80 = 0.75

검산: 실제 양성 열의 합 60 + 20 = 80, 그중 60을 맞혔습니다.

틀린 선지

• 0.80: 정밀도 = 60 ÷ (60 + 15) 입니다. 예측 양성 기준입니다.
• 0.875: 특이도 = 105 ÷ (15 + 105) 입니다.
• 0.825: 정확도 = (60 + 105) ÷ 200 입니다.

앙상블은 여러 모형을 합쳐 더 좋은 예측을 하는 방법입니다.

• 배깅: 붓스트랩 표본을 여러 개 만들어 각각 모형을 만들고, 결과를 투표(보팅)로 합침. 모형끼리 독립적(병렬)
• 부스팅: 모형을 순서대로 만들며, 잘못 분류된 데이터의 가중치를 높여 다음 모형이 더 잘 배우게 함 (예: AdaBoost, GBM, XGBoost)
• 랜덤 포레스트: 배깅에 더해, 가지를 나눌 때마다 설명변수 일부만 무작위로 골라 씀

틀린 선지

• 배깅: 표본마다 따로 모형을 만들 뿐, 오분류 데이터에 가중치를 주지 않습니다.
• 랜덤 포레스트: 배깅을 바탕으로 변수를 무작위로 고르는 방법입니다.
• 가지치기: 앙상블이 아니라 의사결정나무의 과대적합을 막는 방법입니다.

1. 우유가 있는 거래: 거래1, 2, 3, 5, 7 → 5건
2. 우유와 빵이 함께 있는 거래: 거래1, 2, 5, 7 → 4건
3. 신뢰도 = 4 ÷ 5 = 0.8

검산: 우유를 산 5건 가운데 빵이 없는 거래는 거래3 하나뿐입니다 (5 − 1 = 4).

참고: 지지도 = 4 ÷ 10 = 0.4, 빵이 있는 거래 5건이므로 향상도 = 0.8 ÷ 0.5 = 1.6

틀린 선지

• 0.4: 지지도(전체 10건 중 함께 산 4건)입니다.
• 0.5: 빵을 산 거래의 비율 P(빵)입니다.
• 1.6: 향상도입니다.

특이도는 실제 음성 가운데 모형이 음성으로 맞힌 비율입니다.

1. 공식: 특이도 = TN ÷ (TN + FP)
2. TN(실제 음성·예측 음성) = 120, FP(실제 음성·예측 양성) = 30
3. 계산: 120 ÷ (120 + 30) = 120 ÷ 150 = 0.80

검산: 거짓 양성률(FPR) = 1 − 특이도 = 30 ÷ 150 = 0.20

틀린 선지

• 0.90: 재현율(민감도) = 45 ÷ (45 + 5) 입니다.
• 0.60: 정밀도 = 45 ÷ (45 + 30) 입니다.
• 0.825: 정확도 = (45 + 120) ÷ 200 입니다.

ROC 곡선은 기준값(컷오프)을 바꿔 가며 분류 성능을 그린 그래프입니다.

• x축: 1 − 특이도 (거짓 양성률, FPR)
• y축: 민감도 (참 양성률, TPR)
• AUC(곡선 아래 면적): 0 ~ 1 사이 값이며 보통 0.5(무작위) ~ 1(완벽) 사이에서 평가. 1에 가까울수록 좋은 모형, 0.5면 동전 던지기와 같은 수준
• 곡선이 왼쪽 위로 붙을수록 좋은 모형입니다.

틀린 선지

• x축 민감도, y축 특이도: x축은 1 − 특이도, y축은 민감도입니다.
• AUC 0.5가 좋음: 0.5는 무작위 수준으로 가장 나쁜 기준선입니다.
• 대각선 아래가 좋음: 대각선 아래는 무작위보다도 못한 모형입니다.

K-평균 군집분석은 다음 순서로 진행합니다.

1. 군집 수 k를 정하고 처음 중심점 k개를 고름
2. 각 개체를 가장 가까운 중심점의 군집에 배정
3. 군집마다 중심(평균)을 다시 계산
4. 배정이 바뀌지 않을 때까지 2~3을 반복

반복할 때마다 개체가 다른 군집으로 옮겨 갈 수 있습니다. 한 번 묶이면 다시 나뉘지 않는 것은 계층적 군집분석의 특징입니다.

틀린 선지

• k를 미리 정해야 한다: 옳은 설명입니다.
• 이상값의 영향을 많이 받는다: 평균을 쓰기 때문에 옳은 설명입니다.
• 처음 중심점에 따라 결과가 달라진다: 옳은 설명입니다.

1. 지지도 P(A∩B) = 100 ÷ 1,000 = 0.1
2. 신뢰도 P(B | A) = 100 ÷ 200 = 0.5
3. P(B) = 400 ÷ 1,000 = 0.4
4. 향상도 = 신뢰도 ÷ P(B) = 0.5 ÷ 0.4 = 1.25

검산: P(A∩B) ÷ (P(A) × P(B)) = 0.1 ÷ (0.2 × 0.4) = 0.1 ÷ 0.08 = 1.25

향상도가 1보다 크므로, A를 산 고객은 B를 살 가능성이 평소보다 25% 높습니다.

틀린 선지

• 0.5: 신뢰도입니다.
• 0.25: B → A의 신뢰도 100 ÷ 400 입니다.
• 2.5: 신뢰도 0.5를 P(B)(0.4)가 아니라 P(A)(0.2)로 잘못 나눈 값입니다.

k-겹 교차검증은 데이터를 k개 묶음으로 나눈 뒤, 1개 묶음은 검증용, 나머지 k − 1개는 학습용으로 쓰는 일을 k번 반복합니다.

1. 묶음 하나의 크기: 1,000 ÷ 5 = 200건
2. 한 번 반복할 때 검증용: 1묶음 = 200건
3. 학습용: 4묶음 = 800건

검산: 200 + 800 = 1,000건, 5번 반복하면 모든 데이터가 한 번씩 검증에 쓰입니다.

틀린 선지

• 800건: 한 번 반복할 때 학습용 데이터 수입니다.
• 250건: 4로 나눈 값입니다.
• 500건: 절반으로 나눈 값입니다.