사회조사분석사 2급 회귀분석 개념 정리
중요도 ★★★★★ · 30% (추정)
2027년 출제기준 반영
개요
이 단원은 두 변수가 함께 움직이는 모양을 읽고, 한 변수로 다른 변수를 예측하는 식을 세우는 방법을 배웁니다. 두 변수의 값을 점으로 찍은 산점도를 보면 관계의 방향과 강도를 눈으로 짐작할 수 있고, 이를 숫자 하나로 나타낸 것이 상관계수입니다.
상관계수는 −1 부터 1 까지의 값을 가집니다. 부호는 방향을 알려 주어 점들이 오른쪽 위로 올라가면 양수, 오른쪽 아래로 내려가면 음수입니다. 절댓값은 점들이 한 직선 가까이 얼마나 모여 있는지를 나타내며, 0 이면 직선 관계가 없다는 뜻일 뿐 곡선 관계까지 없다는 뜻은 아닙니다. 또 두 변수가 함께 움직인다고 해서 한쪽이 다른 쪽의 원인이라고 말할 수는 없습니다.
회귀분석은 점들 사이를 가장 잘 지나는 직선을 찾아 예측에 씁니다. 각 점과 직선 사이 세로 거리를 제곱해 더한 값이 가장 작아지도록 기울기와 절편을 정하며, 이렇게 구한 직선은 늘 두 변수의 평균이 만나는 점을 지납니다. Y 의 전체 흩어짐 가운데 이 직선으로 설명되는 몫이 결정계수이고, 직선이 우연 이상으로 의미가 있는지는 F검정이나 기울기가 0 인지에 대한 검정으로 판단합니다.
독립변수가 둘 이상인 중회귀분석에서는 각 계수를 다른 변수를 고정했을 때의 효과로 읽습니다. 변수를 늘리면 결정계수는 저절로 커지는 경향이 있어 변수 수를 고려한 수정결정계수를 함께 보고, 독립변수끼리 너무 비슷하게 움직이면 계수가 불안정해지는 다중공선성을 점검합니다.
핵심 개념
상관계수(r)
두 변수 사이 직선 관계의 방향과 강도를 −1 ~ 1 사이 값으로 나타낸 것입니다. 공분산을 두 변수 표준편차의 곱으로 나누어 단위를 없앤 값입니다.
외우는 요령부호는 방향, 크기는 강도.
최소제곱법
실제 값과 회귀직선이 예측한 값의 차이(잔차)를 제곱해 더한 합이 가장 작아지도록 기울기와 절편을 정하는 방법입니다.
외우는 요령잔차 제곱합을 가장 작게.
회귀계수
기울기 b 는 X 가 1 늘 때 Y 의 예측값이 변하는 양이고, 절편 a 는 X 가 0 일 때의 예측값입니다.
외우는 요령b 는 변화량, a 는 출발점.
결정계수(R²)
Y 의 전체 변동 가운데 회귀식이 설명하는 비율로, 회귀제곱합을 총제곱합으로 나눈 값입니다. 0 에서 1 사이이며 1 에 가까울수록 자료에 잘 맞습니다.
외우는 요령설명된 몫 ÷ 전체.
수정결정계수
표본 크기와 독립변수 수를 반영해 결정계수를 고친 값입니다. 쓸모없는 변수를 넣으면 오히려 줄어들 수 있습니다.
외우는 요령변수 욕심에 주는 벌점.
다중공선성
중회귀분석에서 독립변수들끼리 상관이 너무 높아 각 변수의 효과를 따로 떼어 내기 어려운 상태입니다. 계수가 불안정해지거나 부호가 엉뚱하게 나올 수 있습니다.
외우는 요령설명변수끼리 닮으면 문제.
그림으로 보기
회귀분석, 핵심정리
- 상관계수 r: −1 ~ 1, 부호 = 방향(오른쪽 위 +, 오른쪽 아래 −), 절댓값이 1 에 가까울수록 직선 관계 강함. r = 0 은 직선 관계 없음(곡선 관계는 있을 수 있음).
- r = 공분산 ÷ (X 표준편차 × Y 표준편차). 단위 변경·양수 곱하기·X 와 Y 맞바꾸기에도 r 은 그대로, 공분산은 단위에 따라 바뀜. 상관이 커도 인과라고 할 수 없음.
- 회귀식 Ŷ = a + bX: b = Σ(X − X̄)(Y − Ȳ) ÷ Σ(X − X̄)², a = Ȳ − b·X̄. 회귀직선은 평균점 (X̄, Ȳ) 를 지남.
- SST = SSR + SSE. R² = SSR ÷ SST (0 ~ 1). 단순회귀에서 R² = r² (r = −0.7 → 0.49).
- 단순회귀 F = (SSR ÷ 1) ÷ (SSE ÷ (n − 2)). 기울기 검정 귀무가설 β₁ = 0, 대립가설 β₁ ≠ 0. 모형 전체 유의성은 F검정.
- 수정결정계수 = 1 − (1 − R²)(n − 1) ÷ (n − k − 1), k = 독립변수 수. 변수를 더하면 R² 는 줄지 않지만 수정결정계수는 줄 수 있음.
- 중회귀계수 = 다른 독립변수가 일정할 때 그 변수가 1 늘면 변하는 Y 의 양. 다중공선성 = 독립변수끼리 강한 상관(VIF 보통 10 이상이면 의심). 잔차끼리 관련 = 자기상관, 잔차 분산이 고르지 않음 = 이분산성.
회귀분석, 자주 틀리는 함정
틀린 생각: 상관계수가 0 이면 두 변수 사이에는 아무 관계도 없다
바른 내용: 피어슨 상관계수는 직선 관계만 재므로 r = 0 이어도 U 자 같은 곡선 관계는 있을 수 있습니다. r = 0 은 '직선 관계가 없다'는 뜻입니다.
틀린 생각: 회귀식의 절편은 Y 의 평균 Ȳ 와 같다
바른 내용: 절편은 a = Ȳ − b·X̄ 로, Y 의 평균에서 기울기 × X 의 평균을 빼야 합니다. 회귀직선이 반드시 지나는 점은 (0, Ȳ) 가 아니라 평균점 (X̄, Ȳ) 입니다.
틀린 생각: 독립변수를 하나 더 넣으면 결정계수 R² 가 줄어들 수 있다
바른 내용: 보통 결정계수는 쓸모없는 변수를 넣어도 줄지 않고 같거나 커집니다. 줄어들 수 있는 것은 변수 수를 반영한 수정결정계수라서 둘을 함께 봅니다.
회귀분석 대표 문제 10개
문제 1. 피어슨 상관계수 r 이 가질 수 있는 값의 범위는?
- ① 0 이상 1 이하
- ② −1 이상 1 이하
- ③ 0 이상 100 이하
- ④ 제한 없음
▼ 정답과 해설 보기▲ 정답과 해설 접기
정답: ② −1 이상 1 이하
핵심: 상관계수 r: −1 ≤ r ≤ 1
상관계수는 −1 부터 +1 까지의 값을 가집니다. +1 은 완전한 양의 직선 관계, −1 은 완전한 음의 직선 관계, 0 은 직선 관계가 없음을 뜻합니다.
틀린 선지
- 0 이상 1 이하: 음의 상관(한쪽이 늘면 다른 쪽이 주는 관계)도 있으므로 음수도 나옵니다.
- 0 이상 100 이하: 백분율이 아닙니다.
- 제한 없음: 상관계수는 단위가 없고 −1 ~ 1 사이로 정해져 있습니다. 제한이 없는 것은 공분산입니다.
문제 2. 회귀분석에서 결정계수(R²)의 뜻으로 옳은 것은?
- ① 회귀직선의 기울기
- ② 잔차(오차)를 제곱해 더한 값
- ③ Y 의 전체 변동 가운데 회귀식이 설명하는 비율
- ④ 회귀계수가 0 일 확률
▼ 정답과 해설 보기▲ 정답과 해설 접기
정답: ③ Y 의 전체 변동 가운데 회귀식이 설명하는 비율
핵심: R² = SSR ÷ SST (설명된 변동의 비율)
결정계수 R² = 회귀제곱합(SSR) ÷ 총제곱합(SST) 입니다. Y 가 들쭉날쭉한 정도 가운데 X 로 설명되는 몫이 얼마인지를 0 ~ 1 사이 값으로 나타냅니다. 1 에 가까울수록 회귀식이 자료에 잘 맞습니다.
틀린 선지
- 회귀직선의 기울기: 기울기는 X 가 1 늘 때 Y 가 변하는 양으로, 설명력과는 다른 값입니다.
- 잔차(오차)를 제곱해 더한 값: 잔차제곱합(SSE)으로, 회귀식이 설명하지 못한 부분입니다.
- 회귀계수가 0 일 확률: 확률이 아니라 비율입니다. 회귀계수 검정에서는 p값을 따로 봅니다.
문제 3. 회귀제곱합(SSR)이 80, 잔차제곱합(SSE)이 20 일 때 결정계수(R²)는?
- ① 0.2
- ② 4
- ③ 0.8
- ④ 0.25
▼ 정답과 해설 보기▲ 정답과 해설 접기
정답: ③ 0.8
핵심: R² = SSR ÷ (SSR + SSE)
- 총제곱합 SST = SSR + SSE = 80 + 20 = 100
- R² = SSR ÷ SST = 80 ÷ 100 = 0.8
틀린 선지
- 0.2: SSE ÷ SST 로, 회귀식이 설명하지 못한 비율입니다.
- 4: SSR ÷ SSE 입니다. 결정계수는 1 을 넘을 수 없습니다.
- 0.25: SSE ÷ SSR 입니다. 나누는 수는 총제곱합 SST 입니다.
문제 4. 단순회귀모형 Y = β₀ + β₁X + ε 에서 'X 가 Y 에 영향을 주는가'를 검정할 때 귀무가설은?
- ① β₀ = 0
- ② β₁ = 1
- ③ β₁ ≠ 0
- ④ β₁ = 0
▼ 정답과 해설 보기▲ 정답과 해설 접기
정답: ④ β₁ = 0
핵심: 단순회귀 귀무가설: 기울기 β₁ = 0
기울기 β₁ 이 0 이면 X 가 변해도 Y 의 예측값이 변하지 않으므로 X 는 Y 를 설명하지 못합니다. 그래서 귀무가설은 'β₁ = 0', 대립가설은 'β₁ ≠ 0' 입니다.
틀린 선지
- β₀ = 0: 절편이 0 인지 보는 가설로, X 의 영향과는 관계가 없습니다.
- β₁ = 1: 기울기가 1 인지는 이 검정에서 보는 것이 아닙니다.
- β₁ ≠ 0: 대립가설입니다.
문제 5. 중회귀분석에서 다중공선성이란?
- ① 잔차끼리 서로 관련되어 있는 문제
- ② 독립변수(설명변수)들끼리 서로 강하게 관련되어 있는 문제
- ③ 잔차의 분산이 일정하지 않은 문제
- ④ 표본 크기가 너무 작은 문제
▼ 정답과 해설 보기▲ 정답과 해설 접기
정답: ② 독립변수(설명변수)들끼리 서로 강하게 관련되어 있는 문제
핵심: 다중공선성 = 독립변수끼리 높은 상관 (VIF 로 확인)
다중공선성은 독립변수들끼리 상관이 너무 높아 각 변수의 효과를 따로 떼어 내기 어려운 상태입니다. 회귀계수가 불안정해지고 부호가 이상하게 나오기도 합니다. 분산팽창요인(VIF)이 크면(보통 10 이상) 의심합니다.
틀린 선지
- 잔차끼리 서로 관련되어 있는 문제: 자기상관에 대한 설명입니다.
- 잔차의 분산이 일정하지 않은 문제: 이분산성(분산이 고르지 않음)에 대한 설명입니다.
- 표본 크기가 너무 작은 문제: 표본 크기 부족은 다중공선성과 다른 문제입니다.
문제 6. X 와 Y 의 공분산이 12, X 의 표준편차가 3, Y 의 표준편차가 5 일 때 상관계수는?
- ① 1.25
- ② 0.48
- ③ 4
- ④ 0.8
▼ 정답과 해설 보기▲ 정답과 해설 접기
정답: ④ 0.8
핵심: r = Cov(X,Y) ÷ (sX·sY)
상관계수 r = 공분산 ÷ (X 의 표준편차 × Y 의 표준편차)
- 3 × 5 = 15
- 12 ÷ 15 = 0.8
틀린 선지
- 1.25: 15 ÷ 12 로 거꾸로 나눴습니다. 상관계수는 1 을 넘을 수 없습니다.
- 0.48: 12 ÷ 25 로, Y 의 표준편차만 두 번 썼습니다.
- 4: 12 ÷ 3 으로, Y 의 표준편차를 빠뜨렸습니다.
문제 7. 단순회귀분석에서 X 와 Y 의 상관계수가 −0.7 일 때 결정계수(R²)는?
- ① −0.49
- ② 0.49
- ③ 0.7
- ④ 0.84
▼ 정답과 해설 보기▲ 정답과 해설 접기
정답: ② 0.49
핵심: 단순회귀 R² = r²
단순회귀분석에서는 결정계수가 상관계수의 제곱과 같습니다.
- R² = (−0.7)² = 0.49
- 제곱이므로 음수가 될 수 없습니다.
틀린 선지
- −0.49: 음수를 제곱하면 양수입니다. 결정계수는 0 ~ 1 사이입니다.
- 0.7: 상관계수의 절댓값으로, 제곱하지 않았습니다.
- 0.84: √0.7(약 0.84)로, 제곱 대신 제곱근을 씌운 값입니다.
문제 8. 다음 5개 자료로 최소제곱 회귀식을 구하면? X: 1, 2, 3, 4, 5 / Y: 2, 4, 5, 4, 5
- ① Ŷ = 1.8 + 0.6X
- ② Ŷ = 2.2 + 0.6X
- ③ Ŷ = 4.0 + 0.6X
- ④ Ŷ = 0.6 + 2.2X
▼ 정답과 해설 보기▲ 정답과 해설 접기
정답: ② Ŷ = 2.2 + 0.6X
핵심: b = Sxy ÷ Sxx, a = Ȳ − b·X̄
기울기 b = Σ(X − X̄)(Y − Ȳ) ÷ Σ(X − X̄)², 절편 a = Ȳ − b·X̄
- X̄ = 15 ÷ 5 = 3, Ȳ = 20 ÷ 5 = 4
- X − X̄: −2, −1, 0, 1, 2 / Y − Ȳ: −2, 0, 1, 0, 1
- 곱의 합 = 4 + 0 + 0 + 0 + 2 = 6
- (X − X̄)² 의 합 = 4 + 1 + 0 + 1 + 4 = 10
- b = 6 ÷ 10 = 0.6
- a = 4 − 0.6 × 3 = 4 − 1.8 = 2.2
- 검산: 회귀직선은 평균점 (3, 4) 를 지납니다. 2.2 + 0.6 × 3 = 4 ✓
틀린 선지
- Ŷ = 1.8 + 0.6X: 절편 자리에 b × X̄ = 1.8 을 넣었습니다. 절편은 Ȳ 에서 이 값을 뺀 4 − 1.8 입니다.
- Ŷ = 4.0 + 0.6X: 절편을 Ȳ = 4 로 잘못 두었습니다.
- Ŷ = 0.6 + 2.2X: 절편과 기울기를 서로 바꿔 적었습니다.
문제 9. 그림은 두 변수 X 와 Y 의 산점도이다. 두 변수의 상관계수 r 로 가장 알맞은 것은?
- ① r = −0.9
- ② r = 0.3
- ③ r = 0.9
- ④ r = 0
▼ 정답과 해설 보기▲ 정답과 해설 접기
정답: ③ r = 0.9
핵심: 점이 오른쪽 위로 모이면 r 은 +1 에 가깝다
점들이 왼쪽 아래에서 오른쪽 위로 거의 한 줄로 올라갑니다. X 가 클수록 Y 도 크고(양의 관계), 점들이 직선 가까이 모여 있으므로 관계가 강합니다. 그래서 r 은 +1 에 가까운 0.9 정도입니다.
틀린 선지
- r = −0.9: 음의 상관은 점들이 오른쪽 아래로 내려가는 모양입니다.
- r = 0.3: 방향은 맞지만, 0.3 이면 점들이 훨씬 넓게 흩어져 있어야 합니다.
- r = 0: r = 0 이면 점들이 뚜렷한 방향 없이 흩어집니다.
문제 10. 두 변수의 피어슨 상관계수가 0 이라는 것의 뜻으로 가장 알맞은 것은?
- ① 두 변수는 어떤 관계도 전혀 없다
- ② 한 변수가 늘면 다른 변수는 줄어든다
- ③ 두 변수 사이에 직선(선형) 관계가 없다
- ④ 두 변수의 값이 서로 같다
▼ 정답과 해설 보기▲ 정답과 해설 접기
정답: ③ 두 변수 사이에 직선(선형) 관계가 없다
핵심: r = 0 → 직선 관계 없음 (곡선 관계는 가능)
피어슨 상관계수는 '직선 관계'의 강도만 잽니다. r = 0 이어도 U 자 모양 같은 곡선 관계는 있을 수 있으므로 '아무 관계도 없다'고 단정하면 안 됩니다.
틀린 선지
- 두 변수는 어떤 관계도 전혀 없다: 곡선 관계는 있을 수 있습니다. r 은 직선 관계만 잽니다.
- 한 변수가 늘면 다른 변수는 줄어든다: 음의 상관(r < 0)에 대한 설명입니다.
- 두 변수의 값이 서로 같다: 상관계수는 값이 같은지와는 관계없습니다.
직접 풀어서 확인해 보세요.
- 중요도
- ★★★★★ (5 / 5)
- 출제 비중
- 통계분석과 활용 30문항 중 약 9문항 (30%)
AI 작성 · 검수 완료 · AI가 새로 쓴 글 가운데, 작성과 분리된 AI 검증(다시 읽고 사실·수치 확인)을 통과한 단원만 싣습니다. 틀린 곳을 발견하면 알려 주세요.