본문으로 바로 가기

사회조사분석사 2급 회귀분석 개념 정리

중요도 ★★★★★ · 30% (추정)

2027년 출제기준 반영

개요

이 단원은 두 변수가 함께 움직이는 모양을 읽고, 한 변수로 다른 변수를 예측하는 식을 세우는 방법을 배웁니다. 두 변수의 값을 점으로 찍은 산점도를 보면 관계의 방향과 강도를 눈으로 짐작할 수 있고, 이를 숫자 하나로 나타낸 것이 상관계수입니다.

상관계수는 −1 부터 1 까지의 값을 가집니다. 부호는 방향을 알려 주어 점들이 오른쪽 위로 올라가면 양수, 오른쪽 아래로 내려가면 음수입니다. 절댓값은 점들이 한 직선 가까이 얼마나 모여 있는지를 나타내며, 0 이면 직선 관계가 없다는 뜻일 뿐 곡선 관계까지 없다는 뜻은 아닙니다. 또 두 변수가 함께 움직인다고 해서 한쪽이 다른 쪽의 원인이라고 말할 수는 없습니다.

회귀분석은 점들 사이를 가장 잘 지나는 직선을 찾아 예측에 씁니다. 각 점과 직선 사이 세로 거리를 제곱해 더한 값이 가장 작아지도록 기울기와 절편을 정하며, 이렇게 구한 직선은 늘 두 변수의 평균이 만나는 점을 지납니다. Y 의 전체 흩어짐 가운데 이 직선으로 설명되는 몫이 결정계수이고, 직선이 우연 이상으로 의미가 있는지는 F검정이나 기울기가 0 인지에 대한 검정으로 판단합니다.

독립변수가 둘 이상인 중회귀분석에서는 각 계수를 다른 변수를 고정했을 때의 효과로 읽습니다. 변수를 늘리면 결정계수는 저절로 커지는 경향이 있어 변수 수를 고려한 수정결정계수를 함께 보고, 독립변수끼리 너무 비슷하게 움직이면 계수가 불안정해지는 다중공선성을 점검합니다.

핵심 개념

  • 상관계수(r)

    두 변수 사이 직선 관계의 방향과 강도를 −1 ~ 1 사이 값으로 나타낸 것입니다. 공분산을 두 변수 표준편차의 곱으로 나누어 단위를 없앤 값입니다.

    외우는 요령부호는 방향, 크기는 강도.

  • 최소제곱법

    실제 값과 회귀직선이 예측한 값의 차이(잔차)를 제곱해 더한 합이 가장 작아지도록 기울기와 절편을 정하는 방법입니다.

    외우는 요령잔차 제곱합을 가장 작게.

  • 회귀계수

    기울기 b 는 X 가 1 늘 때 Y 의 예측값이 변하는 양이고, 절편 a 는 X 가 0 일 때의 예측값입니다.

    외우는 요령b 는 변화량, a 는 출발점.

  • 결정계수(R²)

    Y 의 전체 변동 가운데 회귀식이 설명하는 비율로, 회귀제곱합을 총제곱합으로 나눈 값입니다. 0 에서 1 사이이며 1 에 가까울수록 자료에 잘 맞습니다.

    외우는 요령설명된 몫 ÷ 전체.

  • 수정결정계수

    표본 크기와 독립변수 수를 반영해 결정계수를 고친 값입니다. 쓸모없는 변수를 넣으면 오히려 줄어들 수 있습니다.

    외우는 요령변수 욕심에 주는 벌점.

  • 다중공선성

    중회귀분석에서 독립변수들끼리 상관이 너무 높아 각 변수의 효과를 따로 떼어 내기 어려운 상태입니다. 계수가 불안정해지거나 부호가 엉뚱하게 나올 수 있습니다.

    외우는 요령설명변수끼리 닮으면 문제.

그림으로 보기

산점도 세 개가 나란히 있다. 왼쪽은 점들이 왼쪽 아래에서 오른쪽 위로 좁게 모여 올라가며 "X 가 크면 Y 도 크다", "r > 0 양의 상관"이라고 적혀 있다. 가운데는 점들이 왼쪽 위에서 오른쪽 아래로 좁게 모여 내려가며 "X 가 크면 Y 는 작다", "r < 0 음의 상관"이라고 적혀 있다. 오른쪽은 점들이 방향 없이 흩어져 있으며 "X 와 Y 가 따로 논다", "r ≈ 0 선형 상관 거의 없음"이라고 적혀 있다. 축 눈금 숫자는 없다.
산점도로 보는 상관계수의 부호 — 점이 오른쪽 위로 모이면 r > 0, 오른쪽 아래로 모이면 r < 0, 방향 없이 흩어지면 r ≈ 0

회귀분석, 핵심정리

  • 상관계수 r: −1 ~ 1, 부호 = 방향(오른쪽 위 +, 오른쪽 아래 −), 절댓값이 1 에 가까울수록 직선 관계 강함. r = 0 은 직선 관계 없음(곡선 관계는 있을 수 있음).
  • r = 공분산 ÷ (X 표준편차 × Y 표준편차). 단위 변경·양수 곱하기·X 와 Y 맞바꾸기에도 r 은 그대로, 공분산은 단위에 따라 바뀜. 상관이 커도 인과라고 할 수 없음.
  • 회귀식 Ŷ = a + bX: b = Σ(X − X̄)(Y − Ȳ) ÷ Σ(X − X̄)², a = Ȳ − b·X̄. 회귀직선은 평균점 (X̄, Ȳ) 를 지남.
  • SST = SSR + SSE. R² = SSR ÷ SST (0 ~ 1). 단순회귀에서 R² = r² (r = −0.7 → 0.49).
  • 단순회귀 F = (SSR ÷ 1) ÷ (SSE ÷ (n − 2)). 기울기 검정 귀무가설 β₁ = 0, 대립가설 β₁ ≠ 0. 모형 전체 유의성은 F검정.
  • 수정결정계수 = 1 − (1 − R²)(n − 1) ÷ (n − k − 1), k = 독립변수 수. 변수를 더하면 R² 는 줄지 않지만 수정결정계수는 줄 수 있음.
  • 중회귀계수 = 다른 독립변수가 일정할 때 그 변수가 1 늘면 변하는 Y 의 양. 다중공선성 = 독립변수끼리 강한 상관(VIF 보통 10 이상이면 의심). 잔차끼리 관련 = 자기상관, 잔차 분산이 고르지 않음 = 이분산성.

회귀분석, 자주 틀리는 함정

  • 틀린 생각: 상관계수가 0 이면 두 변수 사이에는 아무 관계도 없다

    바른 내용: 피어슨 상관계수는 직선 관계만 재므로 r = 0 이어도 U 자 같은 곡선 관계는 있을 수 있습니다. r = 0 은 '직선 관계가 없다'는 뜻입니다.

  • 틀린 생각: 회귀식의 절편은 Y 의 평균 Ȳ 와 같다

    바른 내용: 절편은 a = Ȳ − b·X̄ 로, Y 의 평균에서 기울기 × X 의 평균을 빼야 합니다. 회귀직선이 반드시 지나는 점은 (0, Ȳ) 가 아니라 평균점 (X̄, Ȳ) 입니다.

  • 틀린 생각: 독립변수를 하나 더 넣으면 결정계수 R² 가 줄어들 수 있다

    바른 내용: 보통 결정계수는 쓸모없는 변수를 넣어도 줄지 않고 같거나 커집니다. 줄어들 수 있는 것은 변수 수를 반영한 수정결정계수라서 둘을 함께 봅니다.

회귀분석 대표 문제 10개

예상문제검수 완료통계분석과 활용 › 회귀분석★★★★★

문제 1. 피어슨 상관계수 r 이 가질 수 있는 값의 범위는?

  1. ① 0 이상 1 이하
  2. ② −1 이상 1 이하
  3. ③ 0 이상 100 이하
  4. ④ 제한 없음
▼ 정답과 해설 보기▲ 정답과 해설 접기

정답: ② −1 이상 1 이하

핵심: 상관계수 r: −1 ≤ r ≤ 1

상관계수는 −1 부터 +1 까지의 값을 가집니다. +1 은 완전한 양의 직선 관계, −1 은 완전한 음의 직선 관계, 0 은 직선 관계가 없음을 뜻합니다.

틀린 선지

  • 0 이상 1 이하: 음의 상관(한쪽이 늘면 다른 쪽이 주는 관계)도 있으므로 음수도 나옵니다.
  • 0 이상 100 이하: 백분율이 아닙니다.
  • 제한 없음: 상관계수는 단위가 없고 −1 ~ 1 사이로 정해져 있습니다. 제한이 없는 것은 공분산입니다.
예상문제검수 완료통계분석과 활용 › 회귀분석★★★★★

문제 2. 회귀분석에서 결정계수(R²)의 뜻으로 옳은 것은?

  1. ① 회귀직선의 기울기
  2. ② 잔차(오차)를 제곱해 더한 값
  3. ③ Y 의 전체 변동 가운데 회귀식이 설명하는 비율
  4. ④ 회귀계수가 0 일 확률
▼ 정답과 해설 보기▲ 정답과 해설 접기

정답: ③ Y 의 전체 변동 가운데 회귀식이 설명하는 비율

핵심: R² = SSR ÷ SST (설명된 변동의 비율)

결정계수 R² = 회귀제곱합(SSR) ÷ 총제곱합(SST) 입니다. Y 가 들쭉날쭉한 정도 가운데 X 로 설명되는 몫이 얼마인지를 0 ~ 1 사이 값으로 나타냅니다. 1 에 가까울수록 회귀식이 자료에 잘 맞습니다.

틀린 선지

  • 회귀직선의 기울기: 기울기는 X 가 1 늘 때 Y 가 변하는 양으로, 설명력과는 다른 값입니다.
  • 잔차(오차)를 제곱해 더한 값: 잔차제곱합(SSE)으로, 회귀식이 설명하지 못한 부분입니다.
  • 회귀계수가 0 일 확률: 확률이 아니라 비율입니다. 회귀계수 검정에서는 p값을 따로 봅니다.
예상문제검수 완료통계분석과 활용 › 회귀분석★★★★★

문제 3. 회귀제곱합(SSR)이 80, 잔차제곱합(SSE)이 20 일 때 결정계수(R²)는?

  1. ① 0.2
  2. ② 4
  3. ③ 0.8
  4. ④ 0.25
▼ 정답과 해설 보기▲ 정답과 해설 접기

정답: ③ 0.8

핵심: R² = SSR ÷ (SSR + SSE)

  1. 총제곱합 SST = SSR + SSE = 80 + 20 = 100
  2. R² = SSR ÷ SST = 80 ÷ 100 = 0.8

틀린 선지

  • 0.2: SSE ÷ SST 로, 회귀식이 설명하지 못한 비율입니다.
  • 4: SSR ÷ SSE 입니다. 결정계수는 1 을 넘을 수 없습니다.
  • 0.25: SSE ÷ SSR 입니다. 나누는 수는 총제곱합 SST 입니다.
예상문제검수 완료통계분석과 활용 › 회귀분석★★★★★

문제 4. 단순회귀모형 Y = β₀ + β₁X + ε 에서 'X 가 Y 에 영향을 주는가'를 검정할 때 귀무가설은?

  1. ① β₀ = 0
  2. ② β₁ = 1
  3. ③ β₁ ≠ 0
  4. ④ β₁ = 0
▼ 정답과 해설 보기▲ 정답과 해설 접기

정답: ④ β₁ = 0

핵심: 단순회귀 귀무가설: 기울기 β₁ = 0

기울기 β₁ 이 0 이면 X 가 변해도 Y 의 예측값이 변하지 않으므로 X 는 Y 를 설명하지 못합니다. 그래서 귀무가설은 'β₁ = 0', 대립가설은 'β₁ ≠ 0' 입니다.

틀린 선지

  • β₀ = 0: 절편이 0 인지 보는 가설로, X 의 영향과는 관계가 없습니다.
  • β₁ = 1: 기울기가 1 인지는 이 검정에서 보는 것이 아닙니다.
  • β₁ ≠ 0: 대립가설입니다.
예상문제검수 완료통계분석과 활용 › 회귀분석★★★★★

문제 5. 중회귀분석에서 다중공선성이란?

  1. ① 잔차끼리 서로 관련되어 있는 문제
  2. ② 독립변수(설명변수)들끼리 서로 강하게 관련되어 있는 문제
  3. ③ 잔차의 분산이 일정하지 않은 문제
  4. ④ 표본 크기가 너무 작은 문제
▼ 정답과 해설 보기▲ 정답과 해설 접기

정답: ② 독립변수(설명변수)들끼리 서로 강하게 관련되어 있는 문제

핵심: 다중공선성 = 독립변수끼리 높은 상관 (VIF 로 확인)

다중공선성은 독립변수들끼리 상관이 너무 높아 각 변수의 효과를 따로 떼어 내기 어려운 상태입니다. 회귀계수가 불안정해지고 부호가 이상하게 나오기도 합니다. 분산팽창요인(VIF)이 크면(보통 10 이상) 의심합니다.

틀린 선지

  • 잔차끼리 서로 관련되어 있는 문제: 자기상관에 대한 설명입니다.
  • 잔차의 분산이 일정하지 않은 문제: 이분산성(분산이 고르지 않음)에 대한 설명입니다.
  • 표본 크기가 너무 작은 문제: 표본 크기 부족은 다중공선성과 다른 문제입니다.
예상문제검수 완료통계분석과 활용 › 회귀분석★★★★★

문제 6. X 와 Y 의 공분산이 12, X 의 표준편차가 3, Y 의 표준편차가 5 일 때 상관계수는?

  1. ① 1.25
  2. ② 0.48
  3. ③ 4
  4. ④ 0.8
▼ 정답과 해설 보기▲ 정답과 해설 접기

정답: ④ 0.8

핵심: r = Cov(X,Y) ÷ (sX·sY)

상관계수 r = 공분산 ÷ (X 의 표준편차 × Y 의 표준편차)

  1. 3 × 5 = 15
  2. 12 ÷ 15 = 0.8

틀린 선지

  • 1.25: 15 ÷ 12 로 거꾸로 나눴습니다. 상관계수는 1 을 넘을 수 없습니다.
  • 0.48: 12 ÷ 25 로, Y 의 표준편차만 두 번 썼습니다.
  • 4: 12 ÷ 3 으로, Y 의 표준편차를 빠뜨렸습니다.
예상문제검수 완료통계분석과 활용 › 회귀분석★★★★★

문제 7. 단순회귀분석에서 X 와 Y 의 상관계수가 −0.7 일 때 결정계수(R²)는?

  1. ① −0.49
  2. ② 0.49
  3. ③ 0.7
  4. ④ 0.84
▼ 정답과 해설 보기▲ 정답과 해설 접기

정답: ② 0.49

핵심: 단순회귀 R² = r²

단순회귀분석에서는 결정계수가 상관계수의 제곱과 같습니다.

  1. R² = (−0.7)² = 0.49
  2. 제곱이므로 음수가 될 수 없습니다.

틀린 선지

  • −0.49: 음수를 제곱하면 양수입니다. 결정계수는 0 ~ 1 사이입니다.
  • 0.7: 상관계수의 절댓값으로, 제곱하지 않았습니다.
  • 0.84: √0.7(약 0.84)로, 제곱 대신 제곱근을 씌운 값입니다.
예상문제검수 완료통계분석과 활용 › 회귀분석★★★★★

문제 8. 다음 5개 자료로 최소제곱 회귀식을 구하면? X: 1, 2, 3, 4, 5 / Y: 2, 4, 5, 4, 5

  1. ① Ŷ = 1.8 + 0.6X
  2. ② Ŷ = 2.2 + 0.6X
  3. ③ Ŷ = 4.0 + 0.6X
  4. ④ Ŷ = 0.6 + 2.2X
▼ 정답과 해설 보기▲ 정답과 해설 접기

정답: ② Ŷ = 2.2 + 0.6X

핵심: b = Sxy ÷ Sxx, a = Ȳ − b·X̄

기울기 b = Σ(X − X̄)(Y − Ȳ) ÷ Σ(X − X̄)², 절편 a = Ȳ − b·X̄

  1. X̄ = 15 ÷ 5 = 3, Ȳ = 20 ÷ 5 = 4
  2. X − X̄: −2, −1, 0, 1, 2 / Y − Ȳ: −2, 0, 1, 0, 1
  3. 곱의 합 = 4 + 0 + 0 + 0 + 2 = 6
  4. (X − X̄)² 의 합 = 4 + 1 + 0 + 1 + 4 = 10
  5. b = 6 ÷ 10 = 0.6
  6. a = 4 − 0.6 × 3 = 4 − 1.8 = 2.2
  7. 검산: 회귀직선은 평균점 (3, 4) 를 지납니다. 2.2 + 0.6 × 3 = 4 ✓

틀린 선지

  • Ŷ = 1.8 + 0.6X: 절편 자리에 b × X̄ = 1.8 을 넣었습니다. 절편은 Ȳ 에서 이 값을 뺀 4 − 1.8 입니다.
  • Ŷ = 4.0 + 0.6X: 절편을 Ȳ = 4 로 잘못 두었습니다.
  • Ŷ = 0.6 + 2.2X: 절편과 기울기를 서로 바꿔 적었습니다.
예상문제검수 완료통계분석과 활용 › 회귀분석★★★★★

문제 9. 그림은 두 변수 X 와 Y 의 산점도이다. 두 변수의 상관계수 r 로 가장 알맞은 것은?

가로축 X, 세로축 Y 인 산점도이다. 점 16개가 왼쪽 아래에서 오른쪽 위로 이어지며, 한 직선 둘레에 좁은 띠 모양으로 가깝게 모여 있다. 축에는 눈금 숫자가 없다.
  1. ① r = −0.9
  2. ② r = 0.3
  3. ③ r = 0.9
  4. ④ r = 0
▼ 정답과 해설 보기▲ 정답과 해설 접기

정답: ③ r = 0.9

핵심: 점이 오른쪽 위로 모이면 r 은 +1 에 가깝다

점들이 왼쪽 아래에서 오른쪽 위로 거의 한 줄로 올라갑니다. X 가 클수록 Y 도 크고(양의 관계), 점들이 직선 가까이 모여 있으므로 관계가 강합니다. 그래서 r 은 +1 에 가까운 0.9 정도입니다.

틀린 선지

  • r = −0.9: 음의 상관은 점들이 오른쪽 아래로 내려가는 모양입니다.
  • r = 0.3: 방향은 맞지만, 0.3 이면 점들이 훨씬 넓게 흩어져 있어야 합니다.
  • r = 0: r = 0 이면 점들이 뚜렷한 방향 없이 흩어집니다.
예상문제검수 완료통계분석과 활용 › 회귀분석★★★★★

문제 10. 두 변수의 피어슨 상관계수가 0 이라는 것의 뜻으로 가장 알맞은 것은?

  1. ① 두 변수는 어떤 관계도 전혀 없다
  2. ② 한 변수가 늘면 다른 변수는 줄어든다
  3. ③ 두 변수 사이에 직선(선형) 관계가 없다
  4. ④ 두 변수의 값이 서로 같다
▼ 정답과 해설 보기▲ 정답과 해설 접기

정답: ③ 두 변수 사이에 직선(선형) 관계가 없다

핵심: r = 0 → 직선 관계 없음 (곡선 관계는 가능)

피어슨 상관계수는 '직선 관계'의 강도만 잽니다. r = 0 이어도 U 자 모양 같은 곡선 관계는 있을 수 있으므로 '아무 관계도 없다'고 단정하면 안 됩니다.

틀린 선지

  • 두 변수는 어떤 관계도 전혀 없다: 곡선 관계는 있을 수 있습니다. r 은 직선 관계만 잽니다.
  • 한 변수가 늘면 다른 변수는 줄어든다: 음의 상관(r < 0)에 대한 설명입니다.
  • 두 변수의 값이 서로 같다: 상관계수는 값이 같은지와는 관계없습니다.

직접 풀어서 확인해 보세요.

중요도
★★★★★ (5 / 5)
출제 비중
통계분석과 활용 30문항 중 약 9문항 (30%)

AI 작성 · 검수 완료 · AI가 새로 쓴 글 가운데, 작성과 분리된 AI 검증(다시 읽고 사실·수치 확인)을 통과한 단원만 싣습니다. 틀린 곳을 발견하면 알려 주세요.