데이터분석 준전문가 (ADsP) 개념 정리

개요

이 단원은 데이터가 무엇이고, 데이터를 모아 둔 데이터베이스가 어떤 특징을 가지며 기업에서 어떻게 쓰이는지를 배웁니다. 데이터와 정보·지식·지혜의 관계를 먼저 익히고, 이어서 데이터의 종류, 지식이 만들어지는 과정, 데이터베이스의 특징과 활용 시스템을 차례로 공부합니다.

데이터는 가공되지 않은 사실 그대로의 값이고, 이것을 정리하고 의미를 붙이면 정보가 됩니다. 정보를 엮어 일반화한 것이 지식이며, 지식에 창의적인 판단을 더한 것이 지혜입니다. 이 네 단계를 DIKW 피라미드라고 부릅니다. 데이터는 숫자로 나타내는 정량 데이터와 글·말처럼 형태가 정해지지 않은 정성 데이터로 나뉘고, 구조에 따라 정형·반정형·비정형 데이터로도 나뉩니다.

사람 머릿속에 있는 경험 같은 지식을 암묵지, 문서나 매뉴얼로 꺼내 놓은 지식을 형식지라고 합니다. 두 지식은 공통화, 표출화, 연결화, 내면화의 네 과정을 돌며 서로 바뀌고 쌓입니다. 데이터베이스는 여러 사람이 함께 쓰도록 통합하고 저장한 데이터의 모음으로, 통합된 데이터·저장된 데이터·공용 데이터·변화되는 데이터라는 네 가지 특징을 가집니다.

기업 안에서는 거래를 실시간으로 처리하는 OLTP와 쌓인 데이터를 여러 각도로 분석하는 OLAP를 구별해야 합니다. 그 밖에 전사 자원을 통합 관리하는 ERP, 고객 관계를 관리하는 CRM, 공급망을 관리하는 SCM, 경영 의사결정을 돕는 BI가 자주 나옵니다.

개요

이 단원은 빅데이터가 무엇이고 어떤 가치를 만들며, 그 과정에서 생기는 위험을 어떻게 다스리는지 배웁니다. 빅데이터의 정의와 특징, 빅데이터가 바꾼 생각의 방식, 활용 기법, 위기 요인과 통제 방안, 그리고 앞으로의 모습을 차례로 공부합니다.

빅데이터는 흔히 양(Volume), 다양성(Variety), 속도(Velocity)의 3V로 설명하며, 여기에 가치(Value)를 더해 4V라고도 합니다. 빅데이터가 등장하면서 미리 걸러 저장하던 사전처리에서 일단 모두 모은 뒤 나중에 가공하는 사후처리로, 일부만 조사하는 표본조사에서 전체를 다루는 전수조사로, 데이터의 질보다 양을 중시하는 쪽으로, 인과관계보다 상관관계를 중시하는 쪽으로 생각이 바뀌었습니다.

빅데이터를 활용하는 대표 기법으로 연관규칙 학습, 유형분석, 유전 알고리즘, 기계학습, 회귀분석, 감정분석, 소셜 네트워크 분석이 있습니다. 한편 빅데이터는 사생활 침해, 책임 원칙 훼손, 데이터 오용이라는 위기를 낳을 수 있습니다. 이에 대한 통제 방안은 각각 동의제에서 사용자 책임제로의 전환, 결과 기반 책임 원칙 고수, 알고리즘을 해석하는 전문가(알고리즈미스트)의 도입입니다.

앞으로의 빅데이터는 모든 것이 데이터로 바뀌는 데이터화, 스스로 배우는 인공지능 같은 기술의 발전, 데이터 사이언티스트와 알고리즈미스트 같은 인력의 등장이라는 세 요소로 설명합니다. 시험에서는 각 요소와 그 예를 짝짓는 문제로 나옵니다.

개요

이 단원은 빅데이터를 분석해 기업 전략에 쓸 통찰(인사이트)을 얻는 방법과, 그 일을 하는 데이터 사이언티스트에게 필요한 능력을 배웁니다. 마지막으로 데이터 사이언스가 가진 한계와 앞으로의 방향을 살펴봅니다.

분석에는 한 부서의 업무 효율만 높이는 일차원적 분석과, 기업 전체의 경쟁 전략과 연결되는 전략적 분석이 있습니다. 일차원적 분석에 머물지 않고 사업 환경과 경쟁 구도를 함께 보아야 전략 인사이트를 얻을 수 있습니다.

데이터 사이언티스트에게는 빅데이터 이론 지식과 분석 기술 숙련도 같은 하드 스킬과, 통찰력 있는 분석·설득력 있는 전달·여러 분야와의 협력 같은 소프트 스킬이 함께 필요합니다. 데이터 사이언스는 데이터 처리, 분석 모델링, 비즈니스 분석을 아우르는 넓은 학문입니다.

분석 모델은 결국 사람이 세운 가정 위에 서 있으므로, 같은 데이터라도 해석이 달라질 수 있다는 한계가 있습니다. 그래서 숫자 너머의 맥락을 읽는 인문학적 소양이 중요해졌습니다.

개요

이 단원은 분석을 시작하기 전에 무엇을, 어떻게 분석할지 계획하는 방법을 배웁니다. 분석 주제의 유형을 나누는 기준, 대표적인 분석 방법론, 분석 과제를 찾는 두 가지 방식, 분석 프로젝트를 관리하는 요령을 차례로 공부합니다.

분석 주제는 분석 대상(What)과 분석 방법(How)을 아는지 모르는지에 따라 네 가지로 나뉩니다. 둘 다 알면 최적화, 대상은 알지만 방법을 모르면 솔루션, 대상은 모르지만 방법을 알면 통찰, 둘 다 모르면 발견입니다. 분석 기획에서는 쓸 수 있는 데이터, 적절한 활용 사례, 예상되는 장애 요소를 함께 고려합니다.

대표적인 분석 방법론으로 KDD, CRISP-DM, 빅데이터 분석 방법론이 있습니다. KDD는 데이터셋 선택부터 해석과 평가까지 다섯 단계, CRISP-DM은 업무 이해부터 전개까지 여섯 단계, 빅데이터 분석 방법론은 분석 기획부터 평가 및 전개까지 다섯 단계로 이루어집니다.

분석 과제를 찾는 방법에는 문제에서 출발해 해법을 찾는 하향식 접근과, 데이터에서 출발해 문제를 찾는 상향식 접근이 있습니다. 분석 프로젝트는 데이터 크기, 데이터 복잡도, 속도, 분석 복잡도, 정확도와 정밀도라는 다섯 가지 특성을 고려해 관리합니다.

개요

이 단원은 여러 분석 과제를 어떤 순서로 실행할지 정하는 마스터 플랜과, 분석을 조직에 뿌리내리게 하는 분석 거버넌스를 배웁니다. 우선순위 평가, 로드맵 수립, 거버넌스 구성 요소, 분석 성숙도와 준비도 진단을 차례로 공부합니다.

분석 과제의 우선순위는 시급성과 난이도로 평가합니다. 시급성은 전략적 중요도와 관련이 있고, 난이도는 투자 비용과 실행의 어려움과 관련이 있습니다. 시급성(현재·미래)과 난이도(어려움·쉬움)로 네 칸의 사분면을 그려, 지금 시급하면서 쉬운 과제부터 먼저 실행합니다. 로드맵은 분석 체계 도입, 유효성 검증, 확산과 고도화의 순서로 세웁니다.

분석 거버넌스는 조직, 프로세스, 시스템, 데이터, 인력(분석 교육과 마인드 육성)의 다섯 요소로 이루어집니다. 분석 조직은 분석 전담 조직이 모든 과제를 맡는 집중형, 각 부서가 직접 분석하는 기능 중심형, 전문 인력을 현업 부서에 배치하는 분산형으로 나뉩니다.

분석 성숙도는 도입, 활용, 확산, 최적화의 네 단계로 진단합니다. 분석 준비도는 분석 업무, 인력과 조직, 분석 기법, 분석 데이터, 분석 문화, IT 인프라의 여섯 영역으로 진단합니다. 두 결과를 함께 보아 조직을 준비형, 정착형, 도입형, 확산형으로 나눕니다.

개요

이 단원은 분석 도구인 R의 기초와, 분석에 쓸 데이터를 미리 모아 다듬는 데이터 마트, 그리고 빠지거나 튀는 값을 처리하는 방법을 배웁니다. 3과목 문제를 풀려면 R 코드와 출력 결과를 읽을 줄 알아야 하므로 기본 문법을 익혀 두는 것이 중요합니다.

R의 기본 자료 구조는 벡터, 행렬, 배열, 리스트, 데이터 프레임입니다. 벡터·행렬·배열은 한 가지 자료형만 담을 수 있고, 리스트와 데이터 프레임은 서로 다른 자료형을 함께 담을 수 있습니다. R은 위치 번호를 1부터 세며, 빠진 값은 NA로 나타냅니다.

데이터 마트는 데이터 웨어하우스에서 특정 부서나 목적에 맞는 부분만 뽑아 만든 작은 저장소입니다. 분석에 쓰기 위해 여러 값을 합치거나 평균 낸 요약변수와, 분석가가 의미를 부여해 새로 만든 파생변수를 만듭니다. 데이터를 다루는 R 패키지로 reshape, sqldf, plyr, data.table 등이 있습니다.

결측값은 행을 지우거나, 평균 같은 대표값으로 채우거나, 여러 번 채워 분석한 결과를 합치는 다중대치법으로 처리합니다. 이상값은 평균에서 표준편차의 3배 이상 떨어졌는지, 또는 상자그림에서 사분위수 범위의 1.5배를 벗어났는지로 찾습니다.

개요

이 단원은 데이터를 요약하고 추론하는 통계의 기초부터 회귀분석, 다변량 분석, 시계열 분석까지 배웁니다. 3과목에서 가장 많이 나오는 부분이며, R 출력 결과를 보고 해석하는 문제가 자주 나옵니다.

표본은 단순랜덤추출, 계통추출, 집락추출, 층화추출로 뽑습니다. 자료는 명목·순서·구간·비율 척도로 나뉩니다. 가설검정에서는 귀무가설이 참인데 기각하는 제1종 오류와, 거짓인데 기각하지 못하는 제2종 오류를 구별합니다. 유의확률(p-값)이 미리 정한 유의수준보다 작으면 귀무가설을 기각합니다.

두 변수의 관계는 상관분석으로 보며, 피어슨 상관계수는 구간·비율 척도에, 스피어만 상관계수는 순서 척도에 씁니다. 회귀분석은 설명변수로 반응변수를 예측하며, 모형 전체는 F-검정, 각 회귀계수는 t-검정으로 확인하고, 결정계수로 설명력을 봅니다. 변수가 많으면 전진선택법, 후진제거법, 단계적 선택법으로 변수를 고릅니다.

주성분분석은 서로 관련된 많은 변수를 적은 수의 새 변수로 줄이는 방법이고, 다차원척도법은 개체 사이의 거리를 저차원 공간에 그려 보는 방법입니다. 시계열 분석은 평균과 분산이 시간에 따라 변하지 않는 정상성을 전제로 하며, 정상성이 없으면 차분이나 변환으로 맞춥니다. 정상 시계열에는 AR, MA, ARMA 모형을 쓰고, 차분이 필요한 시계열은 차분 횟수 d를 넣은 ARIMA 모형으로 다룹니다.

개요

이 단원은 정형 데이터에서 규칙과 패턴을 찾는 데이터 마이닝을 배웁니다. 모델을 만들고 평가하는 방법을 먼저 익히고, 정답이 있는 데이터로 배우는 분류분석, 정답 없이 비슷한 것끼리 묶는 군집분석, 함께 일어나는 일을 찾는 연관분석을 차례로 공부합니다.

모델은 학습용 데이터로 만들고 검증용·평가용 데이터로 성능을 확인합니다. 데이터를 나누는 방법으로 홀드아웃, 교차검증, 붓스트랩이 있습니다. 분류 모델의 성능은 혼동행렬에서 정확도, 정밀도, 재현율(민감도), 특이도, F1 점수로 계산하고, ROC 곡선 아래 넓이(AUC)가 1에 가까울수록 좋은 모델입니다. 학습 데이터에만 지나치게 맞춰 새 데이터에서 성능이 떨어지는 것을 과대적합이라고 합니다.

분류분석에는 로지스틱 회귀, 의사결정나무, 앙상블(배깅·부스팅·랜덤 포레스트), 인공신경망 등이 있습니다. 군집분석은 가까운 것끼리 차례로 묶는 계층적 군집과, 군집 수를 미리 정하는 K-평균 군집, 자기조직화지도(SOM) 등이 있습니다.

연관분석은 장바구니 분석처럼 'A를 사면 B도 산다'는 규칙을 찾습니다. 규칙은 지지도, 신뢰도, 향상도로 평가하며, 향상도가 1보다 크면 두 품목이 함께 사는 경향이 있다는 뜻입니다. 자주 나오는 품목 집합만 남겨 계산을 줄이는 알고리즘으로 Apriori가 있습니다.