홈 > 강의소개
데이터마이닝
조선화 교수
강원대학교 컴퓨터 과학 석사 과정
강원대학교 컴퓨터 과학 박사 졸업
강원대학교 컴퓨터 과학 석사 과정
강원대학교 컴퓨터 과학 박사 졸업
강원대학교
한국공학대학교
현) 유니와이즈 전임교수
AI가 이끄는 스마트한 학습 경험, AI 튜터와 함께 더 빠르고, 더 깊게 학습하세요.
긴 강의 내용을 AI가 핵심만 요약하여 복습 시간을 단축시킵니다.
강의에서 가장 중요한 키워드와 개념을 자동으로 추출해 제공합니다.
학습한 내용을 바탕으로 AI가 생성한 퀴즈를 풀며 이해도를 점검합니다.
모르는 부분을 24시간 언제든 AI 튜터에게 질문하고 답변을 받습니다.
총 22개 챕터, 22강으로 구성되어 있습니다.
| 제목 | 강의시간 | 상세내용 |
|---|---|---|
| 오리엔테이션 | ||
|
[0강] OT
|
0:
08:
30
|
|
|
데이터마이닝 오리엔테이션 및 비즈니스 분석 개념
• 비즈니스 분석 체계: 시각화 중심의 비즈니스 인텔리전스(BI)와 통계·기계학습 기반의 예측적 비즈니스 애널리틱스(BA)의 개념적 차이 및 관계 정립 • 데이터마이닝 핵심 정의: 통계학과 기계학습의 유기적 결합을 통해 대규모 데이터 속에서 비즈니스 의사결정에 필요한 유의미한 패턴을 추출하는 기술적 원리 요약 • 단계별 분석 프로세스: 데이터 탐색, 차원 축소, 지도·비지도 학습, 성능 평가로 이어지는 표준 분석 절차 및 파이썬 기반 실무 환경 구축 방식 정의 |
||
| 1장. 서문 | ||
|
[1강] 서문
|
0:
57:
01
|
|
|
데이터마이닝 정의와 수행 프로세스 및 윤리적 이슈
• 데이터마이닝 및 머신러닝: 빅데이터(3V·5V·7V) 기반 통계학적 추론과 기계학습을 결합한 유의미한 정보 추출 및 예측 체계 • 학습 유형 및 분석 기법: 지도·비지도 학습의 목적별 분류와 분류·예측·연관 규칙·차원 축소를 포함한 데이터 모델링 기술 • 표준 방법론 및 데이터 윤리: SEMMA·CRISP-DM 기반 분석 프로세스 수립과 개인정보 보호(GDPR) 및 알고리즘 편향성 방지 가이드라인 |
||
| 2장. 데이터 마이닝 프로세스 | ||
|
[2강] 데이터 마이닝 프로세스
|
1:
00:
36
|
|
|
데이터마이닝 프로세스 및 주택가격 예측 모델 구축
• 데이터 전처리 및 정제: 가변수 변환·결측치 대체·z-score 정규화를 통한 분석 데이터 구조화 및 변수 단위 표준화 수행 • 모델 검증 및 과적합 방지: 학습·검증·테스트 데이터 분할 기반의 모델 일반화 성능 확보 및 예측 오차 최소화 • 다중 회귀 분석 및 성과 지표: 주택가격 예측 모델 구축 후 RMSE·MAE·MAPE 등 오차 척도를 활용한 예측 정확도 평가 |
||
| 3장. 데이터 시각화 | ||
|
[3강] 데이터 시각화
|
1:
07:
16
|
|
|
데이터 마이닝 시각화 기법 및 분석 도구 요약
• 탐색적 데이터 분석(EDA): 선·막대·산점도·박스플롯을 활용한 데이터 구조 파악 및 이상치 식별 기법 • 다차원 시각화 전략: 스케일링·지터링·평행 좌표계 및 인터랙티브 도구를 통한 고차원 데이터 패턴 도출 • 특수 데이터 구조: 트리맵·네트워크·맵 차트 기반의 계층 구조 및 객체 간 연결 관계 시각화 최적화 |
||
| 4장. 차원 축소 | ||
|
[4강] 차원 축소
|
0:
47:
46
|
|
|
데이터 마이닝 차원축소 및 주성분 분석(PCA) 요약
• 차원의 저주: 변수 증가에 따른 데이터 희소성 및 모델 성능 저하 문제를 해결하기 위한 고차원 데이터의 저차원 투영 및 정보 압축 원리 • 주성분 분석(PCA): 상관관계가 높은 변수들을 분산 최대화와 독립성 확보 중심의 새로운 가중 선형결합 주성분으로 변환하는 차원축소 기법 • 정규화 및 변수 추출 전략: 단위 차이로 인한 왜곡 방지용 스케일링과 통계적 상관성 및 알고리즘 기반의 유의 변수 선택 절차 요약 |
||
| 5장. 예측 성능 평가 | ||
|
[5강] 예측 성능 평가
|
1:
01:
12
|
|
|
데이터 마이닝 예측 및 분류 모델 성능 평가 지표 분석
• 수치 예측 평가지표 : MAE·RMSE 등 오차 측정 산식을 통한 모델의 예측 정확도 및 학습·검증 데이터의 일반화 성능 검증 • 분류 성능 지표 및 시각화 : 정오 행렬 기반의 민감도·특이도 산출과 ROC-AUC 및 리프트 차트를 활용한 분류기 변별력 측정 • 최적화 및 불균형 데이터 관리 : 비대칭 비용 기반의 컷오프 조절과 오버샘플링 및 가중치 보정을 통한 실전 모델 성능 최적화 |
||
| 6장. 다중 선형 회귀 | ||
|
[6강] 다중 선형 회귀
|
0:
51:
13
|
|
|
다중 선형 회귀 모델의 추정과 변수 선택 기법 요약
• 다중 선형 회귀 모델: 설명 및 예측 목적의 회귀 계수 추정과 정규성·독립성·등분산성 등 통계적 기본 가정 체계 • 변수 선택 및 모델 평가: 다중 공선성 해결과 간결성 확보를 위한 단계별 선택법 및 AIC·BIC·수정 결정 계수 기반 최적화 • 정규화(Regularization) 기법: 릿지(L2) 및 라소(L1) 수축을 통한 회귀 계수 패널티 부여와 모델 복잡도 제어 및 과대적합 방지 원리 |
||
| 7장. kNN 알고리즘 | ||
|
[7강] kNN 알고리즘
|
0:
31:
40
|
|
|
kNN 알고리즘 분류와 예측 기법 및 최적화 전략
• kNN 알고리즘 및 유클리드 거리: 데이터 중심 비모수 기법으로서 유클리드 거리를 이용한 레코드 간 유사도 측정 및 근접 이웃 탐색 원리 • 최적 K값 선정 및 분류·예측 규칙: 다수결(분류) 및 평균값(예측) 적용 시 과적합 방지를 위한 오차율 기반의 최적 K값 도출 및 성능 검증 프로세스 • 데이터 전처리 및 효율성 최적화: 정규화·이진 가변수 처리를 통한 데이터 표준화와 나태 학습(Lazy Learner) 특성에 따른 연산 효율 개선 전략 |
||
| 8장. 나이브 베이즈 분류기 | ||
|
[8강] 나이브 베이즈 분류기
|
0:
41:
32
|
|
|
나이브 베이즈 분류기 원리 및 특징
• 나이브 베이즈 기본 원리: 베이즈 정리 기반의 데이터 중심 분류 기법 및 범주형 변수의 조건부 확률을 이용한 클래스 예측 메커니즘 • 독립성 가정 및 확률 연산: 변수 간 상호 독립성 가정을 통한 계산 복잡도 해소 및 개별 확률 곱 기반의 사후 확률 추정 절차 • 라플라스 평활화 및 운용 특징: 확률 0 발생 방지를 위한 수치 보정과 텍스트 분류 등 대규모 범주형 데이터 처리 및 효율적 모델 구축 방법론 |
||
| 9장. 분류 회귀 트리 | ||
|
[9강] 분류 회귀 트리
|
0:
58:
36
|
|
|
분류 및 회귀 트리(CART) 모델과 앙상블 기법 분석
• 의사결정 트리 구조 및 불순도 지표: 재귀적 분할과 지니 지수·엔트로피 기반 노드 순도 극대화를 통한 데이터 계층화 원리 • 모델 최적화 및 과적합 방지: 하이퍼파라미터 제약과 교차 검증을 활용한 트리 복잡도 관리 및 일반화 성능 확보 전략 • 앙상블 학습 기법: 랜덤 포레스트의 무작위 변수 선택과 부스팅의 순차적 가중치 부여를 통한 예측 모델 정교화 및 성능 향상 |
||
| 10장. 로지스틱 회귀 분석 | ||
|
[10강] 로지스틱 회귀 분석
|
0:
59:
22
|
|
|
로지스틱회귀 분석 모델 정의 및 분류 성능 평가
• 로지스틱 회귀와 로짓 변환: 범주형 종속변수 예측을 위한 확률 모델링 및 오즈(Odds) 기반의 선형 함수 도출 원리 정리 • 최대가능도법 및 변수 해석: 데이터 발생 확률 극대화 기반의 모수 추정과 오즈비(Odds Ratio)를 활용한 개별 변수의 영향력 분석 • 분류 성능 평가 및 확장 전략: 정오행렬·향상차트 활용 성능 검증과 순서형·명목형 다중 클래스 분류를 위한 모델 구조 최적화 |
||
| 11장. 신경망 | ||
|
[11강] 신경망
|
1:
00:
54
|
|
|
신경망의 개념 구조 학습 원리 및 딥러닝 입문 요약
• 다층 전방향 신경망 구조: 입력·은닉·출력층 간 가중합 산출 및 활성함수를 통한 비선형 데이터 관계 모델링 • 오차 역전파 및 가중치 최적화: 출력 오차의 역방향 전파를 통한 파라미터 자동 갱신 및 학습률 기반의 수렴 프로세스 • 계층적 특징 학습 및 딥러닝: CNN·오토인코더를 활용한 고수준 데이터 특징 자동 추출 및 복잡 패턴 분석 원리 |
||
| 12장. 판별 분석 | ||
|
[12강] 판별 분석
|
0:
37:
55
|
|
|
판별 분석 개념 및 성능 분석과 다중 분류
• 판별 분석 및 마할라노비스 거리: 공분산 행렬을 통한 변수 간 상관관계 반영 및 거리 기반 클래스 분류 체계 구축 • 피셔의 선형 분류 함수 및 가정: 클래스 간 변동성 극대화 함수 산출 및 다변량 정규 분포·동일 공분산 구조 기반의 판별 원리 • 모델 최적화 및 다중 분류 확장: 사전 확률·오분류 비용 반영을 통한 상수항 조정 및 다수 클래스별 확률 기반 분류 절차 |
||
| 13장. 앙상블과 업리프트 모델링 | ||
|
[13강] 앙상블과 업리프트 모델링
|
0:
37:
00
|
|
|
앙상블 기법과 업리프트 모델링의 원리 및 실무 활용
• 앙상블 기법: 배깅(분산 감소·병렬 처리)과 부스팅(오차 가중치·순차 개선)을 통한 모델 예측 성능 극대화 및 과적합 완화 원리 • 업리프트 모델링: 처치 유무에 따른 개별 반응 확률 변화량($\Delta P$) 산출을 통한 정밀 타겟팅 및 희소 자원 배분 최적화 프로세스 • 통계적 메커니즘 및 특성: 모델 간 상관관계 제어를 통한 오차 분산 감소 원리와 블랙박스 모델의 성능-해석력 간 절충 관계 |
||
| 14장. 연관 규칙과 협업 필터링 | ||
|
[14강] 연관 규칙과 협업 필터링
|
1:
07:
51
|
|
|
연관 규칙 및 협업 필터링 기반 추천 시스템 분석
• 연관 규칙 분석: Apriori 알고리즘 기반 빈발 아이템셋 도출 및 지지도·신뢰도·향상비를 활용한 데이터 간 상관관계 규명 • 협업 필터링: 사용자 및 항목 간 행동 피드백 기반의 개인화 추천 기법으로 사용자 기반(User-based)과 항목 기반(Item-based) 방식 분류 • 유사도 측정 및 시스템 최적화: 피어슨 상관계수와 코사인 유사도 기반 이웃 선정 절차 및 콜드 스타트(Cold Start)와 확장성 한계점 분석 |
||
| 15장. 군집 분석 | ||
|
[15강] 군집 분석
|
1:
04:
03
|
|
|
군집 분석의 원리와 계층적 및 비계층적 군집화 기법
• 군집 분석 및 거리 측정: 비지도학습 기반 데이터 유사도 그룹화와 유클리드·마할라노비스·자카드 계수 등 정규화 기반 거리 지표 활용 • 계층적 응집 군집화: 워드 방법(Ward’s method) 중심의 오차제곱합(ESS) 최소화 결합 및 덴드로그램을 통한 트리 구조 시각화 분석 • 비계층적 k-평균 알고리즘: k개 중심점(Centroid) 기반 반복 할당 절차와 엘보우 차트를 활용한 최적 군집 수 결정 및 타당성 평가 |
||
| 16장. 시계열 데이터 분석 | ||
|
[16강] 시계열 데이터 분석
|
0:
21:
39
|
|
|
시계열 데이터 분석 개요 요소 및 성능 평가
• 시계열 구성 요소: 수준(Level)·추세(Trend)·계절성(Seasonality)·노이즈(Noise) 식별을 통한 시변 데이터 구조 분석 및 패턴 범주화 • 시각적 탐색 및 전처리: 로그 스케일 변환·이동 평균·추세선 분석 기능을 활용한 내재 패턴 도출 및 데이터 변동성 제어 • 모델 검증 및 예측: 시간 순서 기반 데이터 분할과 MAPE·RMSE 지표를 적용한 단순 예측 모델 설계 및 미래 예측치 생성 알고리즘 최적화 |
||
| 17장. 회귀 분석을 기반으로 한 예측 | ||
|
[17강] 회귀 분석을 기반으로 한 예측
|
0:
51:
49
|
|
|
회귀 분석 기반 시계열 추세 및 계절성 예측 모델링
• 시계열 구성 요소 모델링: 시간 인덱스($t$) 기반의 선형·지수·다항 추세 분석 및 범주형 변수를 활용한 계절 변동 회귀 기법 • 자기상관 및 ARIMA: 잔차의 1-지연(Lag-1) 상관성을 반영한 2단계 보정 모델 구축 및 자기회귀(AR) 정보 통합 원리 • 확률 보행 및 모델 검증: AR(1) 계수 기반의 랜덤성 판정과 가설 검정을 통한 시계열 데이터의 예측 유효성 평가 절차 |
||
| 18장. 평활법 | ||
|
[18강] 평활법
|
0:
39:
01
|
|
|
시계열 데이터 노이즈 제거 및 예측을 위한 평활법
• 평활법 및 이동평균법: 관측치 평균 기반 노이즈 제거 및 윈도우 폭($w$) 설정을 통한 시계열 추세 파악 • 지수평활법(Simple & Double): 평활 상수 $\alpha$를 활용한 데이터 가중치 부여 및 추세 성분 반영 예측 원리 • 홀트-윈터 지수평활법: 수준·추세·계절성 지수 결합 수식을 통한 복합 시계열 패턴 분석 및 미래 예측 수행 |
||
| 19장. 소셜 네트워크 애널리틱스 | ||
|
[19강] 소셜 네트워크 애널리틱스
|
0:
43:
21
|
|
|
소셜 네트워크 애널리틱스 분석 및 시각화
• 네트워크 그래프 구조 및 데이터 요약: 노드·링크 기반 무방향·방향·가중치 그래프 정의와 인접 리스트·행렬을 통한 데이터 구조화 및 시각화 기법 • 네트워크 중심성 및 측정 지표: 연결도·근접성·매개성·고유벡터 중심성을 활용한 핵심 개체 식별 및 전체 밀도·분포를 통한 구조적 특성 정량화 • 분석 모델 및 실무 응용: 연결선 예측·개체 해석·협업 필터링 연동을 통한 인플루언서 탐지 및 이상 행위 분석 프로세스 구축 방법론 |
||
| 20장. 텍스트 마이닝 | ||
|
[20강] 텍스트 마이닝
|
0:
29:
55
|
|
|
텍스트마이닝 전처리 및 데이터 분석 기법의 구현
• 텍스트 전처리 및 벡터화: 토큰화·불용어 제거·스테밍을 통한 비정형 텍스트의 수치형 행렬(TDM/TF-IDF) 변환 및 데이터 정규화 공정 • TF-IDF 및 LSA: 단어 변별력 기반 중요도 산출과 TruncatedSVD를 활용한 잠재 의미 추출 및 고차원 데이터의 차원 축소 기법 • 분류 모델 구현: 로지스틱 회귀 알고리즘 기반 문서 분류 모델 구축 및 테스트 데이터를 활용한 예측 정확도 성능 평가 절차 |
||
| 21장. 사례 | ||
|
[21강] 사례
|
0:
49:
50
|
|
|
데이터 마이닝 기술을 활용한 비즈니스 사례 분석
• RFM 및 k-NN·로지스틱 회귀: 고객 구매 행태 정규화와 변수 서브셋 최적화를 통한 마케팅 응답률 예측 모델 구축 • k-평균 군집화: 브랜드 충성도 및 인구 통계 변수를 활용한 시장 세분화와 군집별 타겟 프로모션 전략 수립 • 연관 규칙 분석: 지지도·신뢰도·향상도 기반의 품목 간 연관성 평가 및 데이터 기반의 카탈로그 교차 판매 효율화 |
||
조선화 교수님
데이터마이닝
