반응형
1. 개념
이진 분류(binary classification)를 위한 선형 모델로 회귀라는 이름이 붙었지만, 실제로는 분류(classification) 모델
선형 회귀처럼 입력 x에 대해 z를 구하는 w, b를 결정.
그 결과를 시그모이드 함수로 통과시켜 0~1 사이 확률로 변환.
사용자가 임계값을 사용하여, 결과를 최적화함 (ROC Curve 등을 사용)
모델에 따라 임계값 조정이 달라질 수 있음.
상황 | 최적 임계값 |
양성 클래스 놓치면 안 됨 (e.g., 질병 진단) | 낮춰서 민감도(Recall) ↑ |
위양성 줄이는 게 중요 (e.g., 스팸 필터) | 높여서 정밀도(Precision) ↑ |
2. 장점
- 빠르고 단순하며, 이해/해석이 쉬움
- 출력이 확률이므로 불확실성 표현 가능
- 고차원 희소 데이터에도 잘 작동 (ex. 텍스트)
- L1/L2 정규화와 쉽게 결합 가능
3. 단점
- 선형 결정 경계만 학습 가능 → 비선형 문제에선 성능 낮음
- 이상치(outlier)에 민감할 수 있음
- 다중 클래스 문제는 softmax (다항 로지스틱 회귀)로 확장해야 함
4. 과적합 방지
4-1. L2 정규화 (Ridge-style)
- 모든 가중치를 부드럽게 줄임
- 과적합 방지 + 수치 안정성
4-2. L1 정규화 (Lasso-style)
- 불필요한 특성 제거 (가중치를 0으로)
- 희소 모델 → 해석 가능성 증가
5. 다중 클래스용 Softmax 처리
입력 𝑥 클래스 수 K일 때,
Softmax 함수로 확률로 변환
5-1. 손실 함수: Categorical Cross Entropy
반응형
'AI > 모델별 정리' 카테고리의 다른 글
KNN : K-Nearest Neighbors (k-최근접 이웃) (0) | 2025.05.19 |
---|---|
Linear Regression(선형 회귀) (0) | 2025.05.18 |
목차. 기초 머신러닝(딥러닝 포함) 모델 종류 (0) | 2025.05.18 |
PCA : 주성분 분석 (0) | 2025.05.08 |
사이킷런(Scikit-learn) 머신러닝 주요 모델 정리 (0) | 2024.04.23 |