Logistic Regression (로지스틱 회귀)

2025. 5. 18. 23:44·AI/모델별 정리
반응형

1. 개념

이진 분류(binary classification)를 위한 선형 모델로 회귀라는 이름이 붙었지만, 실제로는 분류(classification) 모델

 

선형 회귀처럼 입력 x에 대해 z를 구하는 w, b를 결정.

 

그 결과를 시그모이드 함수로 통과시켜 0~1 사이 확률로 변환.

사용자가 임계값을 사용하여, 결과를 최적화함 (ROC Curve 등을 사용)

 

모델에 따라 임계값 조정이 달라질 수 있음.

상황 최적 임계값
양성 클래스 놓치면 안 됨 (e.g., 질병 진단) 낮춰서 민감도(Recall) ↑
위양성 줄이는 게 중요 (e.g., 스팸 필터) 높여서 정밀도(Precision) ↑

2. 장점

 

  • 빠르고 단순하며, 이해/해석이 쉬움
  • 출력이 확률이므로 불확실성 표현 가능
  • 고차원 희소 데이터에도 잘 작동 (ex. 텍스트)
  • L1/L2 정규화와 쉽게 결합 가능

 

3. 단점

 

  • 선형 결정 경계만 학습 가능 → 비선형 문제에선 성능 낮음
  • 이상치(outlier)에 민감할 수 있음
  • 다중 클래스 문제는 softmax (다항 로지스틱 회귀)로 확장해야 함

 

4. 과적합 방지

4-1. L2 정규화 (Ridge-style)

 

  • 모든 가중치를 부드럽게 줄임
  • 과적합 방지 + 수치 안정성

 

4-2. L1 정규화 (Lasso-style)

 

  • 불필요한 특성 제거 (가중치를 0으로)
  • 희소 모델 → 해석 가능성 증가

5. 다중 클래스용 Softmax 처리

입력 𝑥 클래스 수 K일 때,

 

Softmax 함수로 확률로 변환

 

5-1. 손실 함수: Categorical Cross Entropy

반응형
저작자표시 비영리 변경금지 (새창열림)

'AI > 모델별 정리' 카테고리의 다른 글

KNN : K-Nearest Neighbors (k-최근접 이웃)  (0) 2025.05.19
Linear Regression(선형 회귀)  (0) 2025.05.18
목차. 기초 머신러닝(딥러닝 포함) 모델 종류  (0) 2025.05.18
PCA : 주성분 분석  (0) 2025.05.08
사이킷런(Scikit-learn) 머신러닝 주요 모델 정리  (0) 2024.04.23
'AI/모델별 정리' 카테고리의 다른 글
  • KNN : K-Nearest Neighbors (k-최근접 이웃)
  • Linear Regression(선형 회귀)
  • 목차. 기초 머신러닝(딥러닝 포함) 모델 종류
  • PCA : 주성분 분석
코코도롱
코코도롱
    반응형
  • 코코도롱
    도롱이의 전자공학소
    코코도롱
  • 전체
    오늘
    어제
    • 분류 전체보기 (60)
      • AI (16)
        • 데이터 분석과 모델 학습 (4)
        • 모델별 정리 (7)
        • (PJT)음성 화자 분류 (4)
      • SW개발 (38)
        • C++ (9)
        • 면접을 위한 CS 전공지식 노트 (24)
        • Django+Vue.js (0)
        • 이런저런 개발이야기 (1)
        • 갑자기 C코테를 봐야할때 (2)
        • RPI5 프로젝트 (1)
        • 트러블슈팅 (1)
      • ESG (2)
        • 내가 쓰는 Assay (1)
        • 뉴스 스크랩 (1)
      • 반도체 (4)
        • 반도체 (3)
        • 슬기로운 학부생활 (1)
        • 회로 (0)
  • 블로그 메뉴

    • 홈
    • 태그
    • 방명록
  • 링크

  • 공지사항

  • 인기 글

  • 태그

    반도체 소자 공학
    면접을 위한 CS 전공지식 노트
    파일입출력 #DataFrame불러오기
    운영체제
    반도체 공학
    ESG
    전공 지식
    면접을 위한 cs전공지식 노트
    홉바이홉
    홉바이홉통신
    MySQL
    입출력관리
    요약본
    데이터분석 #데이터전처리 #결측치 #머신러닝 #딥러닝 #Pandas #DataFrame
    페이징 기법
    c io
    c언어 입출력
    LAN
    CS지식
    메시지큐
    멀티프로세스
    반도체 물성
    ios7계층
    데이터전처리 #데이터분석 #딥러닝 #머신러닝 #Pandas #Numpy #Python
    보고서 수식
    word 수식
    정리본
    os구조
    데이터분석 #머신러닝 #딥러닝 #데이터사이언스 #알고리즘 #데이터전처리
    공백포함입력받기
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.3
코코도롱
Logistic Regression (로지스틱 회귀)
상단으로

티스토리툴바