Orange3] Model #3-Calibrated Learner

▣ Calibrated Learner

머신러닝 모델의 예측 확률을 보정(calibrate) 하는 데 사용되는 위젯입니다. 원래의 모델이 출력하는 확률이 실제 관측된 확률과 잘 일치하지 않을 경우, 이 위젯을 통해 더 신뢰할 수 있는 예측 확률을 얻을 수 있습니다.

머신러닝 모델은 각 클래스에 대한 예측 확률(probability) 을 출력할 수 있습니다.
하지만 이 확률이 항상 실제 정답 확률과 일치하지는 않습니다. 
예를 들어, 모델이 90% 확률로 클래스 A라고 예측해도 실제로는 그 정확도가 60%일 수도 있습니다.
Calibrated Learner는 이런 예측 확률을 보정(calibration) 하여, 모델의 예측 신뢰도를 높입니다.

대표적인 보정 기법:
1. Platt Scaling (로지스틱 회귀 기반)
2. Isotonic Regression

 

▣ Calibrated Learner 워크플로우

Data → Data Sampler → Learner (e.g., Random Forest) → Calibrated Learner → Test & Score

간단한 예제: 타이타닉 생존자 예측

목표: 타이타닉 데이터셋으로 생존 확률을 예측하고, 예측 확률을 보정하여 신뢰도 향상 확인

📌 구성 단계:

1. File 위젯
   • 타이타닉 데이터셋 불러오기 (예: titanic.tab)
2. Data Sampler
   • 학습/테스트 데이터 분리 (예: 70% 학습, 30% 테스트)
3. Random Forest (또는 다른 분류기)
   • 기본 예측 모델로 사용
4. Calibrated Learner
   • Random Forest를 입력으로 받아 확률 보정 적용
   • 보정 방법 선택: Platt Scaling 또는 Isotonic
5. Test & Score
   • 학습된 보정 모델을 테스트 데이터에 적용
   • AUC, CA, LogLoss 등을 비교
6. (선택) Calibration Plot
   • 보정 전후 예측 확률과 실제 정답 간의 일치도를 시각화

▣ Calibrated Learner  동영상