Loss_Functions.md
損失函數(Loss Function)是機器學習模型訓練的核心,用來衡量模型預測值與真實值之間的差距。透過最小化損失函數,模型得以不斷調整參數,進而提升預測準確度。
1. 損失函數 vs 評估指標
用途
模型訓練時最小化的目標
測試或驗證模型表現的指標
常見舉例
MSE, Cross-Entropy
Accuracy, F1-score, R²
是否參與訓練
會
否
2. 常見損失函數(依任務類型)
A. 回歸問題
1. Mean Squared Error(MSE)
[ \text{MSE} = \frac{1}{n} \sum (y_i - \hat{y}_i)^2 ]
對大誤差非常敏感(平方懲罰)
預設損失於線性回歸、Ridge
2. Mean Absolute Error(MAE)
[ \text{MAE} = \frac{1}{n} \sum |y_i - \hat{y}_i| ]
對離群值較有魯棒性
3. Huber Loss
結合 MSE 和 MAE,平衡穩定性與可導性
在誤差小時類似 MSE,大時接近 MAE
B. 分類問題
1. Binary Cross-Entropy(Log Loss)
[ -[y \log(\hat{y}) + (1 - y) \log(1 - \hat{y})] ]
常用於二元分類(如 Logistic Regression)
2. Categorical Cross-Entropy
[ -\sum y_i \log(\hat{y}_i) ]
多類別分類時使用(Softmax 輸出)
3. Hinge Loss
[ \text{Loss} = \max(0, 1 - y \cdot \hat{y}) ]
用於 SVM,鼓勵分類邊界更大
3. 損失函數選擇原則
回歸
MSE, MAE, Huber
二元分類
Binary Cross-Entropy
多類別分類
Categorical Cross-Entropy
邊界最大化
Hinge Loss(SVM)
4. 進階延伸(可擴充)
Focal Loss:專門處理類別不平衡的分類問題
KL Divergence:用於機率分布之間的損失衡量(如知識蒸餾)
Custom Loss:深度學習中可自訂損失函數(如重建誤差、對比學習)
5. 小結
損失函數直接決定模型「學習什麼」,因此選對損失函數等同於正確定義任務目標,是模型訓練成敗的關鍵。
Last updated