Parametric vs Nonparametric Models

在機器學習中，模型可依照「是否假設固定參數結構」來分類為參數式（Parametric）與非參數式（Nonparametric）模型。理解兩者的差異，有助於你選擇適合資料與任務的演算法。

---

1. Parametric Models（參數式模型）

特徵：

• 假設資料服從某種固定形式的函數

• 學習過程為估計該函數下的參數（如迴歸係數）

• 訓練後模型大小固定，不隨資料量變化

優點：

• 計算效率高，訓練與預測速度快

• 模型可解釋性強（如線性回歸）

• 適合樣本數不大時使用

缺點：

• 假設錯誤會導致模型表現不佳（模型僵化）

• 適應非線性關係能力弱

常見模型：

• Linear Regression / Logistic Regression

• Naive Bayes

• SVM（kernel 固定時）

• Neural Networks（固定層數）

---

2. Nonparametric Models（非參數式模型）

特徵：

• 不假設資料有特定分布形式

• 模型複雜度可隨資料量增加而增加

• 基於資料直接進行推斷或預測

優點：

• 更具彈性，可建模複雜與非線性關係

• 適合探索性資料分析與模式發現

缺點：

• 計算成本高，預測速度慢

• 容易過擬合，需搭配正則化或裁剪技巧

• 模型通常不具良好可解釋性

常見模型：

• K-Nearest Neighbors (KNN)

• Decision Trees

• Random Forest / XGBoost

• SVM（with RBF kernel）

• Gaussian Processes

---

3. 比較表

特性	Parametric	Nonparametric
假設函數形式	有	無
模型大小是否固定	是	否（隨資料增加而增長）
計算速度	快	慢
對資料需求	少量資料也能運作	通常需較多資料
可解釋性	高	低
是否容易過擬合	較不容易	較容易

---

4. 小結與應用建議

• 若你知道資料關係接近線性 → 使用 Parametric 模型更簡潔有效

• 若你懷疑資料存在複雜關聯或無法假設結構 → 採用 Nonparametric 模型更安全

• 深度學習雖有大量參數，但也常被視為 parametric，除非使用可成長結構（如 Bayesian NN）

---

Parametric 模型的強項在於可解釋性與速度，而 Nonparametric 模型則適合捕捉複雜資料特性。選擇取決於資料量、計算資源與預期用途。