相同點:
都是由多棵樹組成,最終的結果都是由多棵樹一起決定。
不同點:
a 組成隨機森林的樹可以分類樹也可以是回歸樹,而GBDT只由回歸樹組成;
b 組成隨機森林的樹可以并行生成,而GBDT是串行生成
c 隨機森林的結果是多數表決表決的,而GBDT則是多棵樹累加之和
d 隨機森林對異常值不敏感,而GBDT對異常值比較敏感
e 隨機森林是減少模型的方差,而GBDT是減少模型的偏差
f GBDT的會累加所有樹的結果,而這種累加是無法通過分類完成的,因此GBDT的樹都是CART回歸樹,而不是分類樹(盡管GBDT調整后也可以用于分類但不代表GBDT的樹為分類樹)