集成學(xué)習(xí)的集成對(duì)象是學(xué)習(xí)器。
Bagging和Boosting屬于集成學(xué)習(xí)的兩類方法。
Bagging方法有放回地采樣同數(shù)量樣本訓(xùn)練每個(gè)學(xué)習(xí)器,然后再一起集成(簡單投票);
Boosting方法使用全部樣本(可調(diào)權(quán)重)依次訓(xùn)練每個(gè)學(xué)習(xí)器, 迭代集成(平滑加權(quán))。
決策樹屬于最常用的學(xué)習(xí)器,其學(xué)習(xí)過程是從根建立樹, 也就是如何決策葉子節(jié)點(diǎn)分裂。
ID3/C4.5決策樹用信息熵計(jì)算最優(yōu)分裂,CART決策樹用基尼指數(shù)計(jì)算最優(yōu)分裂,xgboost決策樹使用二階泰勒展開系數(shù)計(jì)算最優(yōu)分裂。