xgboost使用了一階和二階偏導(dǎo),二階導(dǎo)數(shù)有利于梯度下降的更快更準(zhǔn)。
使用泰勒展開取得函數(shù)做自變量的二階導(dǎo)數(shù)形式,可以在不選定損失函數(shù)具體形式的情況下,僅僅依靠輸入數(shù)據(jù)的值就可以進(jìn)行葉子分裂優(yōu)化計算,本質(zhì)上也就把損失函數(shù)的選取和模型算法優(yōu)化/參數(shù)選擇分開了。
這種去耦合增加了xgboost的適用性,使得它按需選取損失函數(shù),可以用于分類,也可以用于回歸。