熵是隨機變量不確定性的度量,不確定性越大,熵值越大;若隨機變量退化成定值,熵為0。
如果沒有外界干擾,隨機變量總是趨向于無序,在經(jīng)過足夠時間的穩(wěn)定演化,它應(yīng)該能夠達(dá)到的最大程度的熵。
為了準(zhǔn)確的估計隨機變量的狀態(tài),我們一般習(xí)慣性最大化熵,認(rèn)為在所有可能的概率模型(分布)的集合中,熵最大的模型是最好的模型。
換言之,在已知部分知識的前提下,關(guān)于未知分布最合理的推斷就是符合已知知識最不確定或最隨機的推斷,其原則是承認(rèn)已知事物(知識),且對未知事物不做任何假設(shè),沒有任何偏見。