国产一区二区精品-国产一区二区精品久-国产一区二区精品久久-国产一区二区精品久久91-免费毛片播放-免费毛片基地

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  技術干貨  > 熵,條件熵,相對熵,互信息的相關定義及公式推導

熵,條件熵,相對熵,互信息的相關定義及公式推導

來源:千鋒教育
發布人:wjy
時間: 2022-09-13 17:41:37 1663062097

是隨機變量不確定性的度量,不確定性越大,熵值越大,若隨機變量退化成定值,熵為0,均勻分布是最不確定的分布。熵其實定義了一個函數(概率分布函數)到一個值(信息熵)的映射。

熵的定義公式如下:

熵,條件熵,相對熵1

在經典熵的定義中,底數是2,此時熵的單位是bit,若底數是e,則熵的單位是nat(奈特)

兩個隨機變量X, Y的聯合分布,可以形成聯合熵Joint Entropy,用H(X,Y)表示,那么我們不禁要問:H(X,Y) - H(Y)代表什么呢?

事實上,(X,Y)發生所包含的熵,減去Y單獨發生包含的熵,在Y發生的前提下,X發生的新帶來的熵。于是有了條件熵:H(X|Y)的定義

下面是條件熵的推導公式:

熵,條件熵,相對熵2

相對熵,又稱為互熵,交叉熵,鑒別信息,KL散度,假設p(x), q(x)是X中取值的兩個概率分布,則p對q的相對熵是:

熵,條件熵,相對熵3

對于相對熵,可以度量兩個隨機變量的距離,一般的p對q的相對熵和q對p的相對熵不相等。

對于已知的隨機變量p,要使得相對簡單的隨機變量q,盡量接近p,那么我們可以采用相對熵進行求解:

假定使用KL(Q||P),為了讓距離最小,則要求在P為0的地方,Q盡量為0。會得到比較“窄”的分布曲線;

假定使用KL(P||Q),為了讓距離最小,則要求在P不為0的地方,Q也盡量不為0。會得到比較“寬”的分布曲線;

互信息

兩個隨機變量X,Y的互信息,定義為X,Y的聯合分布和獨立分布乘積的相對熵。

熵,條件熵,相對熵4

對于互信息,我們可以有如下的推導公式:

熵,條件熵,相對熵5

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT