熵是隨機變量不確定性的度量，不確定性越大，熵值越大;若隨機變量退化成定值，熵為0。
如果沒有外界干擾，隨機變量總是趨向于無序，在經過足夠時間的穩定演化，它應該能夠達到的最大程度的熵。
為了準確的估計隨機變量的狀態，我們一般習慣性最大化熵，認為在所有可能的概率模型(分布)的集合中，熵最大的模型是最好的模型。
換言之，在已知部分知識的前提下，關于未知分布最合理的推斷就是符合已知知識最不確定或最隨機的推斷，其原則是承認已知事物(知識)，且對未知事物不做任何假設，沒有任何偏見。
相關推薦HOT
什么是域控制器?
一、域控制器的定義域控制器是指在Windows Server操作系統中部署Active Directory服務的服務器。Active Directory是微軟公司開發的目錄服務，用...詳情>>
2023-10-15 00:10:28
深度學習模型權重h5、weights、ckpt、pth有什么區別?
1.來源框架不同h5格式通常用于Keras和TensorFlow框架，weights用于Darknet框架，ckpt是TensorFlow框架的一種格式，而pth則主要用于PyTorch框架...詳情>>
2023-10-15 00:05:17
大數據測試工程師需要具備哪些技能?
一、理解大數據概念大數據測試工程師需要理解大數據的基本概念和原理，如分布式存儲、MapReduce、實時計算等。他們還需要了解如何處理大規模的...詳情>>
2023-10-14 23:43:03
為什么SpringBoot的 jar 可以直接運行?
一、JAR文件的結構與執行方式Spring Boot的JAR包是Java Archive的縮寫，它是一種壓縮文件格式，可以將Java項目的類文件、資源文件以及依賴庫等...詳情>>
2023-10-14 23:01:49
京公網安備 11010802030320號