熵（entropy）是描述機率分布不確定性程度的量。在離散分布中，熵越高，代表機率質量分散於越多可能結果；熵越低，代表分布越集中。資訊理論中的香農熵以平均資訊量刻畫不確定性；統計物理中的熵則有不同但相關的定義脈絡。主動推論常以熵描述信念分布的不確定性，並透過資訊增益衡量觀測前後不確定性如何改變。 相關概念 資訊增益 預期自由能 變分自由能 似然 後驗 維基百科 熵（中文） Entropy（English）