合聚咖

合聚咖

如何计算两个多维离散分布的kl散度

admin

计算两个多维离散分布的KL散度,首先确认所用公式正确。

定义为离散随机变量 [公式] 和 [公式] 的概率分布KL散度,公式为:

在这里,[公式] 表示 [公式] 的分布列。

若 [公式] 是离散随机变量 [公式] 的联合分布,则 [公式] 为求解 [公式] 的联合分布列。

方法是:将 [公式] 的所有可能取值罗列出来,再逐一列出 [公式] 的对应取值。最后合并整理,得出 [公式] 的概率取值。