数学或物理上都有哪些衡量两个事物之间距离或差异的概念

泻药,学渣强答一下,抛砖引玉。
衡量随机变量差异的KL (Kullback-Leibler) divergence:
数学或物理上都有哪些衡量两个事物之间距离或差异的概念



在此基础上变得对称和平滑的JS (Jensen-Shannon) divergence:
【数学或物理上都有哪些衡量两个事物之间距离或差异的概念】 数学或物理上都有哪些衡量两个事物之间距离或差异的概念



其实呢,上面的这些divergence都可以归纳成为f-divergence:
数学或物理上都有哪些衡量两个事物之间距离或差异的概念



通过改变f的形式,就能得到一系列上面的距离
例如KL divergence:
数学或物理上都有哪些衡量两个事物之间距离或差异的概念

数学或物理上都有哪些衡量两个事物之间距离或差异的概念


再比如Reverse KL divergence:
数学或物理上都有哪些衡量两个事物之间距离或差异的概念

数学或物理上都有哪些衡量两个事物之间距离或差异的概念


再比如Chi Square:
数学或物理上都有哪些衡量两个事物之间距离或差异的概念

数学或物理上都有哪些衡量两个事物之间距离或差异的概念



JSD之类的距离有一些先天不足,例如当两个分布完全没重叠的时候,即便分布有距离上的变化,JSD永远是最大值。所以就搞出了个简单粗暴的Earth Mover\u0026#39;s Distance:
数学或物理上都有哪些衡量两个事物之间距离或差异的概念



除此之外还有黎曼几何上的测地线距离 (Geodesic Distance)等等各种纠结的距离。。。不太懂我就不写了


    推荐阅读