Moment Matching

Moment Matching

设 是一个给定的分布，我们希望用一个指数族分布 去近似 ： 考虑最小化二者的 KL 散度： 其中 是与参数 无关的常数项。对 求导并令为零得： 另一方面，由归一化条件： 两边同时求导得： 整理得： 联立 式得： 这意味着，问题的最优解对应匹配充分统计量的期望。例如，假设 是一个高斯分布 ，那么最优解就是将均值 设定为 的均值，协方差矩阵 设定为 的协方差矩阵，这称作 moment matching.

References

1. Bishop, Christopher. Pattern recognition and machine learning. ↩︎