$\chi^2$ダイバージェンス

• $\chi^2$ダイバージェンス
  • 概要
  • 定義
  • 基本的性質

概要

$\chi^2$ダイバージェンス(chi-squared divergence)は, 二つの確率分布間の「距離」を測る指標の一つです. KLダイバージェンスと同様に情報理論, 統計学, 機械学習など様々な分野で重要な役割を果たします. ランダムウォークの文脈におけるスペクトルギャップと混交時間の関係の解析は本質的には$\chi^2$ダイバージェンスの解析に他なりません.

定義

定義 ($\chi^2$ダイバージェンス)

有限集合$\calX$上に値をとる二つの確率変数$X,Y$に対して, 以下で定義される量$\chi^2(X | Y)$を$X$から$Y$への$\chi^2$ダイバージェンス (chi-squared divergence)という:

\[\begin{align*} \chisq{X}{Y} &= \E_{x\sim Y}\qty[ \qty( \frac{\Pr[X=x]}{\Pr[Y=x]} - 1 )^2 ] \\ &= \sum_{x \in \calX} \frac{(\Pr[X=x] - \Pr[Y=x])^2}{\Pr[Y=x]}. \end{align*}\]

ここで, $\Pr[Y=x] = 0$かつ$\Pr[X=x] > 0$の場合は$\chisq{X}{Y} = \infty$とする.

$\chi^2$ダイバージェンスは, 確率変数$X$の分布が確率変数$Y$の分布からどれだけ「離れている」かを測ります. $\chisq{X}{Y} = 0$となるのは$X$と$Y$が同じ分布に従うときです.

基本的性質

確率変数$X,Y$に対して

\[\begin{align*} \chisq{X}{Y} \ge 0. \end{align*}\]

等号が成り立つのは$X$と$Y$が同じ分布に従うときである.

$\chi^2$-ダイバージェンスとKLダイバージェンスの間には重要な関係があります.

命題 ($\chi^2$ダイバージェンスとKLダイバージェンスの関係)

確率変数$X,Y$に対して, 以下の不等式が成り立つ:

\[\begin{align*} \KL{X}{Y} \le \chisq{X}{Y}. \end{align*}\]

特に, Pinskerの不等式より, $2\dtv(X,Y)^2 \le \KL{X}{Y} \le \chisq{X}{Y}$.