$\chi^2$ダイバージェンス
概要
$\chi^2$ ダイバージェンスは、二つの確率分布間の「距離」を測る指標の一つである。KLダイバージェンスと同様に情報理論、統計学、機械学習など様々な分野で重要な役割を果たす。 ランダムウォークの文脈におけるスペクトルギャップと混交時間の関係の解析は本質的には $\chi^2$ ダイバージェンスの解析に他ならない。
定義
定義 ($\chi^2$ダイバージェンス)
有限集合 $\calX$ 上に値をとる二つの確率変数 $X,Y$ に対して、以下で定義される量 $\chi^2(X | Y)$ を $X$ から $Y$ への $\chi^2$ ダイバージェンス という：
\[\begin{align*} \chisq{X}{Y} &= \E_{x\sim Y}\qty[ \qty( \frac{\Pr[X=x]}{\Pr[Y=x]} - 1 )^2 ] \\ &= \sum_{x \in \calX} \frac{(\Pr[X=x] - \Pr[Y=x])^2}{\Pr[Y=x]}. \end{align*}\]ここで、 $\Pr[Y=x] = 0$ かつ $\Pr[X=x] > 0$ の場合は $\chisq{X}{Y} = \infty$ とする。
$\chi^2$ ダイバージェンスは、確率変数 $X$ の分布が確率変数 $Y$ の分布からどれだけ「離れている」かを測る。 $\chisq{X}{Y} = 0$ となるのは $X$ と $Y$ が同じ分布に従うときである。
基本的性質
確率変数$X,Y$に対して
\[\begin{align*} \chisq{X}{Y} \ge 0. \end{align*}\]等号が成り立つのは $X$ と $Y$ が同じ分布に従うときである。
$\chi^2$-ダイバージェンスとKLダイバージェンスの間には重要な関係がある。
命題 ($\chi^2$ダイバージェンスとKLダイバージェンスの関係)
確率変数 $X,Y$ に対して、以下の不等式が成り立つ：
\[\begin{align*} \KL{X}{Y} \le \chisq{X}{Y}. \end{align*}\]特に、Pinskerの不等式より、 $2\dtv(X,Y)^2 \le \KL{X}{Y} \le \chisq{X}{Y}$。