Pinskerの不等式

• Pinskerの不等式
  • 概要
  • 定理
  • 証明

概要

Pinskerの不等式は、KLダイバージェンス $\KL{X}{Y}$ と統計距離 $\dtv(X,Y)$ の間の重要な関係を表す不等式である。この不等式は、確率変数の分布の収束性の解析において重要な役割を果たす。

定理

定理 (Pinskerの不等式)

確率変数 $X,Y$ に対して

\[\begin{align*} 2\dtv(X,Y)^2 \le \KL{X}{Y}. \end{align*}\]

証明

Pinskerの不等式の証明は、以下の主要なステップから構成される：

1. データ処理不等式の適用: 関数 $f(x) = \indicator_{x \in S}$ を用いて、データ処理不等式を適用
2. 二値KLダイバージェンスの評価: $\binset$ 値確率変数のKLダイバージェンスを解析的に評価する