Pinskerの不等式

• Pinskerの不等式
  • 概要
  • 定理
  • 証明

概要

Pinskerの不等式(Pinsker’s inequality)は, KLダイバージェンス $\KL{X}{Y}$ と統計距離 $\dtv(X,Y)$ の間の重要な関係を表す不等式です. この不等式は, 確率変数の分布の収束性の解析において重要な役割を果たします。

定理

定理 (Pinskerの不等式)

確率変数$X,Y$に対して

\[\begin{align*} 2\dtv(X,Y)^2 \le \KL{X}{Y}. \end{align*}\]

証明

Pinskerの不等式の証明は, 以下の主要なステップから構成されます:

1. データ処理不等式の適用: 関数$f(x) = \indicator_{x \in S}$を用いて, データ処理不等式を適用
2. 二値KLダイバージェンスの評価: $\binset$値確率変数のKLダイバージェンスを解析的に評価する