情報理論
情報理論(information theory)は、情報の量や伝送、処理に関する数学的理論です。理論計算機科学においても、通信理論、暗号学、機械学習、データ圧縮など様々な分野で重要な役割を果たします。
エントロピー
エントロピーは情報理論の最も基本的な概念で、確率変数の不確実性や情報量を測る指標です。
f-ダイバージェンス
f-ダイバージェンスは、二つの確率分布間の「距離」を測る一般的な枠組みです。KLダイバージェンスやχ²ダイバージェンスなど、多くの重要な分布間距離指標がf-ダイバージェンスの特殊な場合として表現できます。
Pinskerの不等式
Pinskerの不等式は、KLダイバージェンスと統計距離の間の重要な関係を表す不等式で、分布の収束性の解析において重要な役割を果たします。