Bất đẳng thức Pinsker

Trong lý thuyết thông tin, bất đẳng thức Pinsker, đặt tên theo Mark Semenovich Pinsker, là một bất đẳng thức liên hệ khoảng cách Kullback-Leibler và khoảng cách $\ell_1$. Nếu $P, Q$ là hai phân bố xác suất thì

$2 D(P\Vert Q) \ge \Vert P(A)-Q(A)\Vert_1^2$

trong đó $D(P\Vert Q)$ là khoảng cách Kullback-Leibler theo đơn vị nat và $\Vert P(A)-Q(A)\Vert_1$ là khoảng cách $\ell_1$.

Tài liệu tham khảo

• Cover, Thomas M.; Thomas, Joy A. (2006). Elements of Information Theory (ấn bản 2). Willey-Interscience. 
• Cesa-Bianchi, Nicolo; Lugosi, Gábor (2006). Prediction, Learning, and Games. Cambridge University Press.