Bất đẳng thức Pinsker

Bách khoa toàn thư mở Wikipedia
Bước tới: menu, tìm kiếm

Trong lý thuyết thông tin, bất đẳng thức Pinsker, đặt tên theo Mark Semenovich Pinsker, là một bất đẳng thức liên hệ khoảng cách Kullback-Leibler và khoảng cách \ell_1. Nếu P, Q là hai phân bố xác suất thì

2 D(P\Vert Q) \ge \Vert P(A)-Q(A)\Vert_1^2

trong đó D(P\Vert Q)khoảng cách Kullback-Leibler theo đơn vị nat\Vert P(A)-Q(A)\Vert_1 là khoảng cách \ell_1.

Tài liệu tham khảo[sửa | sửa mã nguồn]

  • Cover, Thomas M.; Thomas, Joy A. (2006). Elements of Information Theory (ấn bản 2). Willey-Interscience. 
  • Cesa-Bianchi, Nicolo; Lugosi, Gábor (2006). Prediction, Learning, and Games. Cambridge University Press. 

Tham khảo[sửa | sửa mã nguồn]