Phân kỳ Kullback–Leibler

Bách khoa toàn thư mở Wikipedia
Buớc tưới chuyển hướng Bước tới tìm kiếm

Trong toán học thống kê, phân kỳ Kullback–Leibler (hay còn gọi là khoảng cách Kullback–Leibler, entropy tương đối) là một phép đo cách một phân phối xác suất khác biệt so với cái còn lại, phân phối xác suất tham chiếu.[1][2] Các ứng dụng chứa đặc tính entropy thông tin quan hệ trong các hệ thống thông tin, ngẫu nhiên theo chuỗi thời gian liên tục, và thông tin đạt được khi so sánh các mô hình thống kê suy luận. Tương phản với sự thay đổi thông tin, phân kỳ Kullback–Leibler là một phép đo bất đối xứng phân phối thông minh và vì vậy không đủ điều kiện là một metric thống kê có tính lây lan. Trong trường hợp đơn giản, một phân kỳ Kullback–Leibler có giá trị 0 chỉ ra rằng hai phân phối là giống nhau. Nói cách đơn giản, phân kỳ Kullback–Leibler là một phép đo sự ngạc nhiên, với nhiều ứng dụng khác nhau như thống kê ứng dụng, cơ học chất lưu, khoa học thần kinhhọc máy.

Tham khảo[sửa | sửa mã nguồn]

  1. ^ Kullback, S.; Leibler, R.A. (1951). “On information and sufficiency” (PDF). Annals of Mathematical Statistics 22 (1): 79–86. MR 39968. doi:10.1214/aoms/1177729694. 
  2. ^ Kullback, S. (1959), Information Theory and Statistics, John Wiley & Sons . Republished by Dover Publications in 1968; reprinted in 1978: ISBN 0-8446-5625-9.

Liên kết ngoài[sửa | sửa mã nguồn]