Khoảng cách Jensen-Shannon

Bách khoa toàn thư mở Wikipedia
Bước tới: menu, tìm kiếm

Trong lý thuyết xác suấtthống kê, khoảng cách Jensen-Shannon là một phương pháp phổ biến để đo sự tương đồng giữa hai phân bố xác suất. Nó dựa trên khoảng cách Kullback-Leibler với một điểm khác biệt quan trọng là nó luôn có giá trị hữu hạn. Căn bậc hai của khoảng cách Jensen-Shannon là một metric.[1][2]

Định nghĩa[sửa | sửa mã nguồn]

Đặt M_+^1(A) là tập hợp các phân bố xác suất trong đó A là một tập hợp cùng với một σ-đại số gồm các tập con đo được. Cụ thể hơn, ta chỉ xem xét A là tập hợp hữu hạn hoặc đếm được với mọi tập con đều đo được. Khoảng cách Jensen-Shannon (JSD) M_+^1(A) \times M_+^1(A) \rightarrow [0,\infty{}) là phiên bản đối xứng và trơn của khoảng cách Kullback-Leibler D(P \parallel Q). Nó được định nghĩa như sau

JSD(P \parallel Q)= \frac{1}{2}D(P \parallel M)+\frac{1}{2}D(Q \parallel M)

trong đó M=\frac{1}{2}(P+Q) Nếu A là đếm được thì có định nghĩa tổng quát hơn cho phép so sánh nhiều hơn hai phân bố, như sau:

JSD(P_1, P_2, \ldots, P_n) = H\left(\sum_{i=1}^n \pi_i P_i\right) - \sum_{i=1}^n \pi_i H(P_i)

trong đó \pi_1, \pi_2, \ldots, \pi_n là trọng số của các phân bố P_1, P_2, \ldots, P_nH(P)entropy Shannon của phân bố P. Trong trường hợp chỉ có hai phân bố mô tả ở trên,

P_1=P, P_2=Q, \pi_1 = \pi_2 = \frac{1}{2}.\

Giới hạn[sửa | sửa mã nguồn]

Theo Lin (1991), khoảng cách Jensen-Shannon bị giới hạn bởi 1 khi lôgarit được tính theo cơ số 2.

0 \leq JSD( P \parallel Q ) \leq 1

Liên hệ với thông tin tương hỗ[sửa | sửa mã nguồn]

Khoảng cách Jensen-Shannon đúng bằng thông tin tương hỗ giữa biến ngẫu nhiên X phân phối theo một phân phối hỗn hợp M=\frac{P+Q}{2} và biến ngẫu nhiên Z trong đó Z = 1 nếu X được lấy từ PZ = 0 nếu X được lấy từ Q.

\begin{align}
I(X; Z) &= H(X) - H(X|Z)\\
&= -\sum M \log M + \frac{1}{2} \left[ \sum P \log P + \sum Q \log Q \right] \\
&= -\sum \frac{P}{2} \log M - \sum \frac{Q}{2} \log M + \frac{1}{2} \left[ \sum P \log P + \sum Q \log Q \right] \\
&= \frac{1}{2} \sum P \left( \log P - \log M\right ) + \frac{1}{2} \sum Q  \left( \log Q - \log M \right) \\
&= JSD(P \parallel Q)
\end{align}

Từ kết quả trên có thể suy ngay ra khoảng cách Jensen-Shannon nằm trong khoảng từ 0 đến 1 vì thông tin tương hỗ là không âm và bị chặn bởi H(Z) = 1.

Các liên hệ khác[sửa | sửa mã nguồn]

Khoảng cách Jensen-Shannon luôn lớn hơn hoặc bằng bình phương của khoảng cách Hellinger Lin 1991.

JSD(P \parallel Q) \ge H^2(P, Q)

Ghi chú[sửa | sửa mã nguồn]

  1. ^ Endres, D. M.; J. E. Schindelin (2003). “A new metric for probability distributions”. IEEE Trans. Inf. Theory 49 (7): pp. 1858–1860. doi:10.1109/TIT.2003.813506. 
  2. ^ Ôsterreicher, F.; I. Vajda (2003). “A new class of metric divergences on probability spaces and its statistical applications”. Ann. Inst. Statist. Math. 55 (3): pp. 639–653. doi:10.1007/BF02517812. 

Tài liệu tham khảo[sửa | sửa mã nguồn]