Định lý Bayes

Bách khoa toàn thư mở Wikipedia
Bước tới: menu, tìm kiếm

Định lí Bayer là một kết quả của lí thuyết xác suất. Nó đề cập đến phân bố xác suất có điều kiện của biến ngẫu nhiên A, với giả thiết là biết được:

  • thông tin về một biến khác B: phân bố xác suất có điều kiện của B khi biết A, và
  • phân bố xác suất của một mình A.

Phát biểu định lý[sửa | sửa mã nguồn]

Định lý Bayes cho phép tính xác suất xảy ra của một sự kiện ngẫu nhiên A khi biết sự kiện liên quan B đã xảy ra. Xác suất này được ký hiệu là P(A|B), và đọc là "xác suất của A nếu có B". Đại lượng này được gọi xác suất có điều kiện hay xác suất hậu nghiệm vì nó được rút ra từ giá trị được cho của B hoặc phụ thuộc vào giá trị đó.

Theo định lí Bayes, xác suất xảy ra A khi biết B sẽ phụ thuộc vào 3 yếu tố:

  • Xác suất xảy ra A của riêng nó, không quan tâm đến B. Kí hiệu là P(A) và đọc là xác suất của A. Đây được gọi là xác suất biên duyên hay xác suất tiên nghiệm, nó là "tiên nghiệm" theo nghĩa rằng nó không quan tâm đến bất kỳ thông tin nào về B.
  • Xác suất xảy ra B của riêng nó, không quan tâm đến A. Kí hiệu là P(B) và đọc là "xác suất của B". Đại lượng này còn gọi là hằng số chuẩn hóa (normalising constant), vì nó luôn giống nhau, không phụ thuộc vào sự kiện A đang muốn biết.
  • Xác suất xảy ra B khi biết A xảy ra. Kí hiệu là P(B|A) và đọc là "xác suất của B nếu có A". Đại lượng này gọi là khả năng (likelihood) xảy ra B khi biết A đã xảy ra. Chú ý không nhầm lẫn giữa khả năng xảy ra B khi biết A và xác suất xảy ra A khi biết B.

Khi biết ba đại lượng này, xác suất của A khi biết B cho bởi công thức:

P(A|B) = \frac{P(B | A) P(A)}{P(B)} = \frac{likelihood * prior}{normalizing\_constant}

Từ đó dẫn tới

P(A|B) P(B) = P(A \cap B) = P(B|A) P(A)\,

Các dạng khác của định lý Bayes[sửa | sửa mã nguồn]

Định lý Bayes thường cũng thường được viết dưới dạng

P(B) = P(A, B) + P(A^C, B) = P(B|A) P(A) + P(B|A^C) P(A^C)\,

hay

P(A|B) = \frac{P(B | A) P(A)}{P(B|A)P(A) + P(B|A^C)P(A^C)}\,,

trong đó ACbiến cố bù của biến cố A (thường được gọi là "không A"). Tổng quát hơn, với {Ai} tạo thành một phân hoạch của không gian các biến cố,

P(A_i|B) = \frac{P(B | A_i) P(A_i)}{\sum_j P(B|A_j)P(A_j)}\,,

với mọi Ai trong phân hoạch.

Công thức này còn được biết dưới tên công thức xác suất đầy đủ.

Định lý Bayes với hàm mật độ xác suất[sửa | sửa mã nguồn]

Cũng có một dạng của định lý Bayes cho các phân bố liên tục. Đối vơi chúng, thay cho các xác suất trong định lý Bayes ta dùng mật độ xác suất. Như vậy ta có các công thức tương tự định nghĩa xác suất điều kiện

 f(x|y) = \frac{f(y|x)\,f(x)}{f(y)}

và công thức tương tự công thức xác suất đầy đủ:

 f(x|y) = \frac{f(y|x)\,f(x)}{\int_{-\infty}^{\infty} f(y|x')\,f(x')\,dx'}.

Ý nghĩa của các thành phần trong các công thức trên là f(x, y) là mật độ phân phối của phân phối đồng thời của các biến ngẫu nhiên XY, f(x|y) là mật độ phân phối xác suất hậu nghiệm của X với điều kiện Y=y, f(y|x) = L(x|y) là (một hàm của x) hàm khả năng của X với điều kiện Y=y, và f(x) và f(y) là các mật độ phân phối của XY tách biệt nhau, với f(x) là mật độ phân phối tiền nghiệm của X.

Điều kiện mặc định trong các công thức là hàm f khả vi và các tích phân công thức tồn tại.

Ứng dụng của định lý Bayes thường dựa trên một giả thiết có tính triết học Bayesian probability ngầm định rằng độ bất định và kỳ vọng có thể tính toán được giống như là xác suất. Định lí Bayes được đặt theo tên của Reverend Thomas Bayes (17021761), người nghiên cứu cách tính một phân bố với tham số là một phân bố nhị phân. Người bạn của ông, Richard Price, chỉnh sửa và giới thiệu công trình năm 1763, sau khi Bayes mất, với tựa đề An Essay towards solving a Problem in the Doctrine of Chances. Pierre-Simon Laplace mở rộng kết quả trong bài luận năm 1774.

Xem thêm[sửa | sửa mã nguồn]

Tham khảo[sửa | sửa mã nguồn]

Các phiên bản gốc của bài luận Bayes bằng tiếng Anh[sửa | sửa mã nguồn]

  • Thomas Bayes (1763), "An Essay towards solving a Problem in the Doctrine of Chances", Philosophical Transactions of the Royal Society of London, 53.
  • Thomas Bayes (1763/1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes's Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:296-315 (Bayes's essay in modernized notation)
  • Thomas Bayes "An essay towards solving a Problem in the Doctrine of Chances" (Bayes's essay in the original notation)

Bình luận[sửa | sửa mã nguồn]

  • G.A. Barnard. (1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes's Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:293-295 (biographical remarks)
  • Daniel Covarrubias "An Essay Towards Solving a Problem in the Doctrine of Chances" (an outline and exposition of Bayes's essay)
  • Stephen M. Stigler (1982) "Thomas Bayes' Bayesian Inference," Journal of the Royal Statistical Society, Series A, 145:250-258 (Stigler argues for a revised interpretation of the essay -- recommended)
  • Isaac Todhunter (1865) A History of the Mathematical Theory of Probability from the time of Pascal to that of Laplace, Macmillan. Reprinted 1949, 1956 by Chelsea and 2001 by Thoemmes.

Tài liệu xem thêm[sửa | sửa mã nguồn]

  • Pierre-Simon Laplace (1774), "Mémoire sur la Probabilité des Causes par les Événements," Savants Étranges 6:621-656, also Oeuvres 8:27-65.
  • Pierre-Simon Laplace (1774/1986), "Memoir on the Probability of the Causes of Events", Statistical Science, 1(3):364–378.
  • Stephen M. Stigler (1986), "Laplace's 1774 memoir on inverse probability," Statistical Science, 1(3):359–378.
  • Stephen M. Stigler (1983), "Who Discovered Bayes's Theorem?" The American Statistician, 37(4):290-296.
  • Jeff Miller. Earliest Known Uses of Some of the Words of Mathematics (B) (very informative -- recommended)
  • Athanasios Papoulis (1984), Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill.
  • James Joyce. "Bayes' Theorem", in the Stanford Encyclopedia of Philosophy.