Bất đẳng thức Bernstein (lý thuyết xác suất)

Bách khoa toàn thư mở Wikipedia
Bước tới: menu, tìm kiếm

Trong lý thuyết xác suất, các bất đẳng thức Bernstein cho chặn trên của xác suất tổng các biến ngẫu nhiên độc lập nhận giá trị lệch khỏi giá trị kì vọng. Trong trường hợp đơn giản nhất, nếu X1, ..., Xn là các biến ngẫu nhiên Bernoulli độc lập nhận giá trị +1 và −1 với xác suất 1/2, thì với mọi số thực dương \varepsilon,

 \mathbf{P} \left\{\left|\;\frac{1}{n}\sum_{i=1}^n X_i\;\right| > \varepsilon \right\} \leq 2\exp \left\{ - \frac{n\varepsilon^2}{ 2 (1 + \varepsilon/3) } \right\}.

Các bất đẳng thức Bernstein được chứng minh và xuất bản bởi Sergei Bernstein trong thập niên 1920 và 1930.[1][2][3][4] Sau này các bất đẳng thức này được phát hiện lại ở nhiều dạng khác nhau. Do đó nhiều trường hợp đặc biệt của bất đẳng thức Bernstein còn được gọi là chặn Chernoff, bất đẳng thức Hoeffdingbất đẳng thức Azuma.

Một số bất đẳng thức[sửa | sửa mã nguồn]

1. Đặt X1, ..., Xn là các biến ngẫu nhiên độc lập có giá trị kì vọng bằng 0. Giả sử |X i| ≤ M gần như chắc chắn, với mọi i. Khi đó, với mọi t dương,

\mathbf{P} \left\{ \sum_{i=1}^n X_i > t \right\} \leq \exp \left\{ - \frac{t^2/2}{\sum \mathbf{E} X_j^2 + Mt/3 } \right\}.

2. Đặt X1,..., Xn là các biến ngẫu nhiên độc lập. Giả sử với một số thực dương L nào đó và với mọi số nguyên k > 1,

 \mathbf{E} |X_i^k| \leq \frac{\mathbf{E} X_i^2}{2} L^{k-2} k!

thì

 \mathbf{P} \left\{ \sum_{i=1}^n X_i \geq 2 t \sqrt{\sum \mathbf{E} X_i^2} \right\}
   < \exp \left\{ - t^2\right\}, \text{ khi } 0 < t \leq \frac{\sqrt{\sum \mathbf{E} X_j^2}}{2L}.

3. Đặt X1,..., Xn là các biến ngẫu nhiên độc lập. Giả sử

 \mathbf{E} |X_i^k| \leq \frac{k!}{4!} \left(\frac{L}{5}\right)^{k-4}

với mọi số nguyên k > 3. Đặt  A_k = \sum \mathbf{E} X_i^k . Thì,

 \mathbf{P} \left\{ \left| \sum_{j=1}^n X_j - \frac{A_3 t^2}{3A_2} \right| 
   \geq \sqrt{2A_2} \, t \left[ 1 + \frac{A_4 t^2}{6 A_2^2} \right] \right\}
   < 2 \exp \left\{ - t^2\right\},\text{ khi } 0 < t \leq \frac{5 \sqrt{2A_2}}{4L}.

4. Bernstein cũng chứng minh tổng quát hóa của các bất đẳng thức trên cho trường hợp các biến ngẫu nhiên phụ thuộc yếu. Chẳng hạn có thể mở rộng bất đẳng thức (2) như sau. Đặt X1, ..., Xn là các biến ngẫu nhiên bất kì. Giả sử với mọi số nguyên i > 0,

  1. \mathbf{E} \left\{ X_{i} | X_1, \dots, X_{i-1} \right\} = 0,
  2.  \mathbf{E} \left\{ X_i^2 | X_1, \dots, X_{i-1} \right\} \leq R_i\; \mathbf{E} X_i^2,
  3. \mathbf{E} \left\{ X_i^k | X_1, \dots, X_{i-1} \right\} 
\leq  \frac{\mathbf{E} \left\{ X_i^2 | X_1, \dots, X_{i-1} \right\}}{2} \; L^{k-2} k!

thì

 \mathbf{P} \left\{ \sum_{i=1}^n X_i \geq 2 t \sqrt{\sum_{i=1}^n R_i \mathbf{E} X_i^2} \right\} 
< \exp(-t^2), \text{ khi } 0 < t \leq \frac{\sqrt{\sum_{i=1}^n R_i \mathbf{E} X_i^2}}{2L}.

Ý tưởng của chứng minh[sửa | sửa mã nguồn]

Chứng minh sử dụng bất đẳng thức Markov cho biến ngẫu nhiên  \exp \left\{ \lambda \sum_{j=1}^n X_j \right\} , với giá trị thích hợp cho tham số  \lambda > 0 .

Xem thêm[sửa | sửa mã nguồn]

Tài liệu tham khảo[sửa | sửa mã nguồn]

(Theo: S.N.Bernstein, Collected Works, Nauka, 1964)

  1. ^ S.N.Bernstein (1924), “On a modification of Chebyshev’s inequality and of the error formula of Laplace”, Ann. Sci. Inst. Sav. Ukraine, Sect. Math 1: 38–49 
  2. ^ Bernstein, S. N. (1937). [On certain modifications of Chebyshev's inequality] |dịch tựa đề= cần |tựa đề= (trợ giúp). Doklady Akademii Nauk SSSR 17 (6): 275–277. 
  3. ^ S.N.Bernstein, "Theory of Probability" (Russian), Moscow, 1927
  4. ^ J.V.Uspensky, "Introduction to Mathematical Probability", McGraw-Hill Book Company, 1937

Có thể xem một bản dịch của các kết quả này ở Prokhorov, A.V.; Korneichuk, N.P. (2001), “Bernstein inequality”, trong Hazewinkel, Michiel, Encyclopedia of Mathematics, Springer, ISBN 978-1-55608-010-4