Bất đẳng thức Hoeffding

Bách khoa toàn thư mở Wikipedia
Bước tới: menu, tìm kiếm

Trong lý thuyết xác suất, bất đẳng thức Hoeffding cho một chặn trên của xác suất một tổng các biến ngẫu nhiên sai lệch với giá trị kỳ vọng. Bất đẳng thức Hoeffding được chứng minh bởi Wassily Hoeffding.

Giả sử

X_1, \dots, X_n \!

là các biến ngẫu nhiên độc lập. Giả sử X_i gần như chắc chắn bị chặn; nghĩa là, với mọi 1 \leq i \leq n ta có

\Pr(X_i \in [a_i, b_i]) = 1. \!

Giá trị trung bình thực nghiệm của các biến đó là

\overline{X} = (X_1 + \cdots + X_n)/n \!

Ta có các bất đẳng thức sau (Hoeffding 1963, định lý 2 [1]):

\Pr(\overline{X} - \mathrm{E}[\overline{X}] \geq t) \leq \exp \left( - \frac{2t^2n^2}{\sum_{i=1}^n (b_i - a_i)^2} \right),\!
\Pr(|\overline{X} - \mathrm{E}[\overline{X}]| \geq t) \leq 2\exp \left( - \frac{2t^2n^2}{\sum_{i=1}^n (b_i - a_i)^2} \right),\!

cho mọi giá trị t dương. Ở đây \mathrm{E}[\overline{X}]giá trị kỳ vọng của \overline{X}.

Các bất đẳng thức này là trường hợp đặc biệt của bất đẳng thức Azuma–Hoeffding và của một bất đẳng thức tổng quát hơn nữa là bất đẳng thức Bernstein trong lý thuyết xác suất, chứng minh bởi Sergei Bernstein năm 1923. Chúng cũng là trường hợp đặc biệt của bất đẳng thức McDiarmid.

Các bất đẳng thức này cũng đúng khi X_i được chọn không thay thế; trong trường hợp này chúng không còn độc lập. Bài báo của Hoeffding cũng chứa một chứng minh của mệnh đề này. Bài báo của Serfling [2] chứa một chặn trên chặt hơn một chút trong trường hợp lấy mẫu không thay thế.

Xem thêm[sửa | sửa mã nguồn]

Tài liệu tham khảo[sửa | sửa mã nguồn]

  1. ^ Wassily Hoeffding, Probability inequalities for sums of bounded random variables, Journal of the American Statistical Association 58 (301): 13–30, tháng 3 năm 1963. (JSTOR)
  2. ^ R. J. Serfling, Probability Inequalities for the Sum in Sampling without Replacement, The Annals of Statistics Volume 2, Number 1 (1974), 39–48. (Project Euclid)