Ước lượng Bayes

Bách khoa toàn thư mở Wikipedia
Bước tới: menu, tìm kiếm

Trong lý thuyết ước lượnglý thuyết quyết định, một công cụ ước lượng Bayes là một phép ước lượng hoặc luật quyết định sao cho nó cực tiểu giá trị kì vọng hậu nghiệm của một hàm lỗi (tiếng Anh loss function) (ví dụ, kì vọng sai số hậu nghiệm). Một cách khác để tìm ước lượng trong Thống kê BayesƯớc lượng cực đại hậu nghiệm.

Định nghĩa[sửa | sửa mã nguồn]

Giả sử một tham số θ chưa biết có phân phối tiên nghiệm \pi. Đặt \delta = \delta(x) là một ước lượng của θ (dựa trên các số đo x), và L(\theta,\delta)hàm lỗi, ví dụ như bình phương sai số. Hàm nguy cơ Bayes của \delta được định nghĩa là E_\pi \{ L(\theta, \delta) \}: kì vọng của hàm lỗi trên phân phối của \theta. Điều này làm cho hàm nguy cơ trở thành một hàm theo \delta. Một ước lượng \delta được gọi là môt ước lương Bayes nếu nó cực tiểu hàm nguy cơ Bayes. Một cách tương đương, ước lượng cực tiểu kì vọng hậu nghiệm của hàm lỗi E \{ L(\theta,\delta) | x \} for each x cũng cực tiểu hàm nguy cơ Bayes và đó là một ước lượng Bayes.[1]

Các ví dụ[sửa | sửa mã nguồn]

Ước lượng sai số trung bình bình phương cực tiểu[sửa | sửa mã nguồn]

Hàm nguy cơ thông dụng nhất được sử dụng cho ước lượng Bayes là sai số trung bình bình phương (MSE). MSE được xách định bởi

\mathrm{MSE} = E\left[ (\widehat{\theta}(x) - \theta)^2 \right],

khi giá trị kì vọng được xác định trên phân phối của \thetax.

Dùng MSE làm hàm nguy cơ, ước lượng Bayes của tham số chưa biết đơn giản là giá trị trung bình của phân phối hậu nghiệm,

\widehat{\theta}(x) = E[\theta |x]=\int \theta f(\theta |x)\,d\theta.

Nó còn được gọi là ước lượng sai số trung bình bình phương cực tiểu (MMSE). Hàm nguy cơ Bayes trong trường hợp này là phương sai hậu nghiệm.

Một số hàm nguy cơ khác[sửa | sửa mã nguồn]

Hàm nguy cơ được lựa chọn dựa trên cách người ta xác định khoảng cách giữa giá trị ước lượng và giá trị thật của tham số. MSE là hàm nguy cơ được sử dụng phổ biến nhaast, chủ yếu vì sự đơn giản của nó. Tuy nhiên một số hàm nguy cơ khác cũng được sử dụng tùy lúc. Sau đây là một số ví dụ về chúng. Ta kí hiệu hàm phân phối hậu nghiệm tổng quát là F.

  • Hàm nguy cơ "tuyến tính" loss function, với  a>0 , nhận giá trị med hậu nghiệm làm ước lượng Bayes:
 L(\theta,\widehat{\theta}) = a|\theta-\widehat{\theta}|
 F(\widehat{\theta }(x)|X) = \tfrac{1}{2}.

Chú thích[sửa | sửa mã nguồn]

  1. ^ Lehmann and Casella, Theorem 4.1.1

Tham khảo[sửa | sửa mã nguồn]

Liên kết ngoài[sửa | sửa mã nguồn]