Hợp lý cực đại

Ước lượng hợp lý cực đại (trong tiếng Anh thường được nhắc đến với tên MLE, viết tắt cho Maximum Likelihood Estimation) là một phương pháp trong thống kê dùng để ước lượng giá trị tham số của một mô hình xác suất dựa trên những dữ liệu quan sát được. Phương pháp này ước lượng các tham số nói trên bởi những giá trị làm cực đại hóa likelihood function. Các ước lượng thu được cũng được viết tắt là MLE (Maximum Likelihood Estimates).

MLE được sử dụng chung với các phân tích thống kê khác. Lấy ví dụ khi chúng ta muốn ước lượng chiều cao nói chung của chim cánh cụt cái trưởng thành, nhưng lại không thể nào đo được chiều cao của tất cả chim cánh cụt trong một quần thể (do ràng buộc về thời gian hoặc chi phí). Bằng việc giả sử chiều cao trong quần thể được phân phối chuẩn với các tham số (giá trị trung bình và phương sai) chưa biết, chúng ta chỉ cần khảo sát chiều cao của một vài cá thể mẫu trong quần thể và dùng MLE để ước lượng các tham số này. Khi nhìn vào các chiều cao mẫu đã thu thập, có thể hình dung là, phương pháp MLE sẽ tìm ra cách giải thích hợp lý nhất cho những chiều cao nhận được đó.

Theo quan điểm của Suy diễn Bayes, MLE là một trường hợp đặc biệt của Maximum A Posteriori estimation (MAP), phương pháp đưa ra giả thiết về phân phối đều của các tham số. Trong suy diễn tần số, MLE lại là một trong số rất nhiều các phương pháp ước lượng tham số mà không cần dự đoán trước về phân phối. Việc dự đoán trước này được tránh bằng cách không khẳng định về xác suất của các tham số mà chỉ khẳng định về xác suất của các ước lượng, do các ước lượng đã được định nghĩa đầy đủ với các dữ liệu quan sát được và mô hình xác suất.

MLE được nhà toán học R. A. Fisher phát triển vào khoảng năm 1912-1922.

Nguyên lý

Phương pháp MLE được xây dựng dựa trên likelihood function, ${\textstyle {\mathcal {L}}(\theta \,;x)}$. Ta được cho trước một mô hình xác suất, nói cách khác là một họ các phân phối ${\textstyle \{f(\cdot \,;\theta )\mid \theta \in \Theta \}}$, với ${\textstyle \theta }$ là tham số (có thể ở dạng dữ liệu nhiều chiều) cho mô hình. MLE tìm kiếm giá trị của ${\textstyle \theta }$ để ${\textstyle {\mathcal {L}}(\theta \,;x)}$ đạt cực đại. Như đã nói ở trên, có thể hình dung là MLE đi tìm cách giải thích hợp lý cho các dữ liệu quan sát được.

Từ phương pháp này ta có định nghĩa về ước lượng hợp lý cực đại (Maximum Likelihood Estimates) như sau:

${\hat {\theta }}\in \{{\underset {\theta \in \Theta }{\operatorname {arg\,max} }}\ {\mathcal {L}}(\theta \,;x)\},$

nếu giá trị lớn nhất đó có tồn tại.

Thường thì dùng logarit tự nhiên của likelihood function (còn gọi là log-likelihood) làm hàm mục tiêu sẽ thuận tiện hơn:

$\ell (\theta \,;x)=\ln {\mathcal {L}}(\theta \,;x).$

Ta cũng có thể dùng hàm log-likelihood trung bình:

${\hat {\ell }}(\theta \,;x)={\frac {1}{n}}\ln {\mathcal {L(\theta \,;x)}}.$

Dấu mũ nằm trên $\ell$ là kí hiệu cho estimator. Thật vậy, ${\hat {\ell }}$ xấp xỉ log-likelihood kỳ vọng của một quan sát duy nhất trong mô hình.

Lưu ý rằng, dù dùng hàm mục tiêu là likelihood function hay log-likelihood, kết quả cũng như nhau, vì log là hàm tăng ngặt.