Hợp lý cực đại

Ước lượng hợp lý cực đại (có người gọi là khả năng cực đại, tiếng Anh thường được viết là MLE, gọi tắt từ Maximum-Likelihood Estimation) là một kỹ thuật trong thống kê dùng để ước lượng giá trị tham số của một mô hình xác suất dựa trên những dữ liệu có được. Phuơng pháp này được nhà toán học R. A. Fisher phát triển vào khoảng 1912-1922. ,

Nguyên lý

MLE dựa trên giả thiết rằng các mẫu dữ liệu $D=\{X_{1},..,X_{N}\}$ có được đều độc lập và có cùng phân bố (i.i.d), với hàm phân bố thuộc một lớp cụ thể (ví dụ như Gaussian hoặc luỹ thừa) với tham số $\theta$ chưa biết. Mục tiêu của MLE, như các phương pháp học mô hình tham số khác, là đi tìm giá trị của tham số để tối ưu hoá hàm thiệt hại (loss function). Trong trường hợp của MLE, hàm thiệt hại được định nghĩa là hàm logarithm của hàm khả năng (likelihood function): $ln(P(D|\theta ))$.

Theo giả thiết các mẫu dữ liệu là i.i.d ta có hàm khả năng $P(D|\theta )=P(X_{1},..,X_{N}|\theta )=\prod \limits _{n=1}^{N}P(X_{n}|\theta )$, nên hàm thiệt hại có giá trị: $ln(P(D|\theta )=\sum \limits _{n=1}^{N}ln(P(X_{n}|\theta ))$.

Tham số của mô hình dựa sẽ được ước lượng bằng các cách gán với các giá trị sao cho hàm số trên giá trị đạt cực đại: $\{{\hat {\theta }}_{\mathrm {mle} }\}\subseteq \{{\underset {\theta \in \Theta }{\operatorname {arg\,max} }}\ log(P(D|\theta ))\}$. Lưu ý có thể có nhiều giá trị như vậy.