Thuộc tính Markov

Trong lý thuyết xác suất, một quá trình mang tính ngẫu nhiên có thuộc tính Markov nếu phân bố xác suất có điều kiện của các trạng thái tương lai của quá trình, khi biết trạng thái hiện tại, phụ thuộc chỉ vào trạng thái hiện tại đó, ví dụ. nó là độc lập điều kiện với các trạng thái trong quá khứ (trong đường đi của quá trình) khi biết trạng thái hiện tại. Một quá trình với thuộc tính Markov thường được gọi là quá trình Markov, và có thể được miêu tả là Markovian.

Về mặt toán, nếu X(t), t > 0, là một quá trình ngẫu nhiên, thuộc tính Markov khẳng định rằng

$\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(s)=x(s),s\leq t{\big ]}=\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(t)=x(t){\big ]},\quad \forall h>0.$

Các quá trình Markov thường được gọi là đồng nhất hay thuần nhất (theo thời gian) nếu

$\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(t)=x(t){\big ]}=\mathrm {Pr} {\big [}X(h)=y\,|\,X(0)=x(0){\big ]},\quad \forall t,h>0,$

và ngược lại gọi là không đồng nhất (thời gian).

Các quá trình Markov đồng nhất, thường đơn giản hơn các quá trình không đồng nhất, tạo thành lớp quan trọng nhất của các quá trình Markov.

Trong một số trường hợp, một cách rõ ràng các quá trình không phải Markovian có thể vẫn có các dạng biểu diễn Markov, được tạo thành bằng cách mở rộng khái niệm của trạng thái 'hiện tại' và 'tương lai'. Cho X là một quá trình không phải Markovian. Thì chúng ta định ra một quá trình Y, mà mỗi trạng thái của Y biểu diễn một khoảng thời gian của các trạng thái của X, ví dụ: về mặt toán

$Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.$

Nếu Y có thuộc tính Markov, thì nó là một biểu diễn Markovian của X. Trong trường hợp này, X còn được gọi là một quá trình Markov bậc 2. Các quá trình Markov bậc cao được định nghĩa một cách giống nhau.

Một ví dụ của một quá trình không phải Markovian với dạng biểu diễn Markov là moving average time series.

Các quá trình Markov nổi tiếng nhất là các xích Markov, nhưng có nhiều quá trình khác, bao gồm chuyển động Brown, là Markovian.

Xem thêm

• Ví dụ về xích Markov
• Không có trí nhớ (Memorylessness)
• Semi-Markov process
• Andrey Markov
• Quá trình Markov