강화 학습

마르코프 성질

metamong-data 2025. 2. 21. 16:43
728x90
반응형

마르코프 성질 (Markov Property)

1. 개요

마르코프 성질(Markov Property)이란, 확률 과정에서 현재 상태가 주어졌을 때 미래 상태가 과거 상태와 독립임을 의미한다. 즉, 미래의 상태는 현재 상태에만 의존하며 과거 상태에는 의존하지 않는다. 이 성질을 가지는 확률 과정을 마르코프 과정(Markov Process) 이라고 한다.

2. 기본 개념

2.1. 마르코프 성질의 정의

이산형 확률 과정 ${X_t}$가 마르코프 성질을 만족하려면, 모든 시간 $t$와 가능한 상태 $x_t$에 대해 다음이 성립해야 한다.

$$
P(X_{t+1} \mid X_t, X_{t-1}, ..., X_0) = P(X_{t+1} \mid X_t)
$$

즉, 이전 상태들이 주어졌을 때 미래 상태에 대한 조건부 확률은 현재 상태에만 의존한다.

2.2. 마르코프 체인 (Markov Chain)

특히 이산적인 상태 공간을 가지는 마르코프 과정을 마르코프 체인(Markov Chain) 이라고 한다.
마르코프 체인은 확률 전이 행렬(Transition Probability Matrix)로 상태 간 전이를 표현할 수 있다.

  • 상태 집합: $S = {s_1, s_2, ..., s_n}$
  • 전이 확률: $P_{ij} = P(X_{t+1} = s_j \mid X_t = s_i)$

확률 전이 행렬 $P$는 다음과 같이 나타낼 수 있다.

$$P =\begin{bmatrix}
P_{11} & P_{12} & \cdots & P_{1n} \\
P_{21} & P_{22} & \cdots & P_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
P_{n1} & P_{n2} & \cdots & P_{nn}
\end{bmatrix}$$

각 행의 합은 1이어야 한다. 즉,

$$
\sum_{j=1}^{n} P_{ij} = 1, \quad \forall i
$$

3. 마르코프 성질의 예제

3.1. 상태 전이 행렬 예제

다음과 같은 두 개의 상태를 가지는 간단한 마르코프 체인을 고려하자.

  • 상태: $S = {A, B}$
  • 전이 확률 행렬:

$$
P =
\begin{bmatrix}
0.7 & 0.3 \
0.4 & 0.6
\end{bmatrix}
$$

이는 다음을 의미한다.

  • 상태 $A$에서 다음 상태가 $A$일 확률은 0.7, $B$일 확률은 0.3
  • 상태 $B$에서 다음 상태가 $A$일 확률은 0.4, $B$일 확률은 0.6

3.2. 마르코프 체인 시뮬레이션 (Python)

아래는 마르코프 체인의 상태 변화를 시뮬레이션하는 Python 코드이다.

import numpy as np

# 상태 집합
states = ["A", "B"]

# 전이 확률 행렬
transition_matrix = np.array([[0.7, 0.3],
                              [0.4, 0.6]])

# 초기 상태
current_state = 0  # A 상태에서 시작

# 시뮬레이션 반복 횟수
num_steps = 10

# 마르코프 체인 실행
state_history = [states[current_state]]
for _ in range(num_steps):
    current_state = np.random.choice([0, 1], p=transition_matrix[current_state])
    state_history.append(states[current_state])

print("마르코프 체인 상태 변화:", state_history)

3.3. 실행 결과 예시

마르코프 체인 상태 변화: ['A', 'A', 'A', 'B', 'B', 'A', 'A', 'B', 'B', 'B', 'A']

결과는 실행할 때마다 다를 수 있지만, 주어진 확률에 따라 상태가 변화한다.

4. 고급 개념

4.1. 정적 분포 (Stationary Distribution)

마르코프 체인의 시간이 충분히 흐르면 일정한 확률 분포를 가질 수 있다. 이를 정적 분포(Stationary Distribution) 라고 하며, 확률 벡터 $\pi$는 다음을 만족한다.

$$
\pi P = \pi
$$

즉, $\pi$가 정적 분포라면 상태 확률 벡터는 변화하지 않는다.

4.2. 마르코프 성질을 만족하는 확률 과정

  • 마르코프 연쇄(Markov Chain): 이산 상태 공간에서 작동하는 마르코프 과정
  • 브라운 운동(Brownian Motion): 연속 상태 공간에서 작동하는 연속 마르코프 과정
  • 히든 마르코프 모델(Hidden Markov Model, HMM): 마르코프 체인이 관측되지 않고 숨겨져 있는 모델

5. 결론

  • 마르코프 성질이란 현재 상태만이 미래 상태를 결정하는 특성을 의미한다.
  • 이를 만족하는 확률 과정은 마르코프 과정이라 하며, 상태가 이산적이면 마르코프 체인이다.
  • 마르코프 체인은 확률 전이 행렬로 표현되며, 정적 분포 개념을 이용해 장기적인 상태 분포를 분석할 수 있다.

📌 요약

  1. 마르코프 성질: 현재 상태가 미래 상태를 결정하며, 과거 상태는 영향을 주지 않음
  2. 마르코프 체인: 이산 상태 공간을 가지는 마르코프 과정으로 확률 전이 행렬로 표현됨
  3. 정적 분포: 일정 시간이 흐르면 상태 확률이 수렴하는 확률 분포

마르코프 성질을 활용하면 다양한 확률 과정 및 머신러닝 모델(HMM 등)에서 응용할 수 있다.

728x90

'강화 학습'의 다른글

  • 현재글마르코프 성질

티스토리툴바