Блог

Матрица перехода для цепи Маркова:

 0.5  0.3  0.0  0.0  0.2 
0.0  0.5  0.0  0.0  0.5
0.0  0.4  0.4  0.2  0.0 
0.3  0.0  0.2  0.0  0.5 
0.5  0.2  0.0  0.0  0.3 
  

Это матрица перехода с состояниями {1,2,3,4,5} . Состояния {1,2,5} являются повторяющимися, а состояния {3,4} переходными. Как я могу (без использования фундаментального матричного трюка):

• Вычислите ожидаемое количество шагов, необходимых для первого возврата в состояние 1, при условии запуска в состоянии 1
• Вычислите ожидаемое количество шагов, необходимых для первого достижения любого из состояний {1,2,5} , при условии запуска в состоянии 3.

Если вы не хотите использовать фундаментальную матрицу, вы можете сделать две вещи:

1. Создайте функцию, которая имитирует цепочку Маркова до тех пор, пока не будет выполнено условие остановки, и которая возвращает количество шагов. Возьмите среднее значение за большое количество запусков, чтобы получить ожидание.
2. Введите фиктивные поглощающие состояния в вашу матрицу перехода и повторно вычислите, p = Pp где p — вектор с 1 в индексе начального состояния и 0 в другом месте. С некоторым учетом вы можете получить ожидаемые значения, которые вы хотите.