Блог

Главная - Вопросы по программированию - Цепочка MCMC сходится, однако логарифмическая топология неверна для сходимости

Цепочка MCMC сходится, однако логарифмическая топология неверна для сходимости

#mcmc #stan

#mcmc #stan

Вопрос:

Я использовал байесовскую модель в STAN для оценки модели регрессии ошибок измерения. Диагностика показывает, что цепочка сошлась. Однако, когда я смотрю на параметр по сравнению с логарифмическими задними графиками. Я обнаружил, что цепочка не исследовала пространство, где логарифмическая последовательность максимальна. На рисунке показан график зависимости параметра от логарифмически-апостериорного графика. Мы видим, что логарифмическая последовательность все еще увеличивается вправо.
Imgur

Я пытаюсь понять, что могло вызвать такое поведение, поскольку цепочки сходятся к этой неожиданной точке, которая не является апостериорным режимом для этого предельного распределения. Почему HMC / NUTS не исследовали пространство справа, где логарифмическое значение для этого параметра выше?

Модель, которую я подбираю, является:

 data {
  int<lower=0> N;   // Sample size
  vector[N] X;      // Predictor
  vector[N] Y;      // Response
  real<lower=0> sigmax; // Measurement error in X
}
parameters {
  real beta0;       // intercept
  real beta1;       // X coefficient
  real<lower=0> sigma;  // error in Y
  vector[N] Xu;         // latent unmeasured X
}
model {
  X ~ normal(Xu,sigmax);
  Y ~ normal(beta0 beta1*Xu,sigma);  // likelihood
}

Комментарии:

1. Для такой модели, как эта, вполне возможно, что окрестности режима не имеют вероятности. Существует несколько объяснений этого явления концентрации меры в моделях Stan, таких как это тематическое исследование .

2. Большое вам спасибо за очень хорошее тематическое исследование. В нем говорится, что «Довольно неожиданный результат заключается в том, что для нормального распределения в больших размерах типичный набор не включает объем вокруг режима». Однако, если я правильно понимаю, HMC должен выполнять выборку с обеих сторон режима, что не похоже на то, что происходит в этом примере. ситуация. Как правило, даже если режим не имеет достаточной вероятности, он будет выполнять выборку вокруг режима, и оценки не будут смещены при получении среднего значения. Я действительно ценю любые мысли или советы, чтобы заставить HMC исследовать это пространство.

3. Это может происходить на обеих (всех) сторонах режима, если там есть как плотность, так и объем. Мы называем это пончиком. Но иногда режим находится на краю, и весь объем находится на одной стороне от него. Я не уверен, что это так в вашем примере, но это объяснение того, что вы видите на графике.