Блог

Как я могу вычислить гетероскедастическую согласованную ковариационную матрицу (HCCM) для одномерной регрессии (т. Е. регрессии OLS с одним регрессором и без перехвата)?

Предыстория: У меня есть регрессия панели с фиксированным эффектом, но только с одним регрессором. Итак, я могу сделать это либо с помощью метода фиктивной переменной наименьших квадратов (LSDV)

 lm.ser.yr <- lm(realwage ~ placebo.ser   factor(incyear)   0, data = cps)
  

или я могу понизить LHS на уровне года и регрессировать

 cps <- ddply(cps, .(incyear), transform, realwage.dm.yr = realwage - mean(realwage))
lm.ser.yr <- lm(realwage.dm.yr ~ placebo.ser   0, data = cps)
  

Но есть проблемы с обоими.

• При использовании подхода LSDV и достаточного количества макетов lm объект становится огромным (по 1 ГБ каждый). В основном это из-за большой qr матрицы, которую я должен сохранить, чтобы передать ее vcovHC() для вычисления HCCM, которая часто останавливается при ошибках «не удается выделить вектор размера» (или выполняет много подкачки).

• С оценщиком demeaned within все работает отлично, но я не могу вычислить HCCM, потому что ни vcovHC() , ни hccm() не обрабатывают одномерный lm объект без перехвата (т. Е. он выдает ответ NA , что, насколько я могу судить, связано с тем, что без переменных intercept и dummy мои остатки намного дальше от нулевого среднего).

Есть ли решение этой проблемы за исключением очень агрессивного управления памятью и / или перехода в облако?

vcovHC() из plm пакета, похоже, отлично обрабатываются lm() модели без перехватов:

 library(plm)
df <- data.frame('a'=rnorm(1000), 'b'=rnorm(1000))
mod <- lm(a ~ b -1, df)
vcovHC(mod)
  

Редактировать: вот некоторый код для их вычисления вручную.

 library(Matrix)
e2 = mod$residuals ^ 2
X = model.matrix(mod)
N = nrow(X)
bread = solve(crossprod(X))
I <- Matrix(data=0, ncol=N, nrow=N, sparse=TRUE)
diag(I) <- e2
salami <- t(X) %*% I %*% X 
V = bread %*% salami %*% bread