Блог

Может кто-нибудь, пожалуйста, помочь мне заполнить следующую функцию в R:

 #data is a single vector of decimal values
normally.distributed <- function(data) {
if(data is normal)
return(TRUE)
else
return(NO)
}
  

Тесты на нормальность не делают того, что большинство думает, что они делают. Тест Шапиро, Андерсона Дарлинга и других — это тесты нулевой гипотезы ПРОТИВ предположения о нормальности. Они не должны использоваться для определения того, следует ли использовать обычные статистические процедуры теории. На самом деле они практически не представляют ценности для аналитика данных. При каких условиях мы заинтересованы в отклонении нулевой гипотезы о том, что данные распределены нормально? Я никогда не сталкивался с ситуацией, когда обычный тест является правильным решением. При небольшом размере выборки не обнаруживаются даже большие отклонения от нормальности, а при большом размере выборки даже малейшее отклонение от нормальности приведет к отклоненному нулю.

Например:

 > set.seed(100)
> x <- rbinom(15,5,.6)
> shapiro.test(x)

    Shapiro-Wilk normality test

data:  x 
W = 0.8816, p-value = 0.0502

> x <- rlnorm(20,0,.4)
> shapiro.test(x)

    Shapiro-Wilk normality test

data:  x 
W = 0.9405, p-value = 0.2453
  

Итак, в обоих этих случаях (биномиальная и логарифмически нормальная вариации) значение p равно > 0,05, что приводит к невозможности отклонения значения null (что данные являются нормальными). Означает ли это, что мы должны заключить, что данные являются нормальными? (подсказка: ответ отрицательный). Отказ отклонить — это не то же самое, что принять. Это проверка гипотезы 101.

Но как насчет больших размеров выборки? Давайте рассмотрим случай, когда распределение очень близко к нормальному.

 > library(nortest)
> x <- rt(500000,200)
> ad.test(x)

    Anderson-Darling normality test

data:  x 
A = 1.1003, p-value = 0.006975

> qqnorm(x)
  

Здесь мы используем t-распределение с 200 степенями свободы. График qq показывает, что распределение ближе к нормальному, чем любое распределение, которое вы, вероятно, увидите в реальном мире, но тест отклоняет нормальность с очень высокой степенью уверенности.

Означает ли значительный тест на нормальность, что в этом случае мы не должны использовать статистику нормальной теории? (еще один намек: ответ отрицательный 🙂 )

Я бы также настоятельно рекомендовал SnowsPenultimateNormalityTest в TeachingDemos пакете. Однако документация функции гораздо полезнее для вас, чем сам тест. Внимательно прочитайте его перед использованием теста.

SnowsPenultimateNormalityTest конечно, есть свои достоинства, но вы также можете захотеть взглянуть на qqnorm .

 X <- rlnorm(100)
qqnorm(X)
qqnorm(rnorm(100))
  

Рассмотрите возможность использования функции shapiro.test , которая выполняет проверку Шапиро-Уилкса на нормальность. Я был доволен этим.

 library(DnE)
x<-rnorm(1000,0,1)
is.norm(x,10,0.05)
  

Тест Андерсона-Дарлинга также будет полезен.

 library(nortest)
ad.test(data)
  

В дополнение к qqplots и тесту Шапиро-Уилка могут быть полезны следующие методы.

Качественное:

• гистограмма по сравнению с нормальной
• cdf по сравнению с обычным
• график ggdensity
• ggqqplot

Количественное:

• nortest проверяет пакет на нормальность
• тесты на нормальность пакета normtest

Качественные методы могут быть созданы с использованием следующего в R:

 library("ggpubr")
library("car")

h <- hist(data, breaks = 10, density = 10, col = "darkgray") 
xfit <- seq(min(data), max(data), length = 40) 
yfit <- dnorm(xfit, mean = mean(data), sd = sd(data)) 
yfit <- yfit * diff(h$mids[1:2]) * length(data) 
lines(xfit, yfit, col = "black", lwd = 2)

plot(ecdf(data), main="CDF")
lines(ecdf(rnorm(10000)),col="red")

ggdensity(data)

ggqqplot(data)
  

Предостережение — не применяйте тесты вслепую. Глубокое понимание статистики поможет вам понять, когда использовать какие тесты и важность допущений при проверке гипотез.

когда вы выполняете тест, у вас всегда есть вероятность отклонить нулевую гипотезу, когда она верна.

Смотрите следующий код R:

 p=function(n){
  x=rnorm(n,0,1)
  s=shapiro.test(x)
  s$p.value
}

rep1=replicate(1000,p(5))
rep2=replicate(1000,p(100))
plot(density(rep1))
lines(density(rep2),col="blue")
abline(v=0.05,lty=3)
  

График показывает, что независимо от того, маленький у вас размер выборки или большой, в 5% случаев у вас есть шанс отклонить нулевую гипотезу, когда она верна (ошибка типа I).