#r #dataframe #dplyr #time-series #aggregate
#r #dataframe #dplyr #временные ряды #агрегировать
Вопрос:
Я пытаюсь агрегировать свои данные временных рядов и хочу получить среднее значение агрегированного значения без учета NAs или 0.
Вот как выглядят мои данные.
V1 423 470 473 626
1: 2018-01-01 00:00:00 0.00000 0 0.0 0
2: 2018-01-01 00:01:00 8.00000 0 95.0 0
3: 2018-01-01 00:02:00 0.00000 0 0.0 0
4: 2018-01-01 00:03:00 31.00000 0 24.5 0
5: 2018-01-01 00:04:00 37.00000 28 33.0 31
Я пытаюсь агрегировать с интервалом в 5 минут,
и мой ожидаемый результат
V1 423 470 473 626
2018-01-01 00:05:00 34.00000 28 50.8 31
~
: 2018-01-01 00:10:00 A B C D
Как мне агрегировать их с интервалом в 5 минут, получая среднее значение без учета 0 с или NA с?
Редактировать
structure(list(V1 = c("2018-01-01 00:00:00", "2018-01-01 00:01:00",
"2018-01-01 00:02:00", "2018-01-01 00:03:00", "2018-01-01 00:04:00",
"2018-01-01 00:05:00", "2018-01-01 00:06:00", "2018-01-01 00:07:00",
"2018-01-01 00:08:00", "2018-01-01 00:09:00", "2018-01-01 00:10:00",
"2018-01-01 00:11:00", "2018-01-01 00:12:00", "2018-01-01 00:13:00",
"2018-01-01 00:14:00", "2018-01-01 00:15:00", "2018-01-01 00:16:00",
"2018-01-01 00:17:00", "2018-01-01 00:18:00", "2018-01-01 00:19:00"
), `423` = c(0, 8, 0, 31, 37, 31, 26.1111111111111, 39.375, 35.5,
19.3, 21.5454545454545, 41.2, 31, 27.375, 31, 24.3076923076923,
26.1666666666667, 24, 26.8, 30.8181818181818), `470` = c(0, 0,
0, 0, 28, 0, 0, 0, 27, 21, 0, 21.5, 0, 0, 0, 0, 10, 46, 19.5,
0), `473` = c(0, 95, 0, 24.5, 33, 55, 50, 0, 47, 45, 0, 0, 35.4,
0, 0, 23, 32.5, 0, 0, 55), `626` = c(0, 0, 0, 0, 31, 26, 0, 0,
0, 16, 0, 0, 0, 0, 75, 0, 0, 48, 0, 0)), row.names = c(NA, -20L
), .internal.selfref = <pointer: 0x0000029131ff1ef0>, class = c("data.table",
"data.frame"))
Комментарии:
1. Можете ли вы опубликовать образцы данных? Пожалуйста, отредактируйте вопрос с выводом
dput(df)
. Или, если оно слишком велико с выводомdput(head(df, 20))
.
Ответ №1:
Следующее используется cut
для создания из столбца V1
переменной группировки с интервалом в 5 минут, а затем суммируется с использованием пользовательской функции для вычисления средних значений без NA
‘s или нулевых значений. Я оставил эту функцию в двух строках кода, чтобы сделать ее более читаемой, но это может быть просто
f <- function(x) mean(x[x != 0], na.rm = TRUE)
Столбец даты и времени V1
сначала принудительно преобразуется в класс "POSIXct"
.
library(data.table)
f <- function(x){
y <- x[x != 0]
mean(y, na.rm = TRUE)
}
df[, V1 := as.POSIXct(V1)]
df[, V1 := cut(V1, "5 mins")]
df[, lapply(.SD, f), by = V1]
# V1 423 470 473 626
#1: 2018-01-01 00:00:00 25.33333 28.00000 50.83333 31
#2: 2018-01-01 00:05:00 30.25722 24.00000 49.25000 21
#3: 2018-01-01 00:10:00 30.42409 21.50000 35.40000 75
#4: 2018-01-01 00:15:00 26.41851 25.16667 36.83333 48
Однострочный может быть
df[, lapply(.SD, f), by = cut(as.POSIXct(V1), "5 mins")]
Комментарии:
1. Я продолжаю получать следующую ошибку: : символьная строка не находится в стандартном однозначном формате ошибка при выборе метода в функции ‘cut’? какой формат должен быть V1?
2. Классы ‘data.table’ и ‘data.frame’: 44040 об. из 5 переменных: $ V1 : chr «2018-01-01 00:00:00» «2018-01-01 00:01:00» «2018-01-01 00:02:00» «2018-01-01 00:03:00» … $ 423:число 0 8 0 31 37 … $ 470: число 0 0 0 0 28 0 0 0 27 21 … $ 473: число 0 95 0 24.5 33 55 50 0 47 45 … $ 626: число 0 0 0 0 31 26 0 0 0 16 … — attr(*, «.внутренний.selfref»)=<externalptr>
3. @YunHyunsoo
V1
должен быть классным"POSIXct"
. В комментарии, где вы публикуете выводstr
, это achr
. Вот почему я сначала принудительно использую datetimeas.POSIXct
.4. @YunHyunsoo Попробуйте запустить
df[, V1 := as.POSIXct(V1)]
илиdf$V1 <- as.POSIXct(df$V1)
и посмотрите, чтоstr(df)
дает. Если теперь это столбец POSXct, остальные должны работать так, как ожидалось.5. Я успешно изменил класс V1 на формат «POSIXct». но я продолжаю получать следующую ошибку Ошибка в
[.data.frame
(BB, , lapply(.SD, f), by = cut(as.POSIXct(V1), : неиспользуемый аргумент (by = cut(as.POSIXct(V1), «5 минут»)) Однако я не могу понять свой код ошибки..
Ответ №2:
Работает ли это:
> df %>% mutate(ID = rep(letters[1:ceiling(nrow(df)/5)], each = 5)) %>%
group_by(as.numeric(as.factor(ID))) %>%
select(-c(v1,ID)) %>% summarise(across(`423`:`625`,~ mean(.x[which(.x>0)]))) %>%
select(-1) %>% mutate(v1 = seq.POSIXt(ymd_hms('2018-01-01 00:05:00'), by = '5 mins', length.out = n()))
`summarise()` ungrouping output (override with `.groups` argument)
# A tibble: 2 x 5
`423` `470` `473` `625` v1
<dbl> <dbl> <dbl> <dbl> <dttm>
1 25.3 28 50.8 31 2018-01-01 00:05:00
2 20.7 26 49.7 32 2018-01-01 00:10:00
>
Используемые данные:
> df
# A tibble: 10 x 5
v1 `423` `470` `473` `625`
<dttm> <dbl> <dbl> <dbl> <dbl>
1 2018-01-01 00:00:00 0 0 0 0
2 2018-01-01 00:01:00 8 0 95 0
3 2018-01-01 00:02:00 0 0 0 0
4 2018-01-01 00:03:00 31 0 24.5 0
5 2018-01-01 00:04:00 37 28 33 31
6 2018-01-01 00:05:00 0 0 0 0
7 2018-01-01 00:06:00 8 0 95 0
8 2018-01-01 00:07:00 0 0 0 0
9 2018-01-01 00:08:00 30 0 20 0
10 2018-01-01 00:09:00 24 26 34 32
>
Работа с новыми данными:
> dput(BB)
structure(list(V1 = structure(c(1514764800, 1514764860, 1514764920,
1514764980, 1514765040, 1514765100, 1514765160, 1514765220, 1514765280,
1514765340, 1514764800, 1514764860, 1514764920, 1514764980, 1514765040,
1514765100, 1514765160, 1514765220, 1514765280, 1514765340), class = c("POSIXct",
"POSIXt"), tzone = "UTC"), `423` = c(0, 8, 0, 31, 37, 31, 26.1111111111111,
39.375, 35.5, 19.3, 21.5454545454545, 41.2, 31, 27.375, 31, 24.3076923076923,
26.1666666666667, 24, 26.8, 30.8181818181818), `470` = c(0, 0,
0, 0, 28, 0, 0, 0, 27, 21, 0, 21.5, 0, 0, 0, 0, 10, 46, 19.5,
0), `473` = c(0, 95, 0, 24.5, 33, 55, 50, 0, 47, 45, 0, 0, 35.4,
0, 0, 23, 32.5, 0, 0, 55), `626` = c(0, 0, 0, 0, 31, 26, 0, 0,
0, 16, 0, 0, 0, 0, 75, 0, 0, 48, 0, 0)), row.names = c(NA, -20L
), class = c("data.table", "data.frame"))
> BB$V1 <- ymd_hms(BB$V1)
> BB %>% mutate(ID = rep(letters[1:ceiling(nrow(BB)/5)], each = 5)) %>%
group_by(as.numeric(as.factor(ID))) %>%
select(-c(V1,ID)) %>% summarise(across(`423`:`626`,~ mean(.x[which(.x>0)]))) %>%
select(-1) %>% mutate(V1 = seq.POSIXt(ymd_hms('2018-01-01 00:05:00'), by = '5 mins', length.out = n()))
`summarise()` ungrouping output (override with `.groups` argument)
# A tibble: 4 x 5
`423` `470` `473` `626` V1
<dbl> <dbl> <dbl> <dbl> <dttm>
1 25.3 28 50.8 31 2018-01-01 00:05:00
2 30.3 24 49.2 21 2018-01-01 00:10:00
3 30.4 21.5 35.4 75 2018-01-01 00:15:00
4 26.4 25.2 36.8 48 2018-01-01 00:20:00
>
Комментарии:
1. Извините, Картик, в ошибке указано, что «ID» не идентифицирован. не могли бы вы объяснить, что указывает идентификатор? Спасибо за усилия
2. Итак, я добавляю столбец ID, одно значение ID для 5 строк, т. Е. Для каждого 5-минутного интервала, чтобы я мог группировать значения на основе ID и выполнять агрегацию. Кстати, он запустился для меня и выдал результат, как показано выше. На каком шаге вы получаете эту ошибку?
3. Я не уверен.. Я использовал BB вместо df, который является именем моего фрейма данных, и использовал этот код BB %>% mutate(ID = rep(буквы [1: ceiling(nrow(BB) / 5)], каждый = 5)) %>% group_by(как.числовой(как.factor(ID))) %>% select(-c(v1,ID)) %>% суммировать(по(
423
:625
, ~ среднее(.x[которое(.x>0)]))) %>% выбрать(-1) %>% мутировать(v1 = seq.POSIXt(ymd_hms(‘2018-01-01 00:05:00’), by = ‘5 минут’, длина.out = n()))4. Не могли бы вы протестировать его на отредактированном вопросе. Я использовал dput для добавления своих данных. может быть, столбец V1 должен быть числовым?
5. Можете ли вы, пожалуйста, проверить сейчас, я думаю, что я пропустил упоминание шага BB $ V1 <- ymd_hms (df $ v1) в моем первом коде.