Блог

Я новичок в R. Теперь у меня есть функция следующим образом:

 funItemAverRating = function()
{
    itemRatingNum = array(0, itemNum);
    print("begin");
    apply(input, 1, function(x)
        {
            itemId = x[2] 1;
            itemAverRating[itemId] <<- itemAverRating[itemId]   x[3];
            itemRatingNum[itemId] <<- itemRatingNum[itemId]   1;
        }
    );
}
  

В этой функции вводом является n*3 фрейм данных, n является ~6*(10e 7) , itemRatingNum является вектором размера ~3*(10e 5) .
Мой вопрос в том, почему apply функция работает так медленно (для завершения работы потребовался бы почти час)? Кроме того, по мере выполнения функции она использует все больше и больше памяти. Но, как вы можете видеть, все переменные определены вне apply функции. Кто-нибудь может мне помочь?

ченг

Это медленно, потому что вы вызываете высокоуровневые R-функции много раз.

Вы должны векторизовать свою функцию, что означает, что большинство операций (таких как <- или 1 ) должны вычисляться по всем векторам данных.

Например, мне кажется, что itemRatingNum содержит частоты input[[2]] (второй столбец input data.frame ), которые можно было бы заменить на:

 tb <- table(input[[2]] 1)
itemRatingNum[as.integer(names(tb))] <- tb
  

Не делайте этого. Вы следуете логике, которая совершенно не похожа на R. Если я правильно понимаю, вы хотите добавить к определенному itemAverRating вектору значение из третьего столбца в некотором входном фрейме данных.

То, что itemRatingNum делается, довольно неясно. Это не попадает в глобальную среду, а просто становится вектором, заполненным частотами в конце цикла. Поскольку вы определяете itemRatingNum внутри функции, <<- присваивание также назначит его в локальной среде функции, и оно будет уничтожено, когда функция завершится.

Далее вы должны ввести данные вашей функции и получить некоторый результат. Никогда не назначайте глобальную среду, если в этом нет необходимости. Ваша функция эквивалентна — скорее, намного быстрее — следующей функции, которая принимает входные данные и выдает выходные :

 funItemAverRating = function(x,input){
    sums <- rowsum(input[,3],input[,2])
    sumid <- as.numeric(rownames(sums)) 1
    x[sumid] c(sums)
}
  

ФУНКЦИЯ ОТРЕДАКТИРОВАНА СОГЛАСНО КОММЕНТАРИЮ МАРЕКСА

Который работает как :

 # make data
itemNum <- 10
set.seed(12)
input <- data.frame(
    a1 = rep(1:10,itemNum),
    a2 = sample(9:0,itemNum*10,TRUE),
    a3 = rep(10:1,itemNum)
)
itemAverRating <- array(0, itemNum)
itemAverRating <- funItemAverRating(itemAverRating,input)
itemAverRating
 0  1  2  3  4  5  6  7  8  9 
39 65 57 36 62 33 98 62 60 38 
  

Если я попробую ваш код, я получу :

 > funItemAverRating()
[1] "begin"
...
> itemAverRating
 [1] 39 65 57 36 62 33 98 62 60 38
  

Что является тем же самым. Если вам нужен itemRatingNum, то просто сделайте :

 > itemRatingNum <- table(input[,2])
 0  1  2  3  4  5  6  7  8  9 
 6 11 11  8 10  6 18  9 13  8