Блог

Я пытаюсь собрать даты из набора данных, используя first.variable и last.variable из SAS. Вот код для создания воспроизводимого примера:

 data example;
infile datalines delimiter = ",";
input id $ code $ valid_from valid_to;
format valid_from IS8601DA10. valid_to IS8601DA10.;
datalines;
1A,ABC,20058,20177
1A,DEF,20178,20481
1A,DEF,20482,20605
1A,DEF,20606,21548
1A,DEF,21549,21638
1A,DEF,21639,21729
1A,ABC,21730,21733
1A,ABC,21734,21808
1B,MNO,20200,20259
1B,PQR,20260,20269
1B,STU,20270,20331
1B,VWX,20332,20361
1B,VWX,20362,22108
1B,VWX,22109,22164
1B,VWX,22165,22165
1B,VWX,22166,2936547
;
run;
 

Идея состоит в том, чтобы получить для каждого id только одно наблюдение за code с соответствующим диапазоном дат, которые оно охватывает.

Вот мой код:

 proc sort data=example out=example_sorted; by code valid_from; run;

data collapse_val_dates; 
set example_sorted;
by code valid_from;

if first.code = 1 and last.code = 1 then do;
    output;
end;
if first.code = 1 and last.code = 0 then do;
    hold = valid_from;
    retain hold;
    end;
if first.code = 0 and last.code = 1 then do;
        valid_from = hold;
        output;
    end;

drop hold;
run;
 

Вот результат (таблица collapse_val_dates):

  ---- ------ ------------ ------------ 
| id | code | valid_from |  valid_to  |
 ---- ------ ------------ ------------ 
| 1A | ABC  | 2014-12-01 | 2019-09-16 |
| 1A | DEF  | 2015-03-31 | 2019-06-29 |
| 1B | MNO  | 2015-04-22 | 2015-06-20 |
| 1B | PQR  | 2015-06-21 | 2015-06-30 |
| 1B | STU  | 2015-07-01 | 2015-08-31 |
| 1B | VWX  | 2015-09-01 | 9999-12-31 |
 ---- ------ ------------ ------------ 
 

Это дает то, что я ожидаю id=1B , но не для id=1A . Действительно, поскольку code=ABC появляется один раз в начале и дважды в конце, таблица результатов помещается valid_from=2014-12-01 .

Я бы хотел valid_from code=ABC , чтобы это было 2019-06-30 . Другими словами, я хотел бы, чтобы SAS «забыл» первое вхождение кода, если между ними есть (или несколько) другой код. Итоговая таблица будет выглядеть следующим образом:

  ---- ------ ------------ ------------ 
| id | code | valid_from |  valid_to  |
 ---- ------ ------------ ------------ 
| 1A | DEF  | 2015-03-31 | 2019-06-29 |
| 1A | ABC  | 2019-06-30 | 2019-09-16 |
| 1B | MNO  | 2015-04-22 | 2015-06-20 |
| 1B | PQR  | 2015-06-21 | 2015-06-30 |
| 1B | STU  | 2015-07-01 | 2015-08-31 |
| 1B | VWX  | 2015-09-01 | 9999-12-31 |
 ---- ------ ------------ ------------ 
 

Для одного прохода по данным вы не можете некоторое время выводить диапазон дат code , последовательно обрабатывая группу, потому что более поздние строки в группе могут перезаписать требуемый диапазон дат.

Вам нужно будет либо

• кодируйте несколько шагов или
• выполните один проход и используйте временное хранилище

Предположение have сортируется id valid_from и valid_to никогда не перекрывает последующее valid_from в id группе.

Несколько шагов

Вычислите a group number для строк, сгруппированных по смежности code , для использования в окончательном порядке.

 * multi step way;

data stage1;
  set have;
  by id code notsorted;
  if first.code then group_number 1;
run;

proc sort data=stage1 out=stage2;
  by id code group_number valid_from;
run;

* remember there can be multiple contiguous code groups within id amp; group;

data stage3;
  do until (last.code);
    set stage2;
    by id code group_number;
    if first.group_number then _start = valid_from;
    if last.code then do;
      valid_from = _start;
      OUTPUT;                /* date range for contiguous code group */
    end;
  end;
  drop _start;
run;

proc sort data=stage3 out=want(drop=group_number);
  by id valid_from;
run;
 

Один проход

Цикл DOW (цикл, в котором есть SET оператор внутри него) может вычислять результат по группе и подгруппе и выводить одну строку для каждой комбинации. Временным хранилищем может быть хэш (для произвольного числа подгрупп) или массив для предполагаемого максимального числа подгрупп.

Пример:

Временный массив фиксированного размера 1,000 используется для хранения временных данных, которые должны быть изменены при проверке группы.

 * find the range of the dates from the last set of contiguous rows of a code within id;

data want(keep=id code valid_:);
  array dates (1000,2)   8 _temporary_; /* ,1 for _from and ,2 for _to */
  array codes (1000)   $50 _temporary_;
  array seq   (1000)     8 _temporary_; /* sequence for output order */

  * process the id group;
  do _n_ = 1 by 1 until (last.id);
    set have;
    by id code notsorted;

    * save start of date range in temporay storage;
    if first.code then do;

      * linear search for slot to use for subgroup code;
      do _index = 1 by 1 
        until (missing(codes(_index)) or codes(_index)=code);
      end;

      codes(_index) = code;
      dates(_index,1) = valid_from;
      seq  (_index) = _n_   _index / 1000; * encode order value with lookup index;
    end;

    * save end of date range;
    if last.code then 
      dates(_index,2) = valid_to;
  end;

  *---;

  * process each code within id;

  call sort (of seq(*)); * order of first date for last code subgroup;

  do _index = 1 to dim(seq);
    if missing(seq(_index)) then continue;

    * extract encoded information;
    _ix = round((seq(_index) - int(seq(_index))) * 1000);

    code = codes(_ix);
    valid_from = dates(_ix,1);
    valid_to   = dates(_ix,2);

    OUTPUT;
  end;

  * clear out temporary arrays for next group processing;
  call missing (of dates(*), of codes(*), of seq(*));
run;