Блог

Я пытаюсь удалить слова из поля в SAS, используя таблицу слов.

Я смог выделить каждое слово, используя некоторый код, который я нашел в Интернете, но я не могу удалить слово из поля.

Например, если поле:

«Лиса прыгнула выше луны»

если слово «jumped» находится в списке слов, то результат должен выглядеть следующим образом:

«Лиса на седьмом небе от счастья»

Вот таблица стоп-слов для удаления:

 PROC SQL;
   CREATE TABLE BOW.QUERY_FOR_STOPWORDS AS 
   SELECT t1.StopWords
      FROM BOW.STOPWORDS t1;
QUIT;
  

Вот таблица с полем, которое необходимо удалить:

 PROC SQL;
   CREATE TABLE WORK.QUERY_FOR_ANNU_COMMENTS AS 
   SELECT t1.Comment
      FROM BOW.ANNU_COMMENTS t1;
QUIT;
  

В зависимости от того, сколько слов у вас есть другие решения.

 data _NULL_;
    set STOPWORDS end=e;
    if _N_=1 then call execute('data resu<set ANNU_COMMENTS;newComment=Comment;');
    call execute('if _N_=1 then __'||put(_N_,z30.)||' prxparse("s/'||trimn(StopWords)||'//");');
    call execute('call prxchange(__'||put(_N_,z30.)||',-1,newComment);');   
    if e then call execute('drop __:;run;');
run;
  

Для этого потребуются стоп-слова, из которых будет генерироваться datastep, а не комментарии к этому процессу обработки данных.

РЕДАКТИРОВАТЬ: чтобы удалить только слова по границе слова, вы должны использовать b в регулярном выражении.

 data _NULL_;
    set STOPWORDS end=e;
    if _N_=1 then call execute('data resu<set ANNU_COMMENTS;newComment=Comment;');
    call execute('if _N_=1 then __'||put(_N_,z30.)||' prxparse("s/b'||trimn(StopWords)||'b//");');
    call execute('call prxchange(__'||put(_N_,z30.)||',-1,newComment);');   
    if e then call execute('drop __:;run;');
run;
  

Основная идея заключается в replace() :

 SELECT REPLACE(t1.Comment, 'jumped', '')
FROM BOW.ANNU_COMMENTS t1;
  

Однако у вас проблема с пробелами. Если это проблема и вам нужны полные слова, то это может сработать:

 SELECT TRIM(BOTH ' ' FROM REPLACE(' ' || t1.Comment || ' ', ' jumped ', ''))
FROM BOW.ANNU_COMMENTS t1;
  

Вы можете попробовать использовать итератор хэша, например:

 data want;
   if 0 then set STOPWORDS;
   if _n_=1 then do;
      declare hash h(dataset:'STOPWORDS');
      declare hiter iter('h');
      h.definekey('StopWords');
      h.definedata('StopWords');
      h.definedone();
   end;
   set ANNU_COMMENTS;
      rc=iter.first();
      do while(rc=0);
          newComment=ifc(findw(newComment,strip(StopWords))>0,tranwrd(newComment,strip(StopWords),''),newComment);
          rc=iter.next();
      end;
    drop StopWords rc;
run;
  

Можно написать макрос, который генерирует этап очистки данных.

В этом примере использование tranwrd от Shenglin сочетается с codegen от Lee.

 %macro flense (
  data=Commments,
  var=Comment, 
  newvar=CommentFlensed, 
  censor=BOW.StopWordsList,
  term=StopWords
);

  proc sql noprint;
    select quote(trim(amp;term),"'") into :sq_word1-;  * single quote the words to prevent possible macro evaluation later;
    from amp;censorData;

  data amp;out;
    set amp;data;
    amp;newvar = amp;var;

    %* for each censored word, generate an if statement
     * that checks if the word (or term) is present, and if so
     * removes the word from the new variable;

    %local i quoted_word;
    %do i = 1 %to amp;SQLOBS;

      %let quoted_word = amp;amp;amp;sq_wordamp;i;

      if (indexw(amp;newvar.,amp;quoted_word)) then 
        amp;newvar = tranwrd(amp;newvar,amp;quoted_word,'');

    %end;
  run;

%mend;

%flense();