Блог

Я пытаюсь объединить два набора данных на основе переменных office_id и office_id_flag, каждый из которых содержит 50 000 наблюдений.

переменные data1

1. врп
2. возраст
3. латиноамериканец
4. ID
5. гонка
6. Секс
7. mental_ill
8. mental_ill_dx
9. идентификатор офиса
10. office_id_flag

переменные data2

1. er_vis
2. adm_hr
3. psych_hosp
4. psych_vis
5. регион
6. region_rpc
7. расходы
8. идентификатор офиса
9. office_id_flag

Я впервые попробовал это в процедуре слияния шагов с данными, потому что я знаю, как это работает, и в результате набор данных содержал 50 000 наблюдений и 17 переменных, что для меня имеет смысл. Код слияния:

 proc sort data=data1; by office_id; run;
proc sort data=data2; by office_id; run;

data work.merge_datastep;
    merge data1 (in=dem) data2 (in=hosp);
    by office_id;
    if dem and hosp;
run;
*53000 observations and 17 variables;
 

Я перепробовал так много типов слияния SQL, и каждый из них создает набор данных с 56000 наблюдениями и 17 переменными, что не имеет смысла.

Вот что я попробовал в SQL:

 proc sql;
create table sql_outerjoin as 
 select * 
 from data1 full outer join data2 on data1.office_id=data2.office_id;
quit;


proc sql;
create table sql_leftjoin as 
 select * from data1 left outer join data2 on data1.office_id=data2.office_id;
quit;

proc sql;
create table work.sql_innerjoin as
select data1.*, data2.*
from work.data1, work.data2
where data1.office_id=data2.office_id;
quit; 

proc sql ;
create table sql_try1 as 
select one.*, two.*
from data1 as one
left join data2 as two
on (one.office_id = two.office_id and one.office_id_flag= two.office_id_flag);
quit;


proc sql;
create table sql_try3 as
select coalesce(a.office_id, b.office_id) as ID
from data1 a
full join data2 b
on a.ID = b.ID;
quit;

proc sql;
  create table sparcs_1 as
  select * 
  from data1, data2
  where data1.office_id=data2.office_id;
quit;


proc sql;
create table work.sql_leftjoin2 as
select s.*, d.*
from work.data1 as s left join work.data2 as d
on s.office_id=d.office_id;
quit; 
 

Кроме того, каждая из этих попыток proc sql приводила к этим ошибкам:

1. ПРЕДУПРЕЖДЕНИЕ: Переменная office_id уже существует в РАБОТЕ с файлами.как бы то ни было, имя_таблицы.
2. ПРЕДУПРЕЖДЕНИЕ: Переменная office_id_flag уже существует в РАБОТЕ с файлами.как бы то ни было, имя_таблицы.

Я бы хотел, чтобы конечный результат был идентичен процедуре слияния datastep и чтобы все переменные и 50 000 наблюдений совпадали по office_id и office_id_flag.

Я не в своей тарелке и, очевидно, стреляю в темноте с этим. У кого-нибудь есть какие-нибудь предложения?

Если количество наблюдений не увеличивается на этапе слияния данных, но увеличивается в соединениях SQL, то у вас есть данные, которые не являются уникальными для ключа слияния/объединения. SAS не увеличит количество строк в слиянии при наличии повторяющихся строк — это также, вероятно, не будет делать то, что вы хотите, но может сделать что-то приемлемое. SQL, однако, создаст (в зависимости от того, как вы это сделаете) дополнительные строки для каждой комбинации.

Как это решить? Убедитесь, что у вас есть уникальный ключ соединения, при котором ни одна пара (или более) строк не имеет одного и того же значения в обоих наборах данных. Или подумайте о правильном типе соединения для имеющихся у вас данных — это может потребовать обобщения данных.

Если данные действительно уникальны, возможно, вы просто не включили точную комбинацию, которую хотели.

 proc sql;
  create table sparcs_1 as
  select * 
  from data1, data2
  where data1.office_id=data2.office_id
    and data1.office_id_flag=data2.office_id_flag
  ;
quit;
 

 proc sql;
  create table sparcs_1 as
  select * 
  from data1 inner join data2
  on data1.office_id=data2.office_id
    and data1.office_id_flag=data2.office_id_flag
  ;
quit;
 

 select a.*, b.*