Блог

Мне нужно объединить данные из 2 разных источников. Приведенные ниже таблицы иллюстрируют, что у меня есть :

И желаемый результат :

Идея заключается:

• Загляните в первую колонку. Таблицы 1 (пробно)

• Ищите это в первой колонке. Таблицы 2.

• Убедитесь, что значения во втором столбце. равны (на самом деле эти col. не будут расположены в одних и тех же местах в двух списках)

• Если проверка пройдена, добавьте значения, расположенные в колонках 3 и 4 (Cond1 и Cond2), к строке в Table2.

• Я не думаю, что сохраню заголовки в реальной структуре, поэтому это не должно представлять дополнительной проблемы, но предложения по работе с заголовками приветствуются (удалить ли их и сохранить где-нибудь в другом месте или обработать особым образом)

**

РЕДАКТИРОВАТЬ: Придание точности форме моих данных и моим целям

**

Я расскажу немного о том, как я получаю эти данные, чтобы прояснить их форму. Я уверен, что технически это можно было бы описать более точным способом. Пожалуйста, не стесняйтесь поправлять меня.

Я записываю движения глаз (саккады и фиксации) и ответы испытуемых на задание во время отображения стимулов на экране.

• Каждая пробная версия состоит из двух последовательных отображений по 3 секунды каждое. Это 2AFC (принудительный выбор с двумя альтернативами).
• Каждый дисплей состоит из представления рамки (размером примерно 1/4 экрана) с 8 фигурами в ней, отображаемыми в 1 из 4 квадрантов экрана.
• Существует 5 условий того, из чего состоит сам фрейм, и, таким образом, для каждого испытания возможны 10 условий (1 условие фрейма против другого без повторения).
• Существует 2 показателя: выбор объекта и движения глаз, записанные при просмотре стимулов.

Я получаю эти данные из 2 разных источников :

• Машина «отображения», которая обеспечивает

-Пробный номер / отображаемый номер

-Информация об экране

-Условия

-Ответ на тему

— Координаты X и Y, а также размер 11 объектов, составляющих отображаемые стимулы.

В этой матрице каждая строка является отображением, поэтому столбец DisplayNO будет иметь значение от 1 до 400 (1,2,3,4, …, 400), в то время как столбцы TrialNO фактически имеют значение от 1 до 200 (1,1,2,2,..,200,200) поскольку на пробную версию приходится 2 показа.

• Машина «отслеживания глаз», которая обеспечивает :

-Некоторая похожая информация (отображаемое число (от 1 до 400), которое будет использоваться для объединения 2, номер условия, который можно использовать для проверки ставки сопоставления. 2)

Затем огромное количество переменных, описывающих движения глаз :

-Длительность фиксаций и саккад, местоположения, синхронизация и т.д. (около 100 столбцов)

В этой матрице каждая строка является фиксацией.Затем характеристики саккады приводятся в столбцах (предыдущая и следующая саккады) И для каждого отображения может быть от 1 до 30-50 исправлений. В результате у меня могло бы быть 19 строк данных для первого отображения и 5 для второго.

• Первым шагом является объединение структуры данных 2 на 2 для получения большой структуры, каждая строка которой соответствует фиксации.

• Придется сделать это для каждого объекта, затем объединить данные объектов друг над другом.

Это мой план разобраться с этим монстром позже (и это объяснит мои потребности в других вопросах) :

• Извлеките заголовок и номера столбцов.

• Представьте их по группам в удобной табличной форме -Общая информация (идентификатор пробной версии, условие, идентификатор субъекта …), -Информация о отображении (координаты объектов на экране), -Информация об исправлениях и т.д…

• Для каждой из этих переменных имеется краткое описание типа данных (строка, число, текст), диапазона, количества различных значений, которые принимают столбцы, и некоторой базовой описательной статистики.

• Система для извлечения частей этого набора условно (например: извлечение номера условия, длительности фиксаций для выбранного отображения конкретным объектом) Таким образом, я извлекаю некоторую четко определенную таблицу, с которой затем выполняю свой анализ, не касаясь исходных данных.

Я полагаю, что если бы я использовал свою точную ситуацию для представления своей проблемы, это могло бы привести к хорошему эффективному и графически простому в использовании инструменту для работы с большим количеством наборов данных в целом.

Здесь есть возможность:

 MergeTables[data1_, data2_, samepos1_, samepos2_] :=
 Cases[data1, 
  x_ :> Block[{y = 
      Cases[data2, z_ /; z[[samepos2]] === x[[samepos1]]]},
    Apply[Sequence, Join[x, Delete[#, Thread[{samepos2}]]] amp; /@ y]]]
  

Использование:

 MergeTables[data2, data1, {1, 2}, {1, 2}]
  

Я жду более подробного описания ваших данных для лучшей оптимизации.

 checkMerge[src_, trg_, si_, ti_, sp_] :=
 Module[{rls, ext},
  rls = #[[si]] -> #[[sp]] amp; /@ src;
  AppendTo[rls, _ -> {,}];
  ext = Replace[trg[[All, ti]], Dispatch@rls, 1];
  ArrayFlatten[{{trg, ext}}]
 ]
  

Синтаксис такой:

• src = список «источников» (data1)
• trg = «целевой» список (data2)
• si = список индексов из источника для сравнения
• ti = список индексов из целевого объекта для сравнения
• sp = список индексов из источника для добавления к целевому

Для вашего примера это было бы:

 checkMerge[data1, data2, {1,2}, {1,2}, {3,4}]
  

Я должен был угадать уровень изменений, которые необходимо учесть из:

(на самом деле эти col. не будут расположены в одних и тех же местах в двух списках)

Следовательно, в этом может быть слишком много или слишком мало специфичности.

1. В настоящее время sp должен быть список из двух индексов (номеров столбцов) только потому, что это немного упростило задачу, и я не уверен, чего вы хотите. Вы хотите указать, какие элементы берутся из data1 и добавляются к data2 , или это должны быть все элементы после сравниваемых, или что-то еще?

2. Если для si , ti , sp имеются стандартные значения, можно добавить значения по умолчанию, чтобы вы могли их опустить, если только не требуются другие значения.

3. Я предположил, что можно расширить строки, которые не совпадают с Null , чтобы создать прямоугольный массив; впоследствии их можно удалить, чтобы получить неровный массив, если таково ваше желание.

Ответ Саши слишком классный, я даже пока не знаю, как это работает.

Вот моя попытка, и, будучи скорее структурным, чем функциональным программистом, я использовал для этого таблицу[] (БОЖЕ мой!). Ну, таблица [] все еще находится на грани функционального программирования 🙂

(Здесь A — data2, а B — data1)

 n=Length[A];  m=Length[B];

isMatch[a_,b_] := a[[1]]=== b[[1]]amp;amp;a[[2]]===b[[2]]

A[[1]] = A[[1]]~Join~B[[1,3;;-1]]; (*do the header on its own*)

Table[If[ isMatch[B[[i]],A[[j]]], 
          A[[j]] = Join[A[[j]],B[[i,3;;-1]]] 
     ],

     {i,2,m},{j,2,n}        
];

A//TableForm
  

—Nasser