Ibex/JavaScript — Участникам показаны не все тестовые задания

#javascript

Вопрос:

В настоящее время я пытаюсь провести эксперимент с использованием платформы IbexFarm, которая использует вариант JavaScript. Эксперимент состоит из двух частей (различные виды испытаний), каждая из которых состоит из нескольких тестовых предложений с распределенными между ними предложениями-наполнителями.

Однако в обеих половинах испытания участникам показывают слишком мало тестовых предложений. Первая половина должна включать 14 тестовых предложений (каждое выбрано псевдослучайно из одного из 4 лексических условий), в то время как вторая половина должна включать 8 тестовых предложений (выбранных из 4 лексических условий). Однако, когда я провожу эксперимент, каждому участнику дается только 10 тестовых предложений в первой половине и только 4 во второй, т. Е. Каждому участнику показывается 4 слишком мало пунктов в каждом тесте.

Последовательность перемешивания определяется следующим образом:

 var shuffleSequence = seq("setcounter", 
            "intro", 
            "instructions", 
            "demographics", 
            "scale", 
            sepWith("sep", seq("practice", rshuffle(startsWith("test."), startsWith("F-")))),
            "instructions2",
            sepWith("sep", seq("xprac", rshuffle(startsWith("fc."), startsWith("X-"))))); 

где «тест.» — это тестовые элементы в первой половине, «F -» — заполнители для первой половины, «fc.» — тест для второй половины, а «X -» — заполнители для второй половины. («практика» и «xprac» — это предметы практики.)

Тестовые задания разделены на группы для стандартного процесса латинского квадрата Козерога. Тестовые задания в первой половине разбиты на 14 групп условий, например,

     [["test.eng.eng.eng.ov",1], "AcceptabilityJudgment", {s: "He thinks that the father the son meets"}],
    [["test.eng.eng.ger.vo",2], "AcceptabilityJudgment", {s: "He thinks that der Vater meets den Sohn"}],
    [["test.eng.eng.ger.ov",3], "AcceptabilityJudgment", {s: "He thinks that der Vater den Sohn meets"}],
    [["test.eng.ger.eng.vo",4], "AcceptabilityJudgment", {s: "He thinks that the father trifft the son"}],
    [["test.eng.ger.eng.ov",5], "AcceptabilityJudgment", {s: "He thinks that the father the son trifft"}],
    [["test.eng.ger.ger.vo",6], "AcceptabilityJudgment", {s: "He thinks that der Vater trifft den Sohn"}],
    [["test.eng.ger.ger.ov",7], "AcceptabilityJudgment", {s: "He thinks that der Vater den Sohn trifft"}],
    [["test.ger.ger.ger.vo",8], "AcceptabilityJudgment", {s: "Er denkt dass der Vater trifft den Sohn"}],
    [["test.ger.eng.ger.vo",9], "AcceptabilityJudgment", {s: "Er denkt dass der Vater meets den Sohn"}],
    [["test.ger.eng.ger.ov",10], "AcceptabilityJudgment", {s: "Er denkt dass der Vater den Sohn meets"}],
    [["test.ger.ger.eng.vo",11], "AcceptabilityJudgment", {s: "Er denkt dass the father trifft the son"}],
    [["test.ger.ger.eng.ov",12], "AcceptabilityJudgment", {s: "Er denkt dass the father the son trifft"}],
    [["test.ger.eng.eng.vo",13], "AcceptabilityJudgment", {s: "Er denkt dass the father meets the son"}],
    [["test.ger.eng.eng.ov",14], "AcceptabilityJudgment", {s: "Er denkt dass the father the son meets"}], 

Аналогичным образом, тестовые задания для второй половины разбиты на 8 групп.

     [["fc.eng.eng.eng",1], "Question", {q: "He knows that the teacher…", as: ["helps the student.", "the student helps.", "Neither of the above."]}],
    [["fc.eng.eng.ger",2], "Question", {q: "He knows that der Lehrer…", as: ["dem Schüler helps.", "helps dem Schüler.", "Neither of the above."]}],
    [["fc.eng.ger.eng",3], "Question", {q: "He knows that the teacher…", as: ["hilft the student.", "the student hilft.", "Neither of the above."]}],
    [["fc.eng.ger.ger",4], "Question", {q: "He knows that der Lehrer…", as: ["dem Schüler hilft.", "hilft dem Schüler.", "Neither of the above."]}],
    [["fc.ger.ger.ger",5], "Question", {q: "Er weiß dass der Lehrer…", as: ["hilft dem Schüler.", "dem Schüler hilft.", "Neither of the above."]}],
    [["fc.ger.eng.ger",6], "Question", {q: "Er weiß dass der Lehrer…", as: ["dem Schüler helps.", "helps dem Schüler.", "Neither of the above."]}],
    [["fc.ger.ger.eng",7], "Question", {q: "Er weiß dass the teacher…", as: ["hilft the student.", "the student hilft.", "Neither of the above."]}],
    [["fc.ger.eng.eng",8], "Question", {q: "Er weiß dass the teacher…", as: ["the student helps.", "helps the student.", "Neither of the above."]}], 

Если это уместно, то для каждой детали существует 28 возможных наполнителей.

Насколько я могу судить, нет причин, по которым код должен выводить только 10 тестовых предложений (а не 1 из всех 14 групп), и почему он должен выводить только половину числа тестовых предложений (4 из 8) во второй половине.

Я проверил определения в последовательности перемешивания и обнаружил, что каждый лексический вариант показывает нужное количество категорий, и все это, похоже, работает нормально. Я, честно говоря, в недоумении относительно того, что может быть причиной этого.

Поскольку IbexFarm закрывается в конце месяца, мне действительно не помешало бы решение, чтобы я мог провести этот эксперимент без необходимости переносить все на новую платформу. Я пытался спросить в группе Google IbexExperiments, но пока не получил ответа.

Ответ №1:

Проблема решена!

Для тех, кто имеет аналогичные проблемы: проблема заключается в том, что Козероги программного обеспечения только оформляет один набор латинского квадрата условиях, так что наличие 1-8 в первой части (как части 1-14) и второй части (1-8), это было только рисовать один элемент из каждого 1-8 из обеих частей вместо того, чтобы рисовать по одному для каждой стороны.

Это было исправлено путем внесения элементов второй части в список условий 15-22 вместо 1-8.