Блог

я использую qlikview уже несколько лет, и простая проблема, с которой я сталкиваюсь почти ежедневно, заключается в необходимости объединения таблиц с разными полями, когда мне нужны только некоторые из них.

Например, допустим, у меня есть следующие таблицы на отдельных QVDS

таблица1:

таблица2:

мне нужно создать итоговую таблицу ТОЛЬКО с field_1, field_2 и field_3, но если я сделаю

я получаю сообщение об ошибке, что field_2 не существует в table2. я могу указать null() как field_2, когда я имею дело с небольшим количеством таблиц, где я знаю, что поле не существует, но когда я перебираю более 500 QVDS, где у некоторых есть поле, а у некоторых нет, мне нужен способ определить это.

прямо сейчас у меня есть два способа решения этой проблемы:

1. сначала я загружаю qvd с помощью * и использую FIELDNUMBER, чтобы проверить, существует ли поле, и помещаю поле в переменную для использования во время загрузки.

пример:

2. я создаю пустую стартовую таблицу с полями, для которых установлено значение null, и объединяю ее с помощью load *, чтобы сгенерировать отсутствующие поля (используя преимущество «генерировать отсутствующие поля с null»)

пример:

это довольно плохо с точки зрения производительности, поскольку я загружаю весь файл в память, когда меня интересуют только несколько столбцов, а затем их нужно удалить позже.

есть ли способ выполнить объединение, которое принимает только столбцы, уже присутствующие в первой таблице, завершает отсутствующие столбцы нулем, но автоматически исключает все остальные необязательные поля?

я пытался использовать предыдущую загрузку перед загрузкой с помощью *, но это не удается, когда одного из полей нет в qvd. есть идеи?

PS: я знаю, что описанные мной способы решают проблему, но я ищу лучшее решение с точки зрения производительности и скорости.

При объединении двух таблиц в Qlik нет необходимости в совпадении полей. Вы даже можете объединить две таблицы с совершенно разными полями, и Qlik не будет жаловаться. Qlik просто добавит null для полей, которые отсутствуют.

Смотрим на приведенный ниже скрипт — у нас есть две таблицы Table1 и Table2 .

• Table1 поля: field1 , field2 , field3
• Table2 поля: field3 , field4 , field5

При загрузке всех полей из Table1 и объединении только field3 из Table2 результат будет:

field1 и field2 заполняются null для строк, которые получены из Table2

 Table1:
Load * Inline [
  field1, field2, field3
  1     , 2     , 3     
  4     , 5     , 6
];

Table2:
Load * Inline [
  field3, field4, field5
  1     , 2     , 3
  4     , 5     , 6
];

NoConcatenate


ConcatenatedTable:
Load
  field1,
  field2,
  field3
Resident
  Table1
;

Concatenate

Load
  field3
Resident
  Table2
;

Drop Tables Table1, Table2;
  

Это другой подход, у меня недостаточно большого набора данных, чтобы проверить его производительность, но, по крайней мере, решает проблему наличия явных имен полей в скрипте, что может быть кошмаром для поддержания.

Начните с загрузки всех файлов с использованием перекрестной таблицы, чтобы деконструировать структуру :

 for each file in FileList('<folder><files>*')

   RawTable:
   CrossTable(Field, Data, 2)
   LOAD FileName() as FileName,
         RowNo() as RowId,
         *
   FROM
    [$(file)]
    (txt, utf8, no labels, embedded labels, delimiter is ',');

next file;
  

Это создаст таблицу, содержащую 4 поля: исходное имя файла (FileName), номер строки внутри этого файла (RowId), имя столбца (Field) и его значение (Data).

Затем создайте свою конечную таблицу, чтобы она содержала ссылки на каждый файл и каждую известную строку :

 DataTable:
LOAD
    DISTINCT FileName,
    RowId
Resident RawTable;
  

Затем создайте таблицу поддержки с отличным именем каждого известного поля в ваших файлах :

 FieldTable:
LOAD
    Distinct Field as KnownField 
Resident RawTable;
  

Наконец, начинается волшебство, когда вы поле за полем слева присоединяете их к DataTable :

 LET NumFields = NoOfRows('FieldTable');

FOR i = 0 to $(NumFields) - 1
    LET vField = Peek('KnownField', $(i), 'FieldTable');

    TRACE $(vField);

    Left Join(DataTable)
    LOAD
        FileName,
        RowId,
        Data as $(vField)
    Resident RawTable
    WHERE Field = '$(vField)';  
NEXT;
  

Наконец, просто некоторая очистка :

 DROP TABLE RawTable;
DROP TABLE FieldTable;
  

Если вы хотите сохранить только подмножество полей, вы можете отфильтровать их при создании таблицы полей.

Для более эффективного решения вы можете сначала извлечь метаданные каждого qvd, чтобы получить содержащие их поля, а затем настроить логику итерации qvd на основе этого.

Вот основной скрипт, который выдает вам имена полей файла qvd:

 LOAD
    "FieldName"
FROM [some.qvd]
(XmlSimple, table is [QvdTableHeader/Fields/QvdFieldHeader]);