Блог

Я пытаюсь получить разницу между двумя почти идентичными таблицами в postgresql. Текущий запрос, который я выполняю, является:

 SELECT * FROM tableA EXCEPT SELECT * FROM tableB;
  

и

 SELECT * FROM tableB EXCEPT SELECT * FROM tableA;
  

Выполнение каждого из приведенных выше запросов занимает около 2 минут (это большая таблица)

Я хотел объединить два запроса в надежде сэкономить время, поэтому я попытался:

 SELECT * FROM tableA EXCEPT SELECT * FROM tableB
UNION
SELECT * FROM tableB EXCEPT SELECT * FROM tableA;
  

И пока это работает, на выполнение уходит 20 минут!!! Я бы предположил, что это займет не более 4 минут, столько времени, сколько требуется для выполнения каждого запроса в отдельности.

Есть ли какая-то дополнительная работа, выполняемая объединением, из-за которой это занимает так много времени? Или есть какой-либо способ ускорить это (с объединением или без него)?

ОБНОВЛЕНИЕ: Выполнение запроса с помощью UNION ALL занимает 15 минут, что почти в 4 раза больше времени, чем выполнение каждого из них по отдельности, правильно ли я говорю, что ОБЪЕДИНЕНИЕ (all) вообще не ускорит это?

Что касается вашего вопроса о «дополнительной работе». ДА. Объединение не только объединяет два запроса, но также просматривает и удаляет дубликаты. Это то же самое, что использование инструкции distinct.

По этой причине, особенно в сочетании с вашими инструкциями except «объединить все», вероятно, будет быстрее.

Подробнее читайте здесь: http://www.postgresql.org/files/documentation/books/aw_pgsql/node80.html

В дополнение к объединению результатов первого и второго запроса, UNION по умолчанию также удаляются дублирующиеся записи. (см. http://www.postgresql.org/docs/8.1/static/sql-select.html ). Дополнительная работа, связанная с проверкой дублирующихся записей между двумя запросами, вероятно, является причиной дополнительного времени. В этой ситуации не должно быть никаких повторяющихся записей, поэтому дополнительной работы по поиску дубликатов можно избежать, указав UNION ALL .

 SELECT * FROM tableA EXCEPT SELECT * FROM tableB
UNION ALL
SELECT * FROM tableB EXCEPT SELECT * FROM tableA;
  

Я не думаю, что ваш код возвращает набор результатов, который вы намереваетесь. Я скорее думаю, что вы хотите сделать это:

 SELECT * 
  FROM (
        SELECT * FROM tableA 
        EXCEPT 
        SELECT * FROM tableB
       ) AS T1
UNION 
SELECT * 
  FROM (
        SELECT * FROM tableB 
        EXCEPT 
        SELECT * FROM tableA
       ) AS T2;
  

Другими словами, вам нужен набор взаимоисключающих элементов. Если это так, вам нужно ознакомиться с приоритетом реляционных операторов в SQL 😉 И когда вы это сделаете, вы можете понять, что вышесказанное можно рационализировать до:

 SELECT * FROM tableA 
UNION 
SELECT * FROM tableB
EXCEPT 
SELECT * FROM tableA 
INTERSECT
SELECT * FROM tableB;
  

FWIW, используя подзапросы (производные таблицы T1 и T2 ), чтобы явно показать (что в противном случае было бы неявным) приоритет реляционных операторов, ваш исходный запрос таков:

 SELECT * 
  FROM (
        SELECT * 
          FROM (
                SELECT * 
                  FROM tableA 
                EXCEPT 
                SELECT * 
                  FROM tableB
               ) AS T2
        UNION
        SELECT * 
          FROM tableB
       ) AS T1
EXCEPT 
SELECT * 
  FROM tableA;
  

Вышесказанное может быть отнесено к:

 SELECT * 
  FROM tableB 
EXCEPT 
SELECT * 
  FROM tableA;
  

… и я думаю, что это не то, что задумано.

Вы могли бы использовать таблицу ПОЛНОГО ВНЕШНЕГО СОЕДИНЕНИЯ TABLEAB, которая выдала бы то, что вы хотите (с условием надлежащего соединения), всего за 1 сканирование таблицы, вероятно, это было бы быстрее, чем 2 запроса выше.

Пожалуйста, опубликуйте больше информации.