Блог

У меня есть почти 2 миллиона записей, в которых требуется простая замена строки, выполненная для значения в массиве идентификаторов чего-то вроде этой частичной записи

     {
      "id": "a851375d-f6a0-4fba-ba69-c584901de73c",
      "source": "MARC",
      "title": "Voice Content and Usability [electronic resource] / So, Preston.",
      "identifiers": [
        {
          "value": "9781952616020",
          "identifierTypeId": "fcca2643-406a-482a-b760-7a7f8aec640e"
        },
        {
          "value": "(CaSebORM)9781098128852",
          "identifierTypeId": "7e591197-f335-4afb-bc6d-a6d76ca3bace"
        },
        {
          "value": "5429852",
          "identifierTypeId": "d5989db8-ddc3-4f06-a465-73e99ec262d3"
        },
        {
          "value": "ocm00000001saf9781098128852",
          "identifierTypeId": "7e591197-f335-4afb-bc6d-a6d76ca3bace"
        }
]
}
 

Мне нужно обнаружить и удалить «ocm0000000» из конечного значения, и я ищу наиболее эффективный способ сделать это. Когда я попытался просто поместить jsonb в строку, выполните простую замену строки, например

 update my.table
set jsonb = REPLACE(jsonb::text, 'ocm0000000', '')::jsonb
 

это потребовало от центрального процессора невероятных усилий и забрало все соединения для нашего кластера RDS, вмешиваясь в другие операции, что сделало необходимым остановить процесс.

Каков наилучший подход для выполнения такого рода замены, когда затрагивается так много строк?

Ваше текущее ОБНОВЛЕНИЕ перепишет каждую строку, даже те, которые не нужно изменять. Вам следует добавить предложение WHERE, чтобы предотвратить это. Это особенно важно, если вы хотите разбить обновление на пакеты.

 set jsonb = REPLACE(jsonb::text, 'ocm0000000', '')::jsonb
where jsonb::text like '%ocm0000000%'
 

Самый простой способ закончить это-объявить окно обслуживания и просто сделать это или сделать это в нерабочее время. Мне потребовалось менее 2 минут, чтобы обновить 2 миллиона копий вашей записи примера на небольшом ноутбуке, но с SSD-накопителями. Вы сказали, что это было только частично, но я не знаю, насколько больше будет ваш реальный послужной список. Может быть, вы сможете клонировать наш сервер и использовать его, чтобы проверить, сколько времени это займет. Вы также можете временно увеличить количество операций ввода-вывода, чтобы ускорить процесс.

Если вы хотите запускать его пакетами, вы можете добавить предложение where, чтобы ограничить диапазон ctid, который будет обновляться:

 set jsonb = REPLACE(jsonb::text, 'ocm0000000', '')::jsonb 
where jsonb::text like '%ocm0000000%' 
and ctid between '(0,0)' and '(9999,99)'; --first ~80MB.
 

Затем вы подождете, пока система отдышится, а затем повторите, опустив окно CTID ниже. Повторяйте до тех пор, пока весь стол не будет накрыт. Вам нужно будет идти только до тех пор, пока первое число в ctid не станет таким же большим, как текущие страницы в таблице. Затем запустите его еще раз без условия ctid, чтобы убедиться, что ничего не проскользнуло мимо.