#csv #neo4j #graph-databases #load-csv
#csv #neo4j #графические базы данных #загрузить-csv
Вопрос:
Я видел эту статью о загрузке одного файла из s3 в neo4j. Но, если у меня есть данные в нескольких файлах деталей (обычно, в случае больших наборов данных), как мы можем эффективно загрузить это в базу данных neo4j?
Ответ №1:
Если вы хотите импортировать большое количество CSV-данных (возможно, из большого количества файлов) в ранее неиспользуемую базу данных neo4j, вам следует рассмотреть возможность использования команды import инструмента neo4j-admin.
Вам нужно будет использовать предварительно подписанные URL-адреса для всех файлов CSV, или вы можете сначала загрузить все файлы из S3.
import Команда очень мощная, но также требует определенных усилий для правильной настройки (и может потребовать от вас изменения файлов CSV), поэтому вам следует внимательно прочитать документацию.
Комментарии:
1. Спасибо @cybersam, но есть ли способ распараллелить этот процесс, чтобы ускорить процесс приема более 1000 файлов деталей?
2. Команда импорта должна быть очень быстрой, поэтому вам не нужно распараллеливать. В любом случае, при одновременном обновлении базы данных вам необходимо избегать или обходить проблемы, такие как взаимоблокировки , что может потребовать больше усилий, чем того стоит.