Блог

У меня есть большой корпус xml-файлов (~ 20 000 файлов). Когда я загружаю весь корпус, мне требуется около ~ 1 секунды для загрузки каждого документа. XML-файлы довольно большие. (> 10 000 строк). Каждый xml представляет документ с узлами для предложений, токенами в предложении и другими подобными атрибутами.

Я использую DocumentBuilder на java для загрузки xml. После загрузки xml мне также нужно извлечь некоторые соответствующие xml-узлы (около 100 предложений). Для этого я использовал getElementsByTagName().

Существует ли более быстрый способ загрузки XML-документов на java?

Вы можете рассмотреть реализацию SAX. SAX обычно работает в 2-5 раз быстрее по этой ссылке: http://dublintech.blogspot.be/2011/12/jaxb-sax-dom-performance.html. Это имеет большой смысл, когда вам нужно фактически обработать только часть вашего документа, а не все содержимое.

Вы также можете использовать более быстрые диски, такие как SSD или, возможно, виртуальную файловую систему со стратегией кэширования.

Если у вас медленные диски, возможно, имеет смысл даже заархивировать их все в большом zip-файле, что сократит доступ к диску на 80-90%. Накладные расходы на распаковку должны быть компенсированы увеличением производительности доступа к диску.

Но утверждение, что вы также рассматриваете Lucene, на самом деле подразумевает, что мы упускаем некоторую важную информацию о вашем варианте использования, потому что это подразумевает, что действие, которое вы оптимизируете, в любом случае является более или менее «одноразовым».

Если вам действительно нужна только относительно небольшая часть содержимого вашего документа, вы также можете рассмотреть возможность хранения этой информации в одной структуре данных и сериализации ее. Таким образом, вам нужно десериализовать только один файл и не обрабатывать 20 000 XML-документов. На случай изменения документов вы также можете сохранить пути к документам и хэш-код типа MD5 для обнаружения измененных документов.