#data-integration
#интеграция данных
Вопрос:
У меня есть следующая потребность:
1) Пользователи будут загружать файлы .xls или .csv в папку «uploads». 2) папка «загрузки» должна постоянно контролироваться, и с каждым новым файлом, добавленным к нему, должна запускаться работа. 3) Задание обработает данные из файла .xls или .csv, чтобы они соответствовали структуре таблицы БД, и запишет эти данные в таблицу БД.
Это должен быть автоматизированный процесс, и я ищу универсальный инструмент для решения.
Ответ №1:
Вы не указали, в какой операционной системе, и вы не сказали, загружает ли пользователь файлы на другой сервер или нет. Если загрузка выполняется через веб-приложение (с использованием HTTP POST-запроса), она также отличается.
И я не уверен, что ваше желание хорошо масштабируется со многими пользователями.
Комментарии:
1. В общем случае ОС не имеет значения. Я могу поставить либо на Linux, либо на Windows. Пользователи будут загружать файлы на один и тот же сервер, для загруженных файлов будет только один сервер. Что касается протокола для загрузки, это должна быть HTTP POST через веб-приложение.
Ответ №2:
Вам следует взглянуть на Pentaho Data Integration, он же чайник: http://sourceforge.net/projects/pentaho /
С помощью Kettle вы можете создать задание, объединяющее каталог загрузки, и после нахождения файла выполнить все необходимые преобразования и ввести данные в нужную таблицу базы данных.