#python-3.x #mongodb #pandas
#python-3.x #mongodb #pandas
Вопрос:
Я разрабатываю информационную базу данных и в настоящее время храню данные на разных листах в нескольких файлах XLSX и рассматриваю возможность переноса моих данных в базу данных MongoDB. Быстрее ли чтение / запись для MongoDB, чем чтение / запись для Pandas? Является ли Pandas просто хорошим способом анализа реляционной базы данных по сравнению с хранением информации в файлах Excel?
Редактировать:
Предположим, у меня есть файл Excel с несколькими листами, и на каждом листе более 1000 строк данных с плавающей запятой с 5 столбцами, и я читаю в XLSX, разбираю его.
df = pd.read_excel("myfile.xlsx")
было бы быстрее / эффективнее извлекать данные непосредственно из базы данных MongoDB, чем чтение / запись Pandas.
Комментарии:
1. Я не уверен, в чем вопрос. «Быстрее» всегда относится к чему-то, например, к вашему оборудованию, вашему варианту использования и т.д. «Информационная база данных» не очень конкретна. Pandas — это в основном инструмент анализа данных, непонятно, почему вы хотите использовать Pandas для хранения чего-либо. Пожалуйста, перефразируйте вопрос действенным образом, например, если ответ не основан на мнении.
2. Я конкретно говорю о хранении исторических ценовых данных из Bittrex в MongoDB по сравнению с хранением их в файле Excel
3. Из вашего обновленного вопроса: при прочих равных условиях (аппаратное обеспечение и т.д.) Получение данных из базы данных Почти всегда будет быстрее, чем чтение файла Excel (при условии правильного проектирования схемы, среди прочего). Для этого предназначена база данных. Чтение файла Excel всегда будет включать чтение и интерпретацию содержимого, что является, по крайней мере, другим уровнем обработки. Однако это предполагает, что многие вещи равны, что может быть, а может и не быть в вашей среде.
Ответ №1:
Используйте timeit, чтобы сравнить время выполнения предоставленного вами фрагмента кода на вашем оборудовании со временем выполнения аналогичного фрагмента mongo на вашем оборудовании.