#python #database #dataset #stock-data
#питон #База данных #набор данных #данные о запасах
Вопрос:
Мне нравится идея хранения моих исторических данных о запасах в базе данных вместо CSV. Существует ли ограничение скорости для извлечения больших наборов данных из MariaDB по сравнению с CSV
Ответ №1:
Совсем наоборот. Всякий раз, когда вы извлекаете данные из CSV, если у вас нет условия остановки (например, возьмите первую запись с x = 3 ), вы должны проанализировать каждую строку в файле. Это дорогостоящая операция, потому что вам нужно не только прочитать все строки (делая это O(n) ), но и в целом выполнить типизацию. В базе данных вы уже обработали все строки, и если в этом случае есть индекс x или какой-либо другой атрибут, по которому вы выполняете поиск, база данных сможет вовремя найти информацию O(log(n)) и не будет просматривать подавляющее большинство записей.