#mysql #database #csv #dataset
#mysql #База данных #csv #набор данных
Вопрос:
Я всегда использую MySQL для хранения данных и работы с ними.
Но на этот раз у меня около 4 ГБ csv набора данных.
Я импортировал это в MySQL.
Импорт продолжался около 2-3 часов.
Это одна таблица с примерно 7.500.000 строками и несколькими столбцами.
Время импорта было долгим.
Работа с запросами MySQL к этому набору данных тоже занимает много времени.
Действительно ли я правильно делаю, используя это с базой данных MySQL?
Может быть, мне следует использовать что-то вроде базы данных nosql? Или бессерверная база данных?
Я не знаю, правильно ли я это делаю.
Что мне с этим делать? Как я должен работать с этим набором данных?
Комментарии:
1. MySQL просто отлично подходит для такой задачи. Вопросы, которые вы должны задать, следующие: 1. почему вы на самом деле ожидаете гораздо более быстрой обработки? и 2. можете ли вы ускорить это? Ответ на второй вопрос интересен, но мы не сможем помочь с этим, если вы не добавите больше деталей к вопросу.
2. @arkascha разве nosql или файловая база данных не лучше для этого? чем серверная база данных sql, такая как MySQL?
3. Ну, ответ, очевидно, зависит от варианта использования: что вы хотите делать с данными. Для типичных случаев использования решения на основе файлов (вы, вероятно, имеете в виду такие вещи, как SQLite или BerkelyDB) намного медленнее, а базы данных nosql очень ограничены в способах извлечения данных. Но, конечно, есть единичные случаи, когда вы, возможно, захотите попробовать такой подход. Давайте попробуем вот так: почему вы считаете, что решение без sql лучше подходит для вашей задачи? Если вы можете ответить на этот вопрос, вы продвинулись на шаг вперед, или вы просто предполагаете? Я предлагаю вам расширить вопрос и добавить некоторую информацию о вашем варианте использования.
4. И интересно, что вы решили не отвечать ни на один из вопросов в первом комментарии, а просто решили повторить то, что вы уже написали в вопросе. Почему это так? Почему вы не отвечаете? Вопросы должны были помочь вам принять решение…
5. @arkascha Операции, выполняемые над этой таблицей, будут просто select. Я буду просто выбирать. И есть одна таблица. Нет связей. Только одна таблица, несколько столбцов и много строк. Я не ожидаю более быстрой обработки, я ничего не ожидаю. Я просто хочу хорошее решение для своей проблемы, и мне интересно, mysql ли это. 2. Я не знаю, смогу ли я ускорить это xD. И я не знаю лучшего решения для этой задачи Столбцы; идентификатор, URL, заголовок, продолжительность, ключевые слова (таблица, в которой собрана информация о некоторых видео)