Блог

Главная - Вопросы по программированию - время ожидания с помощью couchdb MapReduce, когда база данных огромна

время ожидания с помощью couchdb MapReduce, когда база данных огромна

#mapreduce #couchdb #couchdb-futon #couchdb-2.0 #couchdb-3.x

Вопрос:

Подробные сведения:

  • Apache CouchDB v. 3.1.1
  • около 5 ГБ данных Twitter были сброшены в разделы

Функция уменьшения карты, которую я написал:

 {
 "_id": "_design/Info",
 "_rev": "13-c943aaf3b77b970f4e787be600dd240e",
 "views": {
   "trial-view": {
     "map": "function (doc) {n  emit(doc.account_name, 1);n}",
     "reduce": "_count"
   }
 },
 "language": "javascript",
 "options": {
   "partitioned": true
 }
}

когда я пытаюсь выполнить следующую команду в postman:

http://<server_ip>:5984/mydb/_partition/partition1/_design/Информация/_view/пробный просмотр?ключ=»BT»и группа=true

Я получаю следующую ошибку:

 {
    "error": "timeout",
    "reason": "The request could not be processed in a reasonable amount of time."
}

Пожалуйста, помогите мне, как применить MapReduce к таким огромным данным?

Комментарии:

1. Возможно Постоянно возникают ошибки при запросе представлений: «Запрос не может быть обработан в разумные сроки»

Ответ №1:

Итак, я подумал о том, чтобы ответить на свой собственный вопрос, осознав свою ошибку. Ответ на этот вопрос прост. Просто для этого требовалось больше времени, так как индексация занимает много времени. вы можете просмотреть метаданные, чтобы увидеть индексируемые данные БД.

Метки: ,