Блог

Я хотел бы взглянуть на код большой работы mapreduce. Пожалуйста, дайте мне некоторое представление о реальном проекте mapreduce с вариантами использования в реальном времени

Из википедии:

MapReduce полезен в широком спектре приложений, включая распределенный поиск на основе шаблонов, распределенную сортировку, обращение графа веб-ссылок, вектор терминов для каждого хоста, статистику журнала веб-доступа, построение инвертированного индекса, кластеризацию документов, машинное обучение[8] и статистический машинный перевод. Кроме того, модель MapReduce была адаптирована к нескольким вычислительным средам, таким как многоядерные и многоядерные системы,[9][10][11] настольные сетки,[12] добровольные вычислительные среды,[13] динамические облачные среды,[14] и мобильные среды.[15]

В Google MapReduce использовался для полной регенерации индекса Google World Wide Web. Он заменил старые специальные программы, которые обновляли индекс и выполняли различные анализы.[16]

Стабильные входные и выходные данные MapReduce обычно хранятся в распределенной файловой системе. Временные данные обычно хранятся на локальном диске и извлекаются удаленно редукторами.

Перейдите по ссылке и прочитайте документы для получения исходного кода.