#hadoop #mapper
#hadoop #mapper
Вопрос:
Теперь, когда hadoop mapper выводит некоторые блоки, он будет перенесен на новый узел, где запущен редуктор. Даже если узел, который запускает mapper, также запускает редуктор, не гарантируется, что его выходные блоки будут обрабатываться одним и тем же локальным редуктором.
Но мне нужно, чтобы это работало так. Что мне нужно, так это гарантировать, что блоки, созданные с помощью вывода mapper, обрабатываются только редуктором, работающим в том же узле.
Пожалуйста, помогите дать мне несколько советов.
Комментарии:
1. Что, если разные картографы, работающие на разных узлах, создают записи с одним и тем же ключом? Эти записи необходимо передавать в один и тот же редуктор, даже если они поступили с разных узлов.
2. @Wyzard абсолютно прав! Если вам нужна такая функциональность, убедитесь, что MapReduce является правильным выбором для вас.