Блог

Я использую Hadoop, и мне нужно настроить осведомленность о стойке. Кто-нибудь может дать мне идею или руководство о том, как это работает?

Я использую Hadoop 1.2.1.

Поскольку вы запрашиваете учебные пособия и рекомендации, вот несколько ссылок, которых более чем достаточно, чтобы узнать о настройке осведомленности о стойке :

1. http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/bk_hdfs_admin_tools/content/ch05.html
2. https://bigdataprocessing.wordpress.com/2013/07/30/hadoop-rack-awareness-and-configuration/

Надеюсь, это поможет.

Топология стойки в контексте Hadoop определяет, как компьютеры физически расположены в стойке в центре обработки данных. В сочетании с традиционным дизайном сети и коммутацией верхней части стойки это позволяет нам логически определить, насколько близко компьютеры находятся друг к другу с точки зрения сетевого подключения. Физическое местоположение компьютеров также влияет на другие проблемы, такие как инфраструктура электропитания, что имеет решающее значение для понимания возможных областей сбоев в системе.

Топология стойки настраивается в Hadoop путем реализации сценария, который при задании списка имен хостов или IP-адресов в командной строке выводит стойку, в которой находится компьютер, по порядку. Реализация сценария топологии полностью зависит от администратора и может быть такой же простой, как сценарий оболочки с жестко запрограммированным списком компьютеров и именами стоек, или такой же сложной, как исполняемый файл на C, считывающий данные из реляционной базы данных. Один из наиболее распространенных типов сценариев — это тот, который использует CSV-файл сопоставлений machine to rack.

вот один из примеров этого

http://wiki.apache.org/hadoop/topology_rack_awareness_scripts