Блог

У меня возникли проблемы с памятью, и поэтому я посмотрел значения параметров по умолчанию, такие как:

 mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
mapreduce.map.java.opts
  

изучил документацию Amazon и понял, что значения по умолчанию были низкими. Итак, я добавил конфигурацию при создании кластера EMR следующим образом:

 classification=mapred-site,properties=[mapreduce.map.memory.mb=4096,mapreduce.reduce.memory.mb=4096,mapreduce.map.java.opts=-Xmx3072m]
  

и создал кластер. Теперь, как мне проверить, действительно ли эти значения обновлены или нет?

Вы можете воспользоваться любым из приведенных ниже способов, чтобы узнать детали конфигурации вашего mapreduce.

Метод1:

• Войдите в экземпляр EC2 EMR
• Перейдите к пути конфигурации mapreduce (обычно /etc/hadoop /conf)
• Открыть mapred-site.xml и выполните поиск по своим свойствам.

Метод2:

• Перейдите в пользовательский интерфейс JobHistory (обычноhttp://history-server-hostname:19888/jobhistory )
• Перейдите к Инструментам-> Конфигурация

Метод3:

• Надеюсь, вы также сможете просмотреть все свои классификации из консоли Amazon EMR.