#amazon-web-services #apache-spark #hadoop #hadoop-yarn #amazon-emr
#amazon-веб-сервисы #apache-искра #hadoop #hadoop-пряжа #amazon-emr
Вопрос:
Мои задания spark долгое время остаются в приемлемом режиме в кластере aws EMR. Ранее моя работа spark оставалась меньше времени в приемлемом режиме, теперь она увеличилась. Ниже приведены некоторые конфигурации, которые я использую, дайте мне знать, нужно ли исследовать какие-либо конфигурации. Спасибо.
lt;propertygt; lt;namegt;yarn.scheduler.maximum-allocation-vcoreslt;/namegt; lt;valuegt;64lt;/valuegt; lt;finalgt;falselt;/finalgt; lt;sourcegt;yarn-site.xmllt;/sourcegt; lt;/propertygt; lt;propertygt; lt;namegt;yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mblt;/namegt; lt;valuegt;0lt;/valuegt; lt;finalgt;falselt;/finalgt; lt;sourcegt;yarn-default.xmllt;/sourcegt; lt;/propertygt; lt;propertygt; lt;namegt;yarn.resourcemanager.nodemanagers.heartbeat-interval-mslt;/namegt; lt;valuegt;250lt;/valuegt; lt;finalgt;falselt;/finalgt; lt;sourcegt;yarn-site.xmllt;/sourcegt; lt;/propertygt; lt;propertygt; lt;namegt;yarn.scheduler.maximum-allocation-vcoreslt;/namegt; lt;valuegt;64lt;/valuegt; lt;finalgt;falselt;/finalgt; lt;sourcegt;yarn-site.xmllt;/sourcegt; lt;/propertygt; lt;propertygt; lt;namegt;yarn.client.application-client-protocol.poll-interval-mslt;/namegt; lt;valuegt;200lt;/valuegt; lt;finalgt;falselt;/finalgt; lt;sourcegt;yarn-default.xmllt;/sourcegt; lt;/propertygt; lt;propertygt; lt;namegt;yarn.timeline-service.client.retry-interval-mslt;/namegt; lt;valuegt;1000lt;/valuegt; lt;finalgt;falselt;/finalgt; lt;sourcegt;yarn-default.xmllt;/sourcegt; lt;/propertygt; lt;propertygt; lt;namegt;yarn.timeline-service.client.best-effortlt;/namegt; lt;valuegt;falselt;/valuegt; lt;finalgt;falselt;/finalgt; lt;sourcegt;yarn-default.xmllt;/sourcegt; lt;/propertygt; lt;propertygt; lt;namegt;yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentagelt;/namegt; lt;valuegt;90.0lt;/valuegt; lt;finalgt;falselt;/finalgt; lt;sourcegt;yarn-default.xmllt;/sourcegt; lt;/propertygt; lt;propertygt; lt;namegt;yarn.app.mapreduce.am.resource.cpu-vcoreslt;/namegt; lt;valuegt;1lt;/valuegt; lt;finalgt;falselt;/finalgt; lt;sourcegt;mapred-default.xmllt;/sourcegt; lt;/propertygt; lt;propertygt; lt;namegt;yarn.sharedcache.store.in-memory.check-period-minslt;/namegt; lt;valuegt;720lt;/valuegt; lt;finalgt;falselt;/finalgt; lt;sourcegt;yarn-default.xmllt;/sourcegt; lt;/propertygt; Ответ №1:
Если ваша работа занимает много времени, как принято, но это хороший показатель того, что для выполнения вашей работы нет свободных ресурсов.
Если это общий кластер, поговорите с администратором о том, чтобы выделить больше ресурсов или лучше распределить их между вами, или о том, что может занимать место.
Если это ваш кластер. Подумайте о том, чтобы попросить меньше памяти для ваших заданий, и вы, скорее всего, сможете быстрее получить одобрение. Возможно, вы просто просите слишком многого, и yarn с трудом находит место, которое можно выделить для вас. (Или большим скоплением.) Это действительно распространенная проблема-чрезмерно выделять пространство для драйверов/исполнителей, поэтому попробуйте работать с меньшим количеством и посмотрите, что произойдет.
Попробуйте изучить диспетчер ресурсов, чтобы узнать, что еще работает, что может занять место: http://master-public-dns-name:8088/