#amazon-web-services #hive #metadata #amazon-emr
#amazon-web-services #улей #метаданные #amazon-emr
Вопрос:
Как заголовок.
У нас есть кластеры stage / prod emr, и нам может потребоваться выполнить emrfs delete s3_path команду для обоих кластеров через задания jenkins.
Тем не менее, я могу успешно запустить удаление emrfs на этапе emr one, но не удалось на prod. Ниже приведен журнал:
22:54:51 Clear meta-store before loading into DW table.
22:54:51 ----------------------------------------------------------
22:54:51
22:54:51 Pseudo-terminal will not be allocated because stdin is not a terminal.
22:54:52 19/03/23 02:54:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
22:54:53 EmrFsApplication.scala(91): dynamoDB endPoint = dynamodb.us-east-1.amazonaws.com
22:54:53 EmrFsApplication.scala(99): s3 endPoint = s3.amazonaws.com
22:54:53 EmrFsApplication.scala(107): sqs endPoint = sqs.us-east-1.amazonaws.com
22:54:54 Metadata 'EmrFSMetadata' does not exist
Я не знаю, почему EmrFSMetadata не существует в моем prod emr? или это какие-то специальные настройки, которые нужно применить к prod one?
Спасибо.
Ответ №1:
Ах .. Я думаю, я получил ответ. Наш prod emr не обеспечивает согласованное представление EMRFS. Вот почему…
Вопрос может быть закрыт.