#jupyter-notebook #amazon-emr #jupyter-lab #spark-notebook
Вопрос:
Я хочу использовать внешний jar во всех экземплярах/узлах кластера EMR, чтобы его можно было использовать в дальнейшем в ноутбуке EMR jupyter. В настоящее время я использую следующее
#!/bin/bash aws s3 cp s3://lt;bucket-namegt;/lt;prefixgt;/jars/TFSReconArtifacts-1.0-WithDependencies.jar /home/hadoop/jars/
Но, ссылаясь на то же самое в записной книжке EMR jupyter, я не могу получить доступ или найти что-либо по этому пути.(/home/hadoop/jars)
ЦЕЛЬ Моя главная цель-использовать внешнюю банку в ноутбуке EMR jupyter размером около 300 МБ.Я уже пробовал банки меньшего размера, и это работает с помощью этой команды в ноутбуке jupyter, но для больших банок это не работает :
%%configure { "conf": { "spark.jars":"s3://lt;bucketnamegt;/jars/TFSReconArtifacts-1.0-WithDependencies.jar" }}