#amazon-web-services #apache-spark #pyspark #amazon-emr #apache-zeppelin
#amazon-веб-сервисы #apache-spark #pyspark #amazon-emr #apache-zeppelin
Вопрос:
Я перехожу с Databricks на Amazon EMR и планирую использовать записные книжки Zeppelin вместо записных книжек Databricks. В настоящее время многие записные книжки Databricks запланированы как задания. Есть ли какой-либо способ, как я могу создавать повторяющиеся задания или добавлять записные книжки Zeppelin для запуска в качестве повторяющегося шага в Amazon EMR. Любая ссылка на документацию также будет полезна.
Ответ №1:
Похоже, что встроенная поддержка cron в Zeppelin удовлетворит ваши потребности.
Комментарии:
1. Проблема здесь в том, что планировщик cron будет работать в случае запущенных кластеров. Если кластер должен запускаться каждый раз для выполнения задания, каков будет идеальный способ.