Блог

Я пытаюсь найти способ отладки кодов PySpark в коде Visual Studio. Обычно я выполняю коды PySpark с помощью команды spark-submit и задаюсь вопросом, есть ли способ его отладки, аналогичный тому, когда мы отлаживаем обычные коды Python (например. добавить точку останова и проверить значения параметров). Я понимаю, что Spark обычно создает графики (или планы выполнения) до того, как в конечном итоге запускает коды, что потенциально может сделать невозможной отладку или устранение неполадок во время выполнения. Однако я наткнулся на то, как я могу отлаживать в PyCharm (https://www.jetbrains.com/help/pycharm/big-data-tools-spark-submit.html ), и хотел подтвердить это со всеми.