#pyspark #azure-synapse
Вопрос:
Мне было интересно, возможно ли выполнить вызов из записной книжки в потоке данных?
Что-то вроде использования команды %%run.
Комментарии:
1. Даже если бы это было возможно (а это не так), это было бы анти-шаблоном. У вас есть (по крайней мере) два типа вычислений, выполняемых одновременно: кластеры Spark за записными книжками Synapse и кластеры Spark за потоками картографических данных. Всегда помните, что вычислительные ресурсы в Azure дороги, а хранилище, вообще говоря, дешево. Весьма вероятно, что большая часть того, что вам нужно сделать, возможна только с одним из этих типов вычислений. Используйте ноутбуки, если вам нужна поддержка нескольких языков и вам это удобно. Используйте сопоставление потоков данных, если вы хотите использовать этот низкий уровень кода.