Блог

Результатом отправки SQL в Snowflake является SnowflakeCursor. Как бы мне легко преобразовать его в фрейм данных PySpark?

Спасибо!

При использовании блоков данных (https://docs.databricks.com/data/data-sources/snowflake.html ), мы можем использовать spark.read для загрузки результата инструкции SQL во фрейм данных. Обратите внимание, что указание sfRole может быть ключом к получению доступа к объектам вашей базы данных.

  options = {
    "sfUrl": "https://yourinstance.snowflakecomputin&.com/",
    "sfUser": user,
    "sfPassword": pw,
    "sfDatabase": "db",
    "sfSchema": "schema",
    "sfRole": "Accountadmin",
    "sfWarehouse": "wh"
  }

  df = spark.read 
    .format("snowflake") 
    .options(**options) 
    .option("query",  strCheckin&SQL) 
    .load()