Pyspark Преобразует csv в иерархию yaml

#pyspark

Вопрос:

У меня есть csv-файл в приведенном ниже формате.

введите описание изображения здесь

Я хочу, чтобы приведенный ниже вывод в виде файла yaml для каждого имени приложения(столбец № 2)

приложение 1.yaml

 source_1:
    cdckey: daily
    frequency: pkey2
    pkey: None
    source_format: file
    source_type: database
    table_or_path: sam_tab2

source_2:
    cdckey: daily
    frequency: pkey1
    pkey: None
    source_format: file
    source_type: database
    table_or_path: sam_tab1
 

приложение 2.yaml:

 source_1:
    cdckey: daily
    frequency: pkey3
    pkey: None
    source_format: file
    source_type: csv
    table_or_path: 'sam_file1'
 

Это заняло у меня пару дней, и я написал длинный код, используя словарь/коллекции python, но не смог установить имя приложения в качестве корневого узла

Пожалуйста, дайте мне знать простое решение. Предпочтительно в Пыспарке.

Комментарии:

1. Пожалуйста, не обновляйте код или данные в виде изображения. Всем больно копировать с изображения… это ваша задача-сделать это для всех, кто читает ваш пост.