Блог

Я пытался выполнить матричное умножение в Pyspark для большого набора данных, и после умножения я получил результат в виде матрицы плотных векторов, как показано ниже

 [
    DenseVector([-0.0075, -0.0021, 0.0021, -0.0082, -0.004]),
    DenseVector([-0.0035, 2.4358, -0.0005, -0.0032, -0.005]),
    DenseVector([-0.0019, -0.0623, -0.0093, -0.0101, -0.002]),
    DenseVector([-0.0075, -0.0021, 0.0021, -0.0082, -0.004]),
    DenseVector([-0.0035, 2.4358, -0.0005, -0.0032, -0.005]),
    DenseVector([-0.0019, -0.0623, -0.0093, -0.0101, -0.002])
]
 

У меня есть набор меток строк и столбцов

для меток столбцов у меня есть [«c1», «c2», «c3», «c4», «c5»] для индексов строк у меня есть [«r1″,»r2″,»r3″,»r4″,»r5″,»r6»]

Теперь я хочу преобразовать эту матрицу строк в фрейм данных pyspark, как показано ниже

До сих пор у меня не было способа вывести это. Мне нужно предложение по этому поводу.