Блог

Главная - Вопросы по программированию - Создайте матрицу расстояний из фрейма данных Pandas, используя специальную функцию расстояния

Создайте матрицу расстояний из фрейма данных Pandas, используя специальную функцию расстояния

#python-3.x #pandas #matrix #distance #adjacency-matrix

#python-3.x #pandas #матрица #расстояние #смежность-матрица

Вопрос:

У меня есть фрейм данных Pandas с двумя столбцами: «id» (уникальный идентификатор) и «дата», который выглядит следующим образом:

 test_df.head()

    id  date
0   N1  2020-01-31
1   N2  2020-02-28
2   N3  2020-03-10

Я создал пользовательскую функцию Python, которая, учитывая две строки дат, будет вычислять абсолютное количество дней между этими датами (с заданной строкой формата даты, например, %Y-%m-%d) следующим образом:

 def days_distance(date_1, date_1_format, date_2, date_2_format):
    """Calculate the number of days between two given string dates

    Args:
        date_1 (str): First date
        date_1_format (str): The format of the first date
        date_2 (str): Second date
        date_2_format (str): The format of the second date

    Returns:
        The absolute number of days between date1 and date2
    """

    date1 = datetime.strptime(date_1, date_1_format)
    date2 = datetime.strptime(date_2, date_2_format)
    return abs((date2 - date1).days)

Я хотел бы создать матрицу расстояний, которая для всех пар идентификаторов будет вычислять количество дней между этими идентификаторами. Используя test_df приведенный выше пример, окончательная матрица временных расстояний должна выглядеть следующим образом:

     N1    N2    N3
N1  0     28    39
N2  28    0     11
N3  39    11    0

Я изо всех сил пытаюсь найти способ вычисления матрицы расстояний с использованием специальной функции расстояния, такой как моя days_distance() функция выше, в отличие от стандартной меры расстояния, предоставляемой, например, SciPy.

Есть предложения?

Комментарии:

1. Использование pdist матрицы временных расстояний может быть легко сгенерировано без применения пользовательской функции .. Не уверен, зачем вам нужно применять пользовательскую функцию здесь.. Какая-либо конкретная причина?

2. Привет @ShubhamSharma спасибо за ответ. Если я могу сделать это без пользовательской функции, это нормально, но не могли бы вы привести пример того, как я могу использовать pdist для преобразования моего фрейма данных в матрицу временных расстояний, пожалуйста? Чтение документации pdist по адресу docs.scipy.org/doc/scipy/reference/generated /… , я не вижу встроенной метрики, которая бы явно вычисляла расстояние по времени.

Ответ №1:

Давайте попробуем pdist squareform создать квадратную матрицу расстояний, представляющую парные различия между объектами datetime, и, наконец, создадим новый фрейм данных из этой квадратной матрицы:

 from scipy.spatial.distance import pdist, squareform

i, d = test_df['id'].values, pd.to_datetime(test_df['date'])
df = pd.DataFrame(squareform(pdist(d[:, None])), dtype='timedelta64[ns]', index=i, columns=i)

В качестве альтернативы вы также можете рассчитать матрицу расстояний с помощью numpy широковещательной передачи:

 i, d = test_df['id'].values, pd.to_datetime(test_df['date']).values 
df = pd.DataFrame(np.abs(d[:, None] - d), index=i, columns=i)
  
         N1      N2      N3
N1  0 days 28 days 39 days
N2 28 days  0 days 11 days
N3 39 days 11 days  0 days

Комментарии:

1. Привет, Шубхам, это фантастика, большое вам спасибо! Я не знаком с pdist nor squareform , так что это действительно помогает моему пониманию. Спасибо.

2. Рад, что я мог бы помочь 🙂 .. Еще одна вещь, если вам нужны числовые значения в фрейме данных вместо timedelta значений, вы можете просто разделить df pd.Timedelta(days=1) фрейм данных на, т.е df / pd.Timedelta(days=1)

Ответ №2:

Вы можете преобразовать столбец даты в формат datetime. Затем создайте массив numpy из столбца. Затем создайте матрицу с массивом, повторяющимся 3 раза. Затем вычтите матрицу с ее транспонированием. Затем преобразуйте результат в фрейм данных

 import pandas as pd
import numpy as np
from datetime import datetime

test_df = pd.DataFrame({'ID': ['N1', 'N2', 'N3'],
                    'date': ['2020-01-31', '2020-02-28', '2020-03-10']})
test_df['date_datetime'] = test_df.date.apply(lambda x : datetime.strptime(x, '%Y-%m-%d'))

date_array = np.array(test_df.date_datetime)

date_matrix = np.tile(date_array, (3,1))
date_diff_matrix = np.abs((date_matrix.T - date_matrix))

date_diff = pd.DataFrame(date_diff_matrix)
date_diff.columns = test_df.ID
date_diff.index = test_df.ID

>>> ID  N1      N2       N3
    ID          
    N1  0 days  28 days 39 days
    N2  28 days 0 days  11 days
    N3  39 days 11 days 0 days