Блог

Главная - Вопросы по программированию - Вычисление продолжительности времени в секундах pyspark

Вычисление продолжительности времени в секундах pyspark

#datetime #pyspark

#datetime #pyspark

Вопрос:

Я пытаюсь вычислить разницу во времени в секундах, ниже приведена моя попытка,

 from datetime import datetime
aa = sc.parallelize[('10:40:31', '10:39:31')]
FMT = "%H:%M:%S"
duration = aa.map(lambda p: (datetime.strptime(p[0], FMT) - datetime.strptime(p[1], FMT) ))

выдает мне [datetime.timedelta(0, 60)] но я хочу разницу только в секундах, например, только в 60.

Как я мог это сделать, я пытался с помощью .total_seconds (), но это не работает

Ответ №1:

Решена проблема,

Мне нужно добавить еще одну карту с .seconds

  duration = aa.map(lambda p: (datetime.strptime(p[0], FMT) - datetime.strptime(p[1], FMT) )).map(lambda l: l.seconds)

даст,

   [60]