#pyspark #palantir-foundry #foundry-code-repositories #foundry-python-transform
Вопрос:
Я взял входной набор данных и произвел над ним некоторые преобразования, а затем записал его в выходной набор данных.
Я создал этот выходной набор данных, и теперь мне нужно потратить время на создание выходного набора данных и сравнить его с предоставленным пороговым временем. Если продолжительность сборки превышает заданный порог, я должен выдать предупреждение или предупреждение
Например, время сборки : 120 минут Пороговое значение : 100 мин. Поскольку время сборки превышает пороговое значение, оно должно выдавать предупреждение
Ответ №1:
Вы можете использовать проверку работоспособности данных для получения такого рода предупреждений. На странице предварительного просмотра набора данных перейдите на вкладку «Работоспособность». В разделе Добавление проверок нажмите Время, а затем Продолжительность задания. Это откроет модальное диалоговое окно, в котором вы можете установить пороговое время и создать проверку.
Как только проверка будет создана, вы будете получать электронное письмо всякий раз, когда сборка этого набора данных длится дольше указанного порогового времени.