Как написать или создать внешний набор данных из репозитория кода в Foundry

#dataset #palantir-foundry #foundry-code-repositories

Вопрос:

Я пытаюсь реализовать функциональность pytest в репозитории кода. Я хочу написать или создать набор данных, чтобы результаты тестового случая могли быть помещены для просмотра бизнес-аналитиками. таким образом, я хочу скрыть свой код от бизнес-аналитиков. Бизнес-аналитики или функциональные группы могут вносить данные в файл данных или таблицу слияния и просто просматривать результаты тестов. могу ли я знать способы создания набора данных или записи данных в набор данных(возможно, с использованием API), который находится за пределами соответствующего?

Ответ №1:

Я полагаю, что вы, возможно, путаете понятия, и формулировка вашего вопроса на самом деле не помогает. Я чувствую, что в этом вопросе есть два уровня: тесты и написание наборов данных.

Таким образом, для формальных модульных тестов, т. е. с помощью pylint, тесты выполняются во время CI. CI изолирован от литейного производства, что означает, что он не может ни читать наборы данных, ни записывать в них. Репозитории кода, имеет встроенную логику для обнаружения модульных тестов, выполняемых во время CI, и отображения ваших тестов один за другим в представлении Проверки CI.

Чтение и запись в наборы данных-это то, что принадлежит преобразованиям, поэтому, если вы хотите записать результаты своих тестов в набор данных, я бы предложил обернуть ваши тесты в преобразование, а затем добавить результаты в виде новых строк.

Таким образом, вы можете как использовать набор данных в качестве входных данных, так и выводить результаты в отдельный набор данных. Конечно, способ написания тестов немного изменился бы, поскольку технически они больше не использовали бы pylint и были бы просто преобразованием.