#apache-spark #cassandra #great-expectations
Вопрос:
У меня есть несколько таблиц в пространстве ключей Кассандры. Я хочу использовать Большие ожидания для проверки моих данных. Я пытался использовать Spark для загрузки данных с Cassandra, и мне удалось создать RuntimeBatchRequest с помощью фреймов данных Spark. Однако мне нужно создать контрольные точки и проверить новые данные как обычную процедуру. Может ли кто-нибудь сказать, как настроить Большие ожидания для этой цели? Также я был бы признателен за любые предложения относительно проверки данных на Кассандре.
Комментарии:
1. вы хотите выполнить проверку данных, которые будут храниться в Cassandra? Или уже хранится в Cassandra, и вам нужно проверять только новые данные? Можно ли провести проверку перед записью в Кассандру?
2. @AlexOtt Мои данные уже есть в Кассандре. Я пытаюсь прочитать данные Кассандры и провести проверку.