#google-cloud-bigtable #bigtable
# #google-облако-bigtable #bigtable
Вопрос:
Мы оцениваем Google Bigtable как оперативное хранилище данных Интернета вещей. у нас есть строка, основанная на DeviceID временная метка, например, ‘ABC20201122093211’, а сохраненные данные строки представляют собой сообщение protobuf.
Мы также перемещаем эти данные в холодное хранилище через несколько дней, поскольку объем данных просто гигантский.
Теперь моя проблема в том, как правильно удалить данные из Bigtable?
Если я использую TTL, данные могут по-прежнему храниться в течение недели до уплотнения таблицы. Удаление клиента администратора, похоже, может сделать это быстрее, но вместо этого невозможно удалить несколько диапазонов одновременно. Мне пришлось бы последовательно удалять временной диапазон для каждого устройства.
Какие у меня варианты здесь?
Ответ №1:
Здесь есть 2 вещи TTL со сбором мусора и клиентской библиотекой администратора. TTL пометит ваши данные для удаления через указанное вами время, а Admin SDK отправит запрос на удаление некоторых указанных вами данных. в некотором роде они одинаковы, поскольку они будут только помечать данные для удаления и только. Данные останутся там, даже если они помечены для удаления, и это может занять до 1 недели для них обоих, пока не произойдет уплотнение и сбор мусора.
Как я уже сказал, они одинаковы с точки зрения удаления, поскольку вам все равно нужно будет подождать до 1 недели, прежде чем произойдет фактическое удаление. некоторые ключевые отличия:
1- данные, помеченные для удаления с помощью клиента администратора, не будут отображаться в запросах на чтение ваших данных
2- будут показаны данные, собранные с помощью TTL, и вам может потребоваться использовать фильтры для исключения этих данных (я думаю, это создало у вас впечатление, что данные удаляются быстрее с помощью клиентской библиотеки администратора)
Честно говоря, с моей точки зрения, кажется, что TTL использует декларативный подход, а библиотека Admin Client — императивный. кроме того, вы все равно будете платить за данные, даже если они помечены для удаления, пока не произойдет фактическое уплотнение, что снова может занять до 1 недели.
вы можете прочитать больше об этом здесь: Когда данные удаляются