#google-cloud-platform #google-bigquery #double-click-advertising
# #google-облачная платформа #google-bigquery #двойной щелчок -реклама
Вопрос:
Здесь есть хорошая информация об общем времени передачи данных по проводам в / из различных источников.
Помимо времени передачи необработанных данных, я пытаюсь примерно оценить, сколько времени потребуется для импорта ~ 12 ТБ / день в BigQuery с помощью службы передачи данных BigQuery для менеджера кампаний DoubleClick.
Это где-нибудь задокументировано?
Ответ №1:
В первой ссылке, которой вы поделились, есть изображение, которое показывает скорость передачи (оценочную) в зависимости от пропускной способности сети.
Итак, допустим, у вас пропускная способность 1 Гбит / с, тогда данные будут доступны в вашем проекте GCP примерно через 30 часов, поскольку вы передаете 12 ТБ, что близко к 10 ТБ. Таким образом, на перевод уходит 1 с половиной дня.
Если вы действительно хотите передавать 12 ТБ в день, потому что вам нужно, чтобы эти данные были доступны каждый день, а увеличение пропускной способности невозможно, я бы порекомендовал вам пакетировать данные и создавать разные службы передачи для каждого пакета. В качестве примера:
- Разделить 12 ТБ на 12 пакетов по 1 ТБ -> 12 заданий передачи по 1 ТБ каждый
- На выполнение каждой партии уйдет 3 часа, поэтому в вашем распоряжении будет 8/12 ТБ в день.
Это может быть применено к меньшим пакетам данных, если вы хотите получить более детализированное решение.