Возможно ли использовать bigquery в aws lambda?

#amazon-web-services #google-cloud-platform #aws-lambda #google-bigquery

#amazon-web-services #google-облачная платформа #aws-lambda #google-bigquery

Вопрос:

Я хочу написать функцию python, которая отправляет данные в Bigquery каждый раз, когда в моей корзине S3 происходит событие put, но я новичок в AWS. Возможно ли интегрировать bigquery с функцией lambda? или кто-нибудь может подсказать мне другой способ передачи моих данных dynamodb в bigquery? Спасибо, мой язык — python N.B: я использовал dynamostream firehose для отправки своих данных в S3, теперь я хочу извлекать свои данные из s3 каждый раз, когда происходит событие put, чтобы отправлять их в bigquery.

1. Вы упоминаете S3, а затем DynamoDB. Пожалуйста, отредактируйте свой вопрос, чтобы он был более конкретным.

2. Вы знаете, что bigquery — это проприетарный сервис Google? Просто убедитесь, что вы собираетесь запросить решение для кросс-облачного провайдера? Кроме того, это огромный объем для вопроса — вам нужно будет разбить его на более целенаправленную проблему.

Ответ №1:

В Интернете уже есть множество ресурсов о том, «как запустить лямбда-выражение после размещения объекта на S3».

Но вот несколько ссылок, которые помогут вам настроить:

Вам нужно будет настроить EventBridge (события CloudWatch являются устаревшими), чтобы запускать ваш Lambda, когда в вашем сегменте S3 происходит какое-либо действие: https://aws.amazon.com/fr/blogs/compute/using-dynamic-amazon-s3-event-handling-with-amazon-eventbridge/
Вы можете использовать платформу Python boto3 для написания лямбд AWS: https://boto3.amazonaws.com/v1/documentation/api/latest/index.html
Вы можете проверить BigQuery Python SDK с помощью GCP для связи с вашей базой данных BQ: https://googleapis.dev/python/bigquery/latest/index.html