Проверьте 10 сегментов GCS на наличие файлов

#python #automation #google-cloud-storage

#python #автоматизация #google-облачное хранилище

Вопрос:

Мне нужна помощь в проверке того, как реализовать код python для последовательной проверки доступности файлов в 10 разных сегментах GCS, если какие-либо файлы доступны, эти файлы должны быть записаны в файл..

Любые предложения о том, кто должен реализовать логику или примеры фрагментов кода, будут очень полезны.

Заранее спасибо.

Комментарии:

1. Цикл for по вашему списку сегментов. Какие трудности у вас есть для достижения этого?

2. Я могу выполнять цикл, но хотел бы знать, как мы можем выполнять команды gsutil ls и gsutil stat через python

Ответ №1:

Не используйте gsutil в python. Используйте клиентскую библиотеку. Вот начало того, что вы хотите. Выполните итерацию по сегменту, и все готово!!

     from google.cloud import storage
    client = storage.Client()
    bucket = client.get_bucket(<bucket-name>)
    for b in bucket.list_blobs():
        print(b.name)
        b.download_to_filename('./'   b.name)