Блог

Я пытаюсь сделать автоматизацию, чтобы каждый день очищать веб-сайт и сохранять данные в Google BigQuery

Мне удалось это сделать, однако мой способ работы кажется не таким уж замечательным.

Мое текущее решение использует CloudRun, где я создал простую страницу с надписью «Привет, мир» с дополнительными двумя строками:

 file = open(r'data_scrape.py', 'r').read() exec(file)  

Где data_scrape.py файл выполняет всю работу (очистите веб -сайт — gt; приведите его в надлежащий вид — gt; gt; сохраните его в bigquery)

Так что у меня есть способ, однако это просто глупо. Мне не нужен сервис веб-сайта. Мне просто нужен скрипт на python, который будет запускаться каждый день. Чтобы сделать это немного сложнее, я не могу использовать облачную функцию, так как мой data_scrape.py может потребоваться более 9 минут для работы.

Как сделать это простым способом? Это должно быть просто — вставьте куда-нибудь код python — gt; запускайте его каждый день.