Блог

Я пытаюсь запустить задание потока данных, есть следующее setup.py файл:

 import setuptools

setuptools.setup(
              name='Some-Name',
              version='0.0.1',
              install_requires=[
                  'apache-beam==2.10.0',
                  'tensorflow-transform==0.12.0'
                  ],
              packages=setuptools.find_packages(),
              )
  

но когда я отправляю задание в GCP, SDK отображается как 2.7.0, и задание не будет запущено. Он остановится через 1 час со следующей ошибкой:

Сбой рабочего процесса. Причины: Задание потока данных, похоже, застряло, потому что за последние 1 час не было замечено никакой рабочей активности.

Я исправил эту проблему, обновив tensorflow-transform и apache-beam в моей локальной виртуальной среде, из которой я отправлял задание потока данных. Как только я обновил свой локальный apache-beam и tensorflow-transform и tensorflow , кажется, это работает. Я не уверен, почему, поскольку setup.py указаны версии пакетов.