#amazon-s3 #airflow #sftp
#amazon-s3 #воздушный поток #sftp
Вопрос:
Я использую s3_to_sftp_operator в одной из своих задач. Подключение в AirFlow настраивается, как показано ниже.
Идентификатор соединения: sftp_outbound Тип соединения: FTP-хост: ftp2.companyname.com Схема: Логин: имя пользователя Пароль: порт пароля: пробовал с пустым и 22 дополнительными: {«no_host_key_check»: true}
Трассировка стека для ошибки ниже.
ERROR - [Errno -2] Name or service not known
Traceback (most recent call last):
File "/usr/local/lib/python3.6/site-packages/airflow/models/taskinstance.py", line 984, in _run_raw_task
result = task_copy.execute(context=context)
File "/usr/local/lib/python3.6/site-packages/airflow/contrib/operators/s3_to_sftp_operator.py", line 81, in execute
sftp_client = ssh_hook.get_conn().open_sftp()
File "/usr/local/lib/python3.6/site-packages/airflow/contrib/hooks/ssh_hook.py", line 194, in get_conn
client.connect(**connect_kwargs)
File "/usr/local/lib/python3.6/site-packages/paramiko/client.py", line 340, in connect
to_try = list(self._families_and_addresses(hostname, port))
File "/usr/local/lib/python3.6/site-packages/paramiko/client.py", line 204, in _families_and_addresses
hostname, port, socket.AF_UNSPEC, socket.SOCK_STREAM
File "/usr/local/lib/python3.6/socket.py", line 745, in getaddrinfo
for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
socket.gaierror: [Errno -2] Name or service not known
Комментарии:
1. @MartinPrikryl Да, я могу. Я разобрался с проблемой. При использовании airflow s3_to_sftp_operator оставьте тип соединения пустым при настройке соединения.
2. Если у вас есть решение, пожалуйста, отправьте его в качестве ответа.
3. мы больше не можем этого делать в airflow, я думаю, при настройке соединения должен быть connection_type, я сталкиваюсь с той же проблемой. когда я делаю ftp.companyname.com , он говорит, что соединение сбрасывается одноранговым узлом, когда я делаю sftp://ftp.companyname.com, это выдает мне эту ошибку. не могли бы вы помочь