Блог

Главная - Вопросы по программированию - Настройка FTP в облачной платформе Google

Настройка FTP в облачной платформе Google

#google-cloud-platform #google-compute-engine

#google-cloud-platform #google-compute-engine

Вопрос:

У меня есть внешний пользователь, который хочет отправить мне кучу CSV-файлов через SFTP, которые я в конечном итоге хочу получить в таблице BigQuery. Как я могу настроить FTP? Каков наилучший способ сделать это? Загружает ли он их в корзину облачного хранилища Google? Или к экземпляру виртуальной машины? Спасибо!

Комментарии:

1. GCS является жизнеспособным вариантом, или создайте его в виде таблицы в Google Sheets (звучит довольно разумно, если там есть CSV) и извлеките его оттуда через API.

2. обязательно ли использовать SFTP или вы можете использовать другой метод, если он встречается с шифрованием?

3. Как именно лучше всего это сделать в GCS?

4. И да, я должен использовать SFTP.

Ответ №1:

  • Создайте экземпляр вычислительного движка

    • Перейдите на панель управления Compute Engine
    • Нажмите на Создать экземпляр
    • Выберите имя, тип компьютера и размер диска для вашего экземпляра (значения по умолчанию может быть достаточно в зависимости от размера файлов)
    • Нажмите «Управление, безопасность, диски, сеть, единоличное пользование».
    • Перейдите на вкладку Сеть
    • Установите тег для вашего экземпляра, это может быть sftp

  • Создайте правило брандмауэра для приема подключений SFTP к вашему экземпляру Compute Engine

    • Перейдите на панель управления правилами брандмауэра
    • Нажмите на Создать правило брандмауэра
    • Дайте название правилу
    • В сети выберите значение по умолчанию (или сеть, в которой был создан вычислительный движок, если другое)
    • Выберите вход
    • На целевых объектах выберите «Указанные целевые теги»
    • В целевых тегах выберите sftp
    • В фильтре источника оставьте диапазоны IP
    • Введите диапазон IP-адресов 0.0.0.0/0 или другой диапазон, если вы знаете, где находится ваш клиент
    • Выберите указанные протоколы и порты
    • Выберите порты 22, 60000-65535
    • Нажмите на создать

  • Создайте второе правило брандмауэра с выходом и теми же конфигурациями

  • Установите SFTP-сервер в экземпляре compute engine

Кроме того, если вы хотите, чтобы данные хранились непосредственно в облачном хранилище, чтобы избежать проблем с дисковым пространством в вычислительном ядре с помощью gcsfuse, вы можете смонтировать корзину GCS в папке, в которую загружается SFTP-сервер.