Путь к данным на облачной платформе Google для NiFi

#hadoop #google-cloud-platform #bigdata #apache-nifi

#hadoop #google-облачная платформа #bigdata #apache-nifi

Вопрос:

Я хочу указать местоположение input folder в GetFile процессоре в NiFi . Путь, который я указал, неверен в соответствии с NiFi . Он по-прежнему показывает предупреждающий знак. Я перешел по этой ссылке, но это не могло оказать большой помощи. Ниже приведен мой путь, который я использовал в input path свойстве в GetFile процессоре:

 /browser/<bucket-name>/

Я даже пробовал ссылки ниже

 gs://<bucket-name>

или

 gs://browser/<bucket-name>

Ни одно из них не помогло.

Как предложил Shu, я создал один ListGCSBucket процессор и создал для него новый GCPCredentialsService , но когда я запустил этот процессор, он выдает ошибку: com.google.cloud.storage.StorageException: Not Found для корзины. Ниже приведены мои несколько конфигураций: Сведения о процессоре:

Сведения о GCSControllerService:

На последнем изображении это не позволяет мне изменять значения на true . Итак, вот мои полные данные. Пожалуйста, укажите, где я ошибаюсь. Любая помощь приветствуется.

1. Не могли бы вы, пожалуйста, добавить журналы предупреждений к вопросу?

2. Отображается исключение недопустимого пути

3. Есть ли у вас путь, /browser/<bucket-name>/ который указан в GetFile , on all NiFi installed nodes?

4. Мои данные находятся в корзине в облаке. Итак, каким был бы правильный URL в этом случае для данных, которые находятся в определенном сегменте

5. Спасибо за разъяснения, я добавил ответ на вопрос, пожалуйста, проверьте ответ и дайте нам знать, если возникнут какие-либо проблемы ..!

Ответ №1:

Согласно комментариям к вопросу.

GetFile процессор ищет input path указанные данные на всех установленных NiFi узлах.

Используйте процессоры ListGCSBucket FetchGCSObject для получения данных из GoogleCloudPlatform.

Для получения дополнительных ссылок обратитесь к этой и этой ссылкам на использование процессоров list fetch в nifi.

1. Я отредактировал свой вопрос с помощью скриншотов. не могли бы вы, пожалуйста, помочь мне здесь? Спасибо

2. @SiddheshKalgaonkar, disable GCPCredentialsControlerService а затем вы сможете изменить значение на true . в списке разработчиков nifi есть сообщение о подобной ошибке: apache-nifi.1125220.n5.nabble.com /…

3. Да, я изменил значение на true и, полагаю, ввел правильный путь к корзине, но все равно он не считывает данные при запуске процессора. Можете ли вы предоставить мне какой-нибудь образец

4. Пожалуйста, какие-либо обновления по этому поводу? кто-нибудь может мне здесь помочь?

5.@SiddheshKalgaonkar, похоже, нам нужно просто указать bucket name в bucket значении свойства ListGCSBucket процессора вместо full url . какая-нибудь ссылка, которая поможет: community.hortonworks.com/questions/115115 /… medium.com/datafabric /…