Блог

Главная - Вопросы по программированию - Анализ настроений в Google Dataproc с помощью Spark

Анализ настроений в Google Dataproc с помощью Spark

#google-cloud-platform #sentiment-analysis #google-cloud-dataproc

#google-облачная платформа #анализ настроений #google-cloud-dataproc

Вопрос:

Поскольку я собираюсь выполнить задание spark для анализа настроений на облачной платформе Google, я решил использовать Dataproc. Стоит ли это делать с помощью Dataproc или есть какие-либо предложения. Мне нужно выполнить анализ настроений для огромного набора данных из Twitter. То есть я решил использовать облачную платформу Google Cloud platform в качестве моей большой базы данных и распределенной среды.

Ответ №1:

GCP Dataproc, безусловно, отличный выбор для вашего варианта использования. Dataproc изначально поддерживает Spark, а также недавно добавил поддержку Spark 3.

Пожалуйста, проверьте, какое изображение Dataproc подходит для вашего варианта использования.

Следующие ресурсы могут быть полезны при настройке и запуске Spark job в кластере.

  1. Создание и настройка кластера

  2. Отправить задание

  3. Руководство по запуску задания Spark scala

  4. Еще несколько ресурсов от сообщества Spark job, PySpark Job,

Комментарии:

1. Большое вам спасибо. Я проверю это.