#apache-spark #pyspark #apache-spark-sql
#apache-spark #pyspark #apache-spark-sql
Вопрос:
Не могли бы вы, ребята, объяснить мне, каков наилучший способ экспортировать обширный список таблиц из различных схем Oracle и SQL Server в формате json с использованием Apache Spark? Может ли Spark обрабатывать несколько фреймов данных в одном приложении? Спасибо!
Ответ №1:
Да, вы можете … Предположим, что у вас также есть данные в SQL Server и Oracle DB, создайте соединение и загрузите данные в два фрейма данных, опубликуйте, что вы можете использовать toJson или аналогичные функции, и создайте свою собственную структуру json в соответствии с требованием, короче говоря, да, spark может обрабатывать чтение изнесколько разных источников в одном приложении.
Чтение из различных источников, таких как Oracle, PostgreSQL, легко доступно в Google.