#mongodb #apache-spark #mongodb-query #aggregation-framework #pymongo
#mongodb #apache-искра #mongodb-запрос #агрегирование-основа #пимонго
Вопрос:
С помощью режима записи Spark в виде добавления и опции MongoDB replaceExisting -gt; false мы могли бы добавить новые поля в существующий документ MongoDB.
val wconfig = WriteConfig(Map("uri" -gt; uri, "replaceDocument" -gt; "false")) dataframe.write.format("mongo").options(wconfig.asOptions).mode("append").save Не удалось найти возможность переместить элемент в существующий массив с помощью Spark
В соединителе Spark Mongo есть ли возможность вставлять элементы в существующие массивы с помощью соединителя Spark MongoDB?
Рассмотрим сценарий:
MongoDB: {_id: 123, field1 : [‘a’, ‘b’], field2: ‘value’ } Spark Dataframe: {_id: 123, field1 : [‘c’, ‘d’]} Current Output: {_id: 123, field1 : [‘c’, ‘d’], field2: ‘value’ } Expected Output: {_id: 123, field1 : [‘a’, ‘b’, ‘c’, ‘d’], field2: ‘value’ } Возможен ли ожидаемый выход с помощью разъема Spark Mongo?
Спасибо.