Блог

Главная - Вопросы по программированию - PySpark удаляет поле из документа ElasticSearch

PySpark удаляет поле из документа ElasticSearch

#python #elasticsearch #pyspark

Вопрос:

Я смог использовать следующий синтаксис для добавления поля в индекс elasticsearch с помощью pyspark, но, похоже, я столкнулся с проблемой, пытаясь удалить другое поле в том же индексе. Возможно, в моем поиске отсутствует какая-то запись в блоге, поэтому вопрос или документация. Кому-нибудь удалось успешно удалить поле из ES с помощью pyspark?

 es_conf = {
        'es.batch.size.entries': '350',
        'es.batch.write.retry.wait': '20s',
        'es.mapping.id': 'query',
        'es.port': '9200',
        'es.resource.write': 'test_index/doc',
        'es.write.operation': 'upsert',
        'es.update.script.lang': 'painless',
        'es.update.script.inline': "ctx._source.remove('remove_this_field')"
    }

test_df.write.format('org.elasticsearch.spark.sql').options(**es_conf).mode('append').save('test_index/doc')

Информация о версии:
ES: 5.4.3,
Писпарк: 2.4.7

Метки: