Блог

Я использую Spark 3.0.1 на HDP 3.1.4. Все работает хорошо, за исключением того, что Spark SQL не может соблюдать стандартную политику SQL Ranger.

В последние дни я попробовал решение, найденное сообществом, соединитель хранилища hive, а также spark-authorizer и spark-llap. К сожалению, я не могу ее решить. Кажется, код не поддерживался, и последняя версия выпуска не поддерживает Spark 3.0. Я видел, что многие люди также сталкиваются с этой проблемой.

Есть ли какие-либо предложения, чтобы заставить Spark SQL принять политику разрешений на уровне столбцов / строк Ranger? Любая идея приветствуется. Спасибо.

1. соединитель хранилища улья, он работает на spark 2.3.1, но не 3.0.
2. spark-authorizer, spark-llap оба являются версией, несовместимой с ошибкой.

Версия Spark 3.0.1, HDP 3.1.1, Hive 3.1.0, Ranger 1.2.0