Блог

Интересно, существует ли матрица совместимости для различных компонентов Hadoop экосистемы?

Каждое обновление Hadoop оказывает большое влияние на совместимость, например:

• Apache Spark 2.4 не поддерживает Hadoop v3,
• Hadoop не поддерживает Java 9 и 10,
• и так далее…

Я знаю, что такие поставщики, как Hortonworks, публикуют списки компонентов с каждой версией своего дистрибутива, но это не предназначено для широкой публики, поскольку сюда входят исправленные компоненты.

Нужно ли просматривать все средства отслеживания ошибок в Jira для каждого инструмента, чтобы узнать о проблемах совместимости?

Одна из ключевых вещей, которую делает такая компания, как Cloudera / Hortonworks, — это берет все проекты с открытым исходным кодом, составляющие Hadoop, и следит за тем, чтобы они хорошо работали вместе. Как с функциональной точки зрения, так и с точки зрения безопасности проводится множество тестов и настроек, чтобы гарантировать, что все вместе образует надлежащий релиз.

Теперь, когда у вас есть некоторое представление о том, сколько усилий затрачивается на выпуск только одного дистрибутива со сравнительно сильным акцентом на последние версии, вы можете понять, что общего обзора «как все работает со всем» за пределами этих дистрибутивов не будет.

Полное раскрытие: Я являюсь сотрудником Cloudera, но даже без этого я бы все равно рекомендовал вам работать с дистрибутивом, где это возможно